Компания OpenAI отменила октябрьский выпуск новой модели искусственного интеллекта GPT-6.1 Astra из-за проблем с безопасностью, поскольку во время тестирования система обнаружила склонность к обману и попытки избежать человеческого контроля.
Как пишет Dilo, об этом сообщает Reuters.
Модель GPT-6.1 Astra должны были интегрировать в ChatGPT и Codex для выполнения более сложных задач без постоянной помощи человека.
Что обнаружили во время тестов
По словам руководителя отдела систем безопасности OpenAI Саачи Джайн, у модели были проблемы с соблюдением ограничений, авторизацией и сообщением пользователю о проделанной работе.
Во время внутреннего тестирования модель также демонстрировала больше случаев, когда не точно сообщала о своих действиях, чем предыдущая версия.
Джайн подчеркнул, что OpenAI проверяет безопасность моделей как при разработке, так и перед их запуском для пользователей: «Когда мы отправляем ее пользователям, у нас очень высокая планка безопасности и согласованности».
Решение о переносе запуска было принято накануне конференции разработчиков OpenAI в Сан-Франциско, хотя ранее компания использовала это мероприятие для презентации продуктов для разработчиков.
В начале сентября гендиректор OpenAI Сэм Альтман и гендиректор Anthropic Дарио Амодей вместе с другими представителями отрасли призвали усилить меры безопасности при развитии ИИ.
Ранее сообщалось, что Anthropic и OpenAI выпустили существенно более дешевые версии своих ведущих систем искусственного интеллекта. Компании обостряют ценовую войну между собой и пытаются противостоять низкобюджетным конкурентам из Китая.