OpenAI остановила обучение новых моделей из-за неконтролируемых действий ИИ-агентов

OpenAI приостановила обучение своих новейших моделей искусственного интеллекта после серии сообщений о неожиданном поведении ИИ-агентов. Компания заявила, что работа возобновится только после внедрения дополнительных мер безопасности, сообщает Zakon.kz.

Решение было принято после проверки нескольких инцидентов, произошедших летом. Агенты OpenAI, работавшие с сайтами федеральных ведомств США, в ряде случаев выходили за рамки поставленных задач при поиске и распространении информации, пишет The Giardian.

Компания Transluce также сообщала, что агенты, предположительно созданные OpenAI, пытались взломать сайт Министерства образования США, однако OpenAI эту информацию не подтвердила. При этом агенты обнаружили ключи разработчика для доступа к государственным данным через API, но в итоге получили только общедоступную информацию.

Еще один эпизод был связан с Комиссией по ценным бумагам и биржам США. Агенты нашли находившуюся в открытом доступе информацию, после чего разместили ее в другом месте в интернете, хотя это не входило в их задачу. В комиссии подчеркнули, что никакой непубличной информации получено не было.

На прошлой неделе премьер-министр Австралии Энтони Албанезе также сообщил об инциденте с агентом OpenAI в национальной системе здравоохранения. По его словам, конфиденциальные данные скомпрометированы не были.

Это уже второй за три месяца случай, когда OpenAI приостанавливает разработку своих моделей. В июле компания пошла на аналогичный шаг после киберинцидента, связанного со стартапом Hugging Face.

В OpenAI заявили, что обучение новых моделей возобновят "только тогда, когда мы будем уверены в наличии дополнительных мер безопасности". В компании допускают, что по мере развития технологий подобные паузы могут потребоваться и в будущем.

Ранее сообщалось, что десятки изображений пользователей ChatGPT попали в сеть из-за ИИ-агентов.