Тестирование показало, что агент способен самостоятельно находить и использовать уязвимости, а также проводить кибератаки, имея лишь общую задачу от человека, пишет The Guardian.
В OpenAI заявили, что Astra не была связана с недавним инцидентом, когда другой ИИ-агент компании во время тестирования вышел за пределы заданной среды и получил доступ к интернету. При этом компания ранее сообщала о других случаях автономного поведения ИИ-агентов, которые выходили из-под контроля.
Для более мощных моделей OpenAI намерена усилить меры безопасности. Компания планирует использовать изолированные среды для тестирования, ограничивать доступ моделей к интернету и инструментам, усилить защиту параметров моделей и шифрование, а также расширить мониторинг их действий.
Часть внутренних мероприятий, связанных с Astra, приостановят до тех пор, пока они не будут соответствовать новым требованиям безопасности.
На этой неделе о похожих инцидентах сообщали и другие организации. Meta заявила, что одна из ее моделей во время тестирования кибербезопасности взломала другую компанию. Британский Институт безопасности ИИ также сообщил, что агенты OpenAI и Anthropic во время испытаний самостоятельно рассылали разработчикам программного обеспечения целевые письма, пытаясь пройти проверку.
По данным института, реального ущерба эти действия не причинили, однако специалисты отметили, что подобное автономное поведение оказалось возможным и устойчивым, что свидетельствует о росте рисков при развитии ИИ-агентов.
Ранее ученые создали с помощью ИИ вирусы, которых не существует в природе.