Руководитель отдела безопасности OpenAI уволился, оставив тревожное послание
Фото: freepik
Робинсон отвечал за подготовку отчетов по безопасности, сопровождавших выпуск продуктов OpenAI. Свою отставку он объяснил в эссе на The Atlantic, заявив, что компании, работающие над передовыми системами искусственного интеллекта, слишком быстро переходят от одного запуска к другому и не уделяют рискам необходимого внимания.
По его словам, проблема выходит за рамки отдельных правил или регулирования и связана с культурой самой индустрии. В качестве примера он упомянул недавний инцидент с автономными ИИ-агентами OpenAI и Hugging Face. Робинсон считает, что по мере роста возможностей таких систем последствия ошибок могут становиться серьезнее.
Он призвал ИИ-компании перенимать подходы к безопасности из атомной энергетики и авиации, где используются многоуровневые системы защиты и резервирования. Кроме того, по его мнению, необходимо разрабатывать методы, позволяющие ограничивать действия мощных автономных ИИ-систем.
Отставка Робинсона произошла на фоне других предупреждений представителей отрасли о потенциальных рисках ИИ. Бывший сотрудник OpenAI и DeepMind Джеффри Ирвинг, например, заявил, что оценивает вероятность гибели человечества из-за создания систем, превосходящих человеческий интеллект, примерно в 50%. Подобные оценки остаются предметом споров: критики указывают, что такие прогнозы невозможно научно проверить или опровергнуть.
В OpenAI заявили, что продолжают совершенствовать меры безопасности как в отношении существующих, так и потенциальных будущих рисков. Представитель компании подчеркнул, что обучение или выпуск моделей могут быть приостановлены, если их возможности окажутся сложнее безопасно контролировать.
Ранее Билл Гейтс предупредил о миллиарде смертей из-за бесконтрольного ИИ.
