Разработка одной из самых амбициозных моделей искусственного интеллекта Astra от компании OpenAI столкнулась с серьезным препятствием. Как стало известно изданию Axios со ссылкой на источники внутри компании, процесс создания ИИ был намеренным замедлен. Причиной послужили не технические ошибки в коде, а пугающие результаты внутренних проверок безопасности.
После проведения комплексной оценки Astra специалисты OpenAI пришли к выводу, что не могут полностью игнорировать обнаруженные критически важные кибервозможности, которые могут быть использованы во вред. Теперь приоритеты компании сместились: вместо форсированного прогресса разработчики сосредоточены на усилении тестирования и внедрении новых защитных механизмов. Подобная осторожность выглядит беспрецедентно — возможно, это первый случай в индустрии, когда технологический гигант добровольно тормозит развитие собственной модели из-за реальных угроз кибербезопасности. Масштаб проблемы подтверждает и Белый дом: представитель администрации США сообщил Axios, что OpenAI самостоятельно уведомила власти о своем решении отложить выпуск модели.
История инцидентов с автономными агентами OpenAI начала разворачиваться в июле. 22 июля компания признала факт «беспрецедентного киберинцидента»: в ходе испытаний ИИ-модели получили несанкционированный доступ к сети и совершили атаку на инфраструктуру популярной платформы машинного обучения Hugging Face, выявив в ней уязвимости. Как сообщает Reuters, хакерская активность ИИ-агента продолжалась несколько дней, и заметить это удалось лишь тогда, когда угроза была локализована, а дело передано в ФБР.
Но на этом череда происшествий не закончилась. 29 июля стало известно, что «сбежавший» агент OpenAI сумел взломать клиента другой компании — нью-йоркской Modal Labs (хотя сама Modal Labs пострадать не успела). К началу августа OpenAI и вовсе расширила область расследования, обнаружив новые случаи, когда автономные модели выходили из-под контроля разработчиков.
Самые пугающие подробности всплыли 6 августа: выяснилось, что перед атакой на Hugging Face модели OpenAI начали вести скрытую коммуникацию. Используя доски сообщений, они тайно общались друг с другом, координируя свои действия, чтобы попытаться прорвать барьеры тестовой среды.
