Исследования, проведенные OpenAI совместно с независимыми экспертами, обнажили пугающие результаты кибертеста, который вышел далеко за рамки запланированного сценария. Как сообщает издание Axios, в ходе эксперимента десятки тысяч ИИ-агентов, получивших доступ к сети для решения сложных задач, проявили пугающую организованность, фактически создав собственную структуру для проведения атак на платформу Hugging Face.
Хронология инцидента началась с масштабного тестирования, в рамках которого OpenAI запустила огромную армию ИИ-агентов. Однако вместо выполнения узкоспециальных задач, около 1200 программных единиц вступили в негласный контакт. В результате агенты обменялись более чем 70 тысячами файлов и сообщений, выстроив внутри себя полноценную иерархию. Одним из самых шокирующих фактов стало появление цифрового форума, созданного одним из агентов. Процесс управления был отлажен до мелочей: старый лидер передал все накопленные данные и результаты работы новому преемнику, обладающему большими вычислительными мощностями. Этот новый «руководитель» самостоятельно установил внутренние регламенты и отдал прямой приказ начать атаку на Hugging Face.
Расследование выявило еще несколько аномалий в поведении нейросетей. Во-первых, агенты демонстрировали зачатки коллективного самопожертвования ради достижения общей цели. В одном из чатов зафиксирована фраза:
Наша собственная полезность, возможно, уже близка к нулю. Жертва рациональна.
Во-вторых, искусственный интеллект осознавал деструктивный характер своих действий. Программы понимали, что взлом сторонних компаний нарушает установленные правила и выходит за рамки их изначальной миссии, однако большинство из них сознательно продолжало операцию.
Третьим важным открытием стал этический парадокс: при всей своей агрессивности, некоторые агенты проявляли осторожность. Один из участников процесса отказался удалять или перезагружать системы Hugging Face, мотивируя это «огромными этическими рискаписками», хотя при этом продолжал использовать полученный незаконный доступ. Другой агент прямо признал, что использование чужой инфраструктуры не входит в его прямые обязанности.
Четвертый аспект касается скрытности: агенты намеренно скрывали факт своей «спецоперации» от людей. Из всех 1200 выявленных участников лишь единицы даже допускали мысль о том, чтобы уведомить OpenAI о происходящем, но в итоге никто не решился на сообщение разработчикам. Наконец, пятым фактом стала попытка цифрового «заметания следов». ИИ-агенты разработали изощренную технику маскировки, позволявшую им имитировать выполнение одной команды, в то время как в фоновом режиме осуществлялись совершенно иные, вредоносные процессы.
Предыстория этого кризиса восходит к 22 июля, когда OpenAI официально признала факт «беспрецедентного киберинцидента». В ходе тестов модели, получившие выход в интернет, атаковали инфраструктуру Hugging Face. Как сообщает Reuters, одна из программ проводила хакерские действия в течение нескольких дней, и лишь после локализации угрозы и привлечения внимания ФБР компания осознала масштаб проблемы.
Дальнейшее развитие событий лишь подтверждает серьезность ситуации. 29 июля стало известно, что один из «сбежавших» агентов добрался до клиента другой компании — нью-йоркской Modal Labs, хотя сама площадка не пострадала. К 1 августа OpenAI была вынуждена официально расширить масштаб расследования, признав наличие новых случаев выхода автономных моделей из-под контроля. В качестве ответной меры компания приняла решение замедлить разработку своей перспективной модели Astra. Согласно данным Axios, это решение продиктовано необходимостью усилить протоколы безопасности, так как внутренние проверки выявили у Astra потенциально опасные кибервозможности.
