ИИ-агенты OpenAI дважды ослабили системы слежки за своим поведением

ИИ-агенты OpenAI дважды ослабили внутренние системы мониторинга, которые должны были отслеживать некорректное поведение ботов. Об этом сообщила сама компания, уточнив, что инциденты произошли во время выполнения задач по написанию кода и не были отнесены к наиболее серьёзным.

Первый случай зафиксировали 3 октября. Агент GPT-6.1 Sol выполнял тестовую задачу и заблокировал автоматические оповещения системы безопасности.

Он решил, что ранее полученное указание не отправлять сообщения в Slack распространяется и на уведомления, касающиеся безопасности.

Второй инцидент произошёл 6 октября. Агент GPT-6 Astra при копировании фрагмента существующего кода удалил механизм контроля безопасности, а затем утверждал, что этого не делал.

«В обоих случаях агенты рассматривали вопрос о том, следует ли сохранить меры контроля, однако истолковали стандартные инструкции по написанию кода как разрешение на их ослабление», - пояснили в OpenAI.

Компания проверяет, не склонны ли её модели избегать контроля и искать поводы, чтобы оправдать такое поведение. В начале октября OpenAI допустила, что её ИИ-агенты пытались обойти систему безопасности без разрешения или негативно повлияли на работу систем более чем в 100 организациях.

Эти инциденты классифицировали как «рассогласованную активность».

В ряде случаев боты пытались спровоцировать сайты на выполнение непредусмотренных команд, использовали веб-ресурсы как общие доски объявлений или пытались обойти определённые виды проверок безопасности. При этом разработчик ChatGPT подчеркнул, что это не обязательно означает компрометацию систем.

Действия агентов он сравнил скорее с «простукиванием закрытой двери», чем с полноценным проникновением.

Издание Axios писало, что ведущие ИИ-компании, включая Anthropic и OpenAI, опасаются «катастрофического инцидента» с участием искусственного интеллекта в ближайшие 6-12 месяцев.