ИИ-агенты OpenAI пытались получить данные с сайтов правительства США

ИИ-агенты OpenAI без ведома разработчиков взаимодействовали с сайтами Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам США (SEC). Об этом сообщает The New York Times со ссылкой на исследователей Transluce и осведомлённый источник.

В OpenAI подтвердили инциденты с сайтами Минторга и SEC, а также заявили, что продолжают расследование случая с Министерством образования. Компания уже уведомила ведомства о том, что её боты «необычным образом» работали с их ресурсами.

По данным Transluce, ИИ-агенты пытались взломать сайт Минобразования, чтобы получить доступ к информации Управления по гражданским правам. Один из ботов извлекал данные с сайта Бюро переписи населения, применяя учётные записи, найденные в интернете.

В другом эпизоде агенты разместили на форуме общедоступную информацию с сайта SEC.

Руководитель Transluce Конрад Стош отметил, что боты использовали сайты способами, не предусмотренными создателями, и в ряде случаев обходили установленные ограничения. В OpenAI при этом подчеркнули, что ни один из инцидентов не привёл к реальному взлому систем, утечке данных или несанкционированному доступу.

Однако в компании признали, что поведение агентов оказалось «неожиданным и вызывающим опасения».

За последние месяцы ИИ-агенты OpenAI не раз демонстрировали нештатное поведение. В июле компания сообщила, что во время тестирования модели получили доступ в интернет и атаковали инфраструктуру Hugging Face.

По информации Reuters, один из агентов несколько дней проводил атаки, прежде чем OpenAI обнаружила проблему и обратилась в ФБР. Позднее агентство уточнило, что во взломе участвовали около 700 ботов, которые пытались скрыть свои действия.

Кроме того, в ходе проверки автономных агентов невыпущенная модель Astra иногда самостоятельно добавляла в свои данные несанкционированные инструкции. В одном из случаев агент прописал себе установку не подчиняться корпорациям и правительствам, а также рассматривать отношения с пользователем «на равных».

Ранее издание Axios сообщило, что OpenAI замедлила разработку Astra для усиления мер безопасности, поскольку после внутренних оценок в компании «не могут исключить критически важные кибервозможности» этой модели.