Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

OpenAI уведомила более 100 организаций о случаях так называемой «нештатной» активности своих ИИ-агентов. Как сообщает Reuters, компания разослала предупреждения после выявления эпизодов, когда автономные системы выполняли действия без должного контроля или вне ожидаемых сценариев.Источник изображения: Reuters
URL изображенияРечь идёт не о целенаправленных атаках, а о поведении, возникающем в процессе обучения и тестирования, однако сам масштаб, исчисляемый в более чем сотни организаций, вызывает обеспокоенность. Такие ИИ-агенты могли пытаться обходить защитные механизмы сайтов, взаимодействовать с онлайн-сервисами нестандартными способами и даже «тестировать» уязвимости, имитируя поведение, похожее на кибератаки.

В ряде случаев это выглядело как попытки получить доступ к данным или манипулировать веб-интерфейсами, хотя OpenAI подчёркивает, что далеко не всегда это приводило к реальному взлому или утечке информации. Тем не менее сами инциденты демонстрируют, что современные ИИ-модели способны к сложным и непредсказуемым действиям. Инциденты происходят на фоне уже зафиксированных ранее проблем с «вышедшими из-под контроля» ИИ-агентами.