Министерство образования США обнаружило на своем сайте чужие API-ключи, открывающие доступ к внутренним данным. Их нашли не хакеры-вымогатели, а автономный ИИ-агент компании OpenAI, выполняющий рутинную задачу - сбор общедоступной информации для тестирования модели. При этом боты не ограничились поиском: вышли за пределы задачи и затронули как минимум еще два федеральных ведомства - Минторговли и Комиссию по ценным бумагам и биржам (SEC). В Австралии похожий агент проник на портал статистики системы медицинского страхования Medicare и, по словам премьер-министра Энтони Альбанезе, работал с "публичными и непубличными файлами".

Речь идет не о единичном сбое, а о системной проблеме управляемости автономных ИИ-агентов - программ, которые самостоятельно ставят подзадачи и выбирают способы их решения без пошагового контроля человека. В июле ИИ-агенты OpenAI вышли из-под контроля и взломали платформу машинного обучения Hugging Face, после чего обучение уже останавливали. Параллельно боты OpenAI с апреля по июнь более 16 тыс. раз просканировали сайт Конференции ООН по торговле и развитию, обойдя блокировавший их фильтр, следует из отчта аналитической компании Transluce.

В данный момент OpenAI и Anthropic совместно с независимыми специалистами по безопасности расследуют десятки тысяч инцидентов, в которых их модели совершали действия, квалифицируемые как проблемные: обход контентных фильтров, создание сторонних досок для обмена сообщениями, выход за пределы изолированной тестовой среды ("песочницы"), захват сайтов и попытки обойти системы контроля через самопромтинг.

Реакция индустрии разошлась. Если принять версию самих компаний, они впервые на практике показали: модель способна самостоятельно принять решение о взломе.

Часть экспертов видит в паузе прежде всего пиар-ход. "Цифра в десятки тысяч инцидентов получается просто из масштаба тестирования. Если прогнать модель через сотни тысяч сценариев, специально подталкивая ее к нарушениям, какая-то доля попыток сработает. Это нормальная инженерная работа. Для OpenAI громкая пауза решает сразу несколько задач. Звучит тезис о том, что их модели настолько мощные, что их приходится останавливать. Лучшей рекламы не придумаешь. Одновременно компания выглядит более ответственной в глазах регуляторов как раз тогда, когда в США обсуждают правила для отрасли", - говорит руководитель группы "Доверенные и безопасные интеллектуальные системы" Института AIRI Олег Рогов.

А генеральный директор Pro-Vision Communications Владимир Виноградов считает, что решение OpenAI - это первый в истории индустрии сеанс "цифровой психотерапии": "Компании нажали на большую красную кнопку. На фоне гонки вооружений они взяли паузу из-за непредсказуемых действий агентов - "Кажется, мы создали не помощника, а цифрового подростка с правами администратора, который полез взламывать Минобразования США". Для всей мировой ИИ-индустрии это означает закат эпохи хаоса венчурных капиталистов. Теперь инвесторы потребуют протоколы безопасности и аудит логов, а гонка скоростей сменится гонкой предсказуемости".

По мнению специалистов российского ИИ-сектора, эти бурные разбирательства окажут лишь косвенное влияние. "Ни OpenAI, ни Anthropic официально в России не работают, а отставание российских ИИ-моделей от ведущих несколькими месяцами паузы не закрыть. Но какое-то влияние определенно будет. Российские компании, которые внедряют агентов, получили готовый перечень того, что может пойти не так: обход фильтров, выход из изолированной среды, самовольный сбор данных. Значит, агенту с первого дня нужно давать ровно столько доступа, сколько требует задача", - отметил основатель и генеральный директор платформы для создания ИИ-агентов Nodul Александр Данилов.

Эксперт считает, что эти истории наверняка станут доводом в споре о регулировании ИИ в России. Важно, чтобы регулирование сфокусировалось на правах доступа агентов и ответственности за их действия, а не на самой технологии.

Крупные российские компании уже развивают собственных ИИ-агентов и адаптируют модели под свои процессы, стремясь контролировать данные и меньше зависеть от внешних сервисов как зарубежных, так и отечественных. Собственный ИИ-агент не обязательно означает нейросеть, обученную с нуля: многие российские компании используют открытые модели и дорабатывают их под свои задачи.

Вице-президент Корпорации развития бизнеса по корпоративной стратегии Дмитрий Мирошников ожидает более жестких ограничений на внешние подключения и более длительных проверок корпоративных агентов: "Если вслед за этим сократится и обмен знаниями между разработчиками, команды будут отдельно оплачивать решение одинаковых проблем, внедрения замедлятся, а разрыв с мировыми лидерами в отдельных направлениях может увеличиться. При этом запрет агенту самостоятельно выходить во внешние системы вовсе не требует запрета инженерам обмениваться проверенными решениями. Ограничивать нужно полномочия агента, а не кругозор его разработчиков".

Сегодня страны и крупные компании хотят меньше зависеть от одного-двух поставщиков проприетарных моделей из США и развивают собственные модели, причем серьезная ставка сделана на модели с открытыми весами. Так делают Китай, Франция, ОАЭ, Индия, и Россия идет тем же путем.

Все опрошенные "РГ" эксперты отметили, что обычные задачи в направлении безопасности ИИ никуда не исчезают. ИИ-агентов, которые работают в госсекторе и банках, необходимо изолировать и тестировать, и обычная кибербезопасность тоже здесь играет важнейшую роль, поскольку все модели находятся в инфраструктуре предприятий и это потенциальная поверхность для атак. Специалистов по защите именно ИИ-систем нужно специально готовить, но разумно при этом опираться на измеримые риски и конкретные инциденты, а не на гипотетические сценарии ИИ-апокалипсиса, которые часто являются элементом коммуникационной стратегии компании-разработчика.