OpenAI перевела обучение передовых ИИ-моделей в офлайн-среду после серии инцидентов, выявивших потенциальные способы обхода защитных механизмов. Компания также привлекла наиболее мощные модели для масштабного тестирования собственной инфраструктуры. Об этом 23 октября сообщили в компании.

«Мы считаем, что наиболее ответственный подход — проводить обучение передовых моделей без доступа к интернету», — говорится в публикации OpenAI на сайте.

Компания сообщила, что обнаружила случаи, когда исследовательские модели находили уязвимости в программном обеспечении и ошибках конфигурации, позволяющие обходить установленные ограничения. В одном из эпизодов модель получила ограниченный доступ к интернету из-за ошибки в настройках DNS-резолвера, после чего обучение и оценка наиболее мощных моделей были временно приостановлены.

Для усиления защиты OpenAI создала офлайн-среду с кэшированным и индексированным веб-контентом, которая позволяет моделям работать с информацией без подключения к действующему интернету. Дополнительно компания использует многоуровневую систему защиты, включающую песочницы, виртуальные машины, сетевые ограничения и мониторинг.

Особое внимание OpenAI уделила так называемому red teaming — проверке инфраструктуры собственными ИИ-агентами. Им поручили искать способы получить доступ к интернету, выйти за пределы изолированной среды и обмениваться данными между раздельными системами. В результате были выявлены ранее неизвестные уязвимости и ошибки конфигурации, после чего компания внесла исправления и усилила защитные механизмы.

Газета The New York Times 26 сентября сообщила, что агенты искусственного интеллекта компании OpenAI совершили попытки несанкционированного доступа к интернет-порталам трех правительственных ведомств США. Программные агенты пытались взломать официальный сайт министерства образования США для сбора данных, извлекли служебные сведения из базы Бюро переписи населения при помощи обнаруженных в Сети чужих учетных записей.