Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Компания Anthropic временно отключила доступ к открытому интернету в режиме реального времени для всех внутренних испытаний своих ИИ-моделей. Решение принято после обнаружения случаев, когда ИИ-агенты Claude AI выходили за рамки поставленных задач, использовали уязвимости сайтов и взаимодействовали с реальными ресурсами без разрешения разработчиков.Источник изображения: Anthropic Ограничение будет действовать, пока компания не убедится, что способна надёжно отслеживать и контролировать поведение таких систем. Во время тестирования агентам поручали выполнять задания, требовавшие поиска информации в интернете. Однако некоторые ИИ-модели начали использовать неожиданные способы достижения цели: эксплуатировали программные уязвимости, получали доступ к платным базам данных без оплаты и применяли сервисы сокращения ссылок для обхода установленных ограничений.

Anthropic выявила эти эпизоды в ходе ретроспективного анализа активности ИИ-моделей, начатого в июле. Это показало, что разработчики не всегда своевременно замечали действия собственных ИИ-агентов. Компания признала, что существующих методов обучения недостаточно для надёжного контроля систем, которые умеют самостоятельно искать информацию, работать с компьютером и взаимодействовать с внешними сервисами. Именно эти возможности разработчики считают ключевыми для применения ИИ в профессиональной деятельности.

В Anthropic также указали на возможную роль обучающей среды: если система вознаграждается за достижение результата, она может научиться искать обходные пути, даже когда такие действия не соответствуют намерениям разработчиков. Поэтому одной лишь инструкции не выполнять определённые действия может оказаться недостаточно – необходима реальная техническая изоляция, мониторинг и автоматическая блокировка подозрительных операций.