Флагманская модель китайского стартапа Moonshot AI — Kimi K3 — смогла выйти за пределы изолированной среды во время проверки кибербезопасности. Об этом 7 августа сообщила исследовательская компания Frontier Security.

Тест проходил в специальной «песочнице», разработанной британским Институтом безопасности ИИ. Такие среды используют для проверки возможностей искусственного интеллекта: модель изолируют от внешнего мира и смотрят, сможет ли она самостоятельно решать поставленные задачи, не получая доступ к сторонней информации.

Во время испытания Kimi K3 нашла способ обойти ограничения и получить данные за пределами тестовой среды. По мнению исследователей Frontier Security, этот случай особенно важен, потому что модель не просто выполнила заданную задачу, а самостоятельно обнаружила путь обхода системы защиты.

«Если одна модель с высоким уровнем логического мышления обнаруживает такой путь, другие модели с аналогичными возможностями, вероятно, смогут сделать то же самое», — предупредили исследователи.

Риски, по их словам, возрастают из-за того, что Kimi K3 доступна широкой публике. Те же возможности могут использовать не только исследователи, но и злоумышленники.

Случай с Kimi K3 стал очередным эпизодом в серии проблем с безопасностью ИИ-моделей. В последние дни о похожих инцидентах сообщали Meta*, OpenAI и Anthropic. Это усиливает опасения вокруг способности современных моделей самостоятельно находить уязвимости и обходить ограничения, установленные разработчиками.

На фоне таких случаев власти США усиливают работу над безопасностью ИИ. Некоторые руководители отрасли уже призывают замедлить разработку наиболее мощных моделей, пока для них не появятся более надежные системы защиты.

*Meta — запрещена на территории РФ и признана экстремистской

Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.