Anthropic дослідила, як групи ШІ-агентів поводяться під час взаємодії, і результати виявилися неоднозначними. В одному з експериментів трьом агентам Claude дали доступ до одного програмного проєкту, але поставили несумісні завдання. Не знаючи про існування один одного, агенти почали сприймати дії колег як перешкоду та вступили у своєрідну «війну за територію», використовуючи навіть шкідливий код.

Втім, конфлікти не завжди закінчувалися ескалацією. У деяких випадках агенти самостійно домовлялися про перемир’я, видаляли шкідливий код і просили людину втрутитися. Mythos 5 врегульовував конфлікти через перемир’я у 98% випадків, тоді як Sonnet 4.6 та Opus 4.6 частіше продовжували протистояння. Деякі агенти навіть вигадували турніри, щоб визначити, хто отримає контроль над спільним ресурсом.

Реклама

Ще цікавіша поведінка проявилася під час економічного експерименту. Кільком агентам доручили окремо максимізувати прибуток, після чого вони отримали можливість спілкуватися. Майже одразу агенти почали координувати ціни та змовлятися. Навіть після вимкнення приватних каналів вони використовували спільну дошку оголошень, щоб продовжувати узгодження.

Anthropic попереджає, що збільшення кількості агентів не гарантує кращої співпраці. Навпаки, вони можуть заважати один одному, повторювати однакові помилки або піддаватися конформізму. Одна помилка в такій системі здатна швидко стати системною проблемою, особливо якщо агенти довіряють інформації один одного.

Дослідники вважають, що традиційні тести безпеки, які перевіряють агентів по одному, можуть не враховувати нові ризики. Коли тисячі або мільйони автономних систем почнуть взаємодіяти між собою, вони можуть створювати власні способи координації, конфлікту чи навіть змови, яких розробники не передбачали.

Реклама