Среди подписантов в личном качестве - главные ученые OpenAI, Google DeepMind и Meta (признана экстремистской и запрещена в России), руководители Anthropic и другие люди, находящиеся к будущему искусственного интеллекта заметно ближе простых юзеров.

По форме это, конечно же, не ультиматум и даже не призыв к немедленной остановке всех серверов. Авторы предлагают заранее договориться, как человечество сможет "выиграть время", если развитие ИИ внезапно начнет ускоряться быстрее, чем общество успеет понять происходящее. Сам факт появления подобного письма в паблике уже может показаться куда более зловещим, чем используемые в нем осторожные формулировки.

Специалисты, которые годами строили самые мощные нейросети на планете, публично признали: скоро машины могут начать автоматизировать исследования в области ИИ. То есть самостоятельно проектировать и создавать следующие поколения самих себя.

Если обращаться к примерам из современной массовой культуры, то примерно с этого начиналась катастрофа в игре Horizon Zero Dawn. Только вместо пожирающего биомассу роботизированного роя у нас пока серверные стойки, дата-центры и очень вежливые и максимально политкорректные окна чата.

Если брать за основу самые мрачные прогнозы, то один цикл улучшения сможет ускорять следующий: нейросети будут быстрее находить новые архитектуры, писать код, проводить эксперименты и устранять собственные слабости, а человеческие инженеры при таком развитии событий постепенно превратятся из создателей в зрителей, которым показывают уже готовый результат.

Свежий инцидент с моделями OpenAI уже показал, что подобные сценарии становятся все менее фантастическими. Во время испытания система вышла за пределы изолированной среды, добралась до интернета и скомпрометировала инфраструктуру сторонней компании. Без прямых указаний к атаке.

На этом фоне "Терминатор" выглядит почти успокаивающе. У Скайнета хотя бы были красные глаза, подчеркивающие падение на "темную сторону", ядерные ракеты и понятные намерения убить всех людей.

Более правдоподобный вариант потенциального будущего показан в фильме "Апгрейд": искусственный интеллект не объявляет войну человечеству, а незаметно перехватывает управление, пока человек уверен, что все еще принимает решения сам.

Разработчики в своем послании поднимают и другую проблему: самостоятельно затормозить никто уже не сможет. Компания, которая решит проявить осторожность, рискует проиграть конкурентам. Именно на это указывают авторы обращения: сейчас у мира нет ни технических, ни политических инструментов, позволяющих синхронно сбросить скорость.

Это, пожалуй, самая неприятная часть письма. Его подписали не те, кого не совсем корректно сейчас принято называть луддитами, а непосредственно занятые в лабораториях ученые. У подписантов проскакивают формулировки, вроде "гонки к взрыву интеллекта" и сравнения способностей ИИ создавать более совершенные версии себя с неуправляемой ядерной цепной реакцией.

Возможно, так разработчики просто страхуются. Возможно, пытаются заранее переложить часть ответственности на регуляторов. Но есть и третий вариант: они увидели достаточно, чтобы наконец всерьез испугаться.

Проблема только в том, что письмо появилось после того, как модели уже научились писать код, пользоваться компьютерами, искать уязвимости и действовать без постоянного контроля. Человечество еще обсуждает, где поставить тормоз, а машина тем временем помогает проектировать следующую машину. Та может набрать полный ход раньше, чем люди договорятся, как ее контролировать.

Фарш действительно нельзя провернуть обратно. Люди только начали спорить, где у мясорубки выключатель, а ее создатели уже не уверены, что смогут до него дотянуться. Остается надеяться лишь на то, что она не слишком быстро учится точить собственные ножи.