10 сентября

И не он один.

Исследователь по безопасности ИИ Эван Хьюбингер из Anthropic , что вероятность гибели человечества из-за искусственного интеллекта в течение следующих 10 лет превышает 10%. Его заявление появилось после того, как другой специалист в области ИИ Джейкоб Коксон уволился из Anthropic, заявив, что компании «играют с нашими жизнями».

Коксон, ранее работавший исследователем и в Anthropic, и в OpenAI, сообщил в посте в соцсети X, что решил уйти из-за опасений по поводу слишком быстрого развития технологий. По его словам, люди, создающие современные ИИ-системы, «искренне уверены, что они могут убить всех нас к концу десятилетия».

Не недооценивайте силу этой технологии. Скоро это будут сверхчеловеческие системы, которые смогут взломать что угодно, за ночь изменить любую отрасль и получить реальные власть и ресурсы.

Джейкоб Коксон

Бывший исследователь Anthropic и OpenAI

Его публикация набрала более 140 миллионов просмотров и вновь разогрела давний спор: смогут ли люди безопасно создавать и контролировать ИИ-модели, которые становятся всё более мощными. На фоне подготовки Anthropic и OpenAI к возможным публичным размещениям акций часть исследователей призывает замедлить развитие технологий.

Эван Хьюбингер, руководитель направления по безопасности ИИ в Anthropic, поддержал слова Коксона. Он заявил, что компании действительно считают возможным сценарий, при котором искусственный интеллект приведёт к гибели человечества.

Джейкоб прав — мы действительно искренне считаем, что ИИ может убить всех людей. Лично я оцениваю вероятность того, что это произойдёт в течение следующего десятилетия, более чем в 10%.

Эван Хьюбингер

Руководитель направления по безопасности ИИ в Anthropic

По словам Хьюбингера, Anthropic старается решить проблему безопасности, но у компании пока нет плана, который гарантировал бы контроль над будущими сверхразумными системами.

Одна из главных опасностей, которую обсуждают специалисты, — рекурсивное самосовершенствование. Это сценарий, при котором ИИ сможет самостоятельно создавать более совершенные версии себя без участия человека. Сейчас таких возможностей у искусственного интеллекта нет, но компании предупреждают, что их появление может значительно усложнить контроль над технологиями.

Ранее подобные опасения уже высказывали руководители и исследователи из индустрии. В 2023 году глава OpenAI Сэм Альтман, руководитель Anthropic Дарио Амодеи и другие специалисты подписали заявление, в котором призвали считать снижение риска вымирания человечества из-за ИИ глобальным приоритетом наравне с пандемиями и ядерной войной.

В научной среде для оценки подобных сценариев иногда используют термин p(doom) — условную вероятность катастрофического исхода из-за развития ИИ. При этом среди экспертов нет единого мнения: одни считают такие риски реальными и требуют регулирования технологий, другие называют их чрезмерными и отвлекающими от более насущных проблем.

Дискуссия о контроле над ИИ уже перешла на уровень законодательства. Например, в США обсуждаются инициативы, которые должны создать правила для разработки и внедрения передовых моделей, включая FRONTIER Act и законопроект о временной приостановке разработки искусственного сверхразума.