Американская технологическая компания в сфере искусственного интеллекта Anthropic опубликовала исследование в духе сценария фильма-катастрофы. Как утверждают эксперты, небольшие ИИ-модели уже через несколько месяцев смогут самостоятельно распространяться по «умной» бытовой технике — без всякого доступа к дата-центрам, без единой точки отключения.

В ходе экспериментов нейросеть успешно разобралась в работе оборудования восьми различных типов. А более продвинутая модель осуществила полный цикл автономного распространения. Правда, пока только в упрощённой виртуальной среде.

Anthropic провела серию тестов. В одном из них инженеры взяли 15 дешёвых телевизионных приставок — таких, какие есть дома у многих пользователей. И запустили на них небольшую программу ИИ. Это был довольно скромный алгоритм, способный работать на обычной технике.

И программа не просто работала - она училась, как и положено искусственному интеллекту. Правда, это происходило очень медленно — как будто она говорила по одному слову в несколько секунд. Но программа работала и справлялась с задачами.

Например, ей дали задание: не имея ни инструкций, ни подсказок, разобраться, как устроены другие устройства. И она справилась с восемью разными типами техники, которые ей предоставили.

Потом был второй эксперимент. Разработчики предложили другой, более умной ИИ-модели попробовать копировать себя — переходить с одного устройства на другое, заражая их, словно вирус. И у неё всё получилось!

Раньше вирусы управлялись из одного центра. Был главный компьютер (сервер), который рассылал команды. Теоретически, его можно было найти и выключить. Как свет в комнате — щёлк, и всё.

Теперь представим, что управляющего центра нет. Каждая вирусная программа действует сама по себе, автономно, заражая одно устройство за другим, да ещё способна обучаться. И выключить-то нечего.

Именно в этом главная опасность. Эксперт компании Anthropic предупреждают: единой точки отключения не будет, и, если такой вирус начнёт распространяться, остановить его будет очень сложно.

Современные общедоступные нейросети, по данным компании, уже способны выполнять отдельные этапы взлома. Однако пока они допускают ошибки, когда пытаются связать эти этапы в единую цепочку. Но, как показал второй из упомянутых экспериментов, более продвинутая модель успешно прошла полный цикл автономного распространения в изолированной сети «умных» устройств.

«Наши тесты свидетельствуют: небольшим ИИ-моделям может хватить всего нескольких месяцев, чтобы обрести способность самостоятельно распространяться по коммерческим устройствам интернета вещей – таким, как умные духовки и телевизионные приставки», — сказано в исследовании.

Это принципиально новая угроза. Теперь ИИ-вирус сможет проникать в нашу «умную»  бытовую технику и жить в ней – тех же духовках, ТВ-приставках, холодильниках, роботах-пылесосах. И распространяться дальше без всякой команды человека.

Как раз в начале октября сплыла информация, что руководители ведущих ИИ-компаний США (среди них та же Anthropic, OpenAI и другие) втайне моделируют последствия крупной кибератаки, способной парализовать банки, электросети и интернет. Поводом для такого исследования стала атака на южнокорейские банки: как сообщалось, некий китайский хакер использовал ИИ для кражи данных клиентов. После этого в Конгрессе США вновь начали обсуждать введение «кнопки экстренного отключения» для передовых нейросетей.

Эксперты успокаивают: полноценного самостоятельного ИИ-вируса пока не существует. Но появление таких алгоритмов возможно в ближайшем будущем. В каком? Возможно, уже к концу нынешнего года.

Очевидно, борьба с этой угрозой потребует совместных усилий производителей техники, интернет-провайдеров и разработчиков искусственного интеллекта. Такова наша новая реальность, которая всё больше напоминает сюжеты «Чёрного зеркала»: миллионы холодильников или роботов-пылесосов по всему миру могут объединиться, чтобы стать «армией» с совершенно неясными нам целями.

Эта «армия» может быть враждебной к человеку, а может быть и просто глупой. Если миллионы «умных» устройств начнут делать что им заблагорассудится, это будет не восстание машин, а их коллективное «сумасшествие». Что, конечно, тоже не подарок.