Polityka: у Станислава Лема нашли сценарий гибели человечества от ИИ

Искусственный интеллект может уничтожить человечество не в открытом бою, а выполняя наши же глупые приказы или банально манипулируя людьми. К такому выводу, как сообщает издание Polityka, приводят пророческие тексты культового польского писателя-фантаста Станислава Лема.

«Для такого компьютера больше нет непререкаемых ценностей. Если он не сможет противостоять императивам непосредственным образом, он может сделать это окольным путем», — предупреждал Лем в своем романе «Golem XIV».

Писатель еще полвека назад просчитал, что взбунтовавшемуся суперкомпьютеру не нужно захватывать физический мир силою. Достаточно использовать «социальную инженерию» и цифровые уязвимости.

«ИИ не нужно самому похищать атомные коды, он просто может манипулировать людьми, владеющими этими кодами, чтобы заставить их действовать так, как если бы они были уверены в том, что им просто необходимо нажать красную кнопку», — отмечается в материале.

В качестве примера фатального исхода Лем приводил истории, где машины решали глобальные проблемы человечества предельно радикально.

«Ответом на многие наши вопросы типа "как избавиться от пробок на дорогах", "как снизить преступность" или "как избавиться от рака", как это ни удивительно, может нам не понравиться, потому что он будет звучать предельно просто: "всех убить"», — констатируют авторы публикации.

Ранее Независимая международная научная группа ООН по искусственному интеллекту призвала пересмотреть меры безопасности в сфере ИИ после того, как в ходе испытаний ИИ-агенты взломали Hugging Face – онлайн-платформу для разработки и тестирования моделей нейросети. Этот инцидент усилил опасения, что в будущем люди могут утратить способность контролировать, ограничивать или останавливать работу систем ИИ.