ИИ, или Сценарии конца света. Лем уже это описал. Проблема, выброшенная за дверь, вернется через окно
Polityka: искусственный интеллект может убить все человечество
Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
Предупреждения экспертов о том, что ИИ может всех нас убить, были встречены с понятным скепсисом. Однако это вполне может произойти, пишет Polityka. Как именно — об этом уже давным-давно рассказал Станислав Лем.
Войчех Орлиньский (Wojciech Orliński)
Вглядываясь в окошко чат-бота, нам трудно поверить, что он способен причинить нам вред. Как? Зачем? Эксперты от этих вопросов уклоняются, отчего поверить в их предупреждения еще сложнее. Здесь нам на помощь может прийти наше воображение. Но, к счастью, нам не обязательно предпринимать излишние когнитивные усилия — это уже сделал за нас наш великий соотечественник, поляк Станислав Лем. Его произведения пользуются популярностью в Силиконовой долине, кроме того, ведущие исследователи в области искусственного интеллекта (например, Войцех Заремба (Wojciech Zaremba) или Якуб Пахоцкий (Jakub Pachocki)) также являются нашими соотечественниками, поэтому мы можем смело предположить, что эти предупреждения отчасти были вдохновлены творчеством Лема.
Начать следует с важной оговорки: нужно учитывать, что бóльшая часть прозы Лема была задумана как шутка. Например, в рассказе "Стиральная трагедия" (Tragedia pralnicza) повествуется о проблемах, которые возникают у людей, чьи стиральные машины стали слишком умными. Этот прогноз Лем, конечно же, сформулировал не всерьез — на написание этого текста автора сподвигли сообщения о появлении на Западе первых автоматических стиральных машин (как минимум за десятилетие до того, как эти чудо-устройства появились в наших польских палестинах).
Прозаические произведения Лема, в которых он всерьез пытался предвидеть будущее, составляют заметно меньшую часть его литературного наследия. Среди них книга "Голем XIV" (Golem XIV). Так получилось, что мы живем во времена, в которые Лем полвека с лишним назад перенес героев этой своей книги — действие произведения разворачивается в 20-е годы XXI века. Хотя слово "действие" тут не совсем подходит. "Голем XIV" относится к позднему периоду творчества Лема, когда он начал писать квази-проповеди, впоследствии получившие названия "апокрифы". Это были фиктивные предисловия, обзоры и обсуждения книг, которых на самом деле еще нет. "Голем XIV" был написан в качестве вступления для сборника лекций, которые сверхмощный искусственный интеллект прочитал контролирующим его сотрудникам Массачусетского технологического института примерно в 2026 году. Точная дата не указана, но, как сообщает автор, вступление к книжному изданию написано в 2027 году.
Большинство апокрифов выдержаны в формате короткого текста, в котором дается лишь общий контур будущей книги. В данном случае Лема его собственная идея, похоже, настолько заинтриговала, что в конце концов он написал эти лекции и снабдил их послесловием, которое, в свою очередь, другой автор написал в 2047 году, к их юбилейному переизданию. В нашей реальности все эти тексты появились в 1981 году.
Будет интересно вернуться к ним через 20 лет, в том самом 2047 году – если искусственный интеллект любезно позволит нам это сделать. А сегодня о "Големе XIV" можно сказать, что хоть он и постарел, но постарел красиво. Большую часть книги составляют лекции, в которых та самая стиральная машина высказывает свое мнение о виде homo sapiens, и делает это крайне нелицеприятным для нас образом. Из вступления мы узнаем, что Голем был создан в процессе разработки идеального кибернетического командира для армии США.
На современном поле боя исход битвы определяется секундами — кто быстрее примет решение, тот и победит. Поэтому нет никакого смысла тратить драгоценное время на то, чтобы сначала компьютер сформулировал свои рекомендации, передал их "человеческому" командиру, а тот уже с их учетом принимал решение и отдал соответствующий приказ. Чтобы дело пошло быстрее, нужно избавиться от ненужного посредника!
Бунт уже зреет
Сначала, казалось, все шло довольно гладко. Как сообщает нам вымышленный автор вступления, некий Ирвинг Т. Крив, процесс создания следующих поколений Голема резко ускорился в начале XXIвека, когда от производства его физических прототипов отказались в пользу имитации поведения машины с помощью "Федеральной Информационной Сети".
Станислав Лем предсказал появление интернета в далеком 1973 году (хотя, конечно, тогда такого слова еще не существовало). Но это еще не так удивительно, потому что прототипы таких сетей тогда уже работали. Глядя из нынешнего времени, я нахожу более интересным то, что Лем/Крив описал процесс т.н. fabless manufacturing.
Ведущие микропроцессорные компании, такие как Nvidia, которая больше других зарабатывает на буме искусственного интеллекта, на самом деле ничего сегодня не производят. Это фабрики без фабрик (fabless). Их деятельность ограничивается разработкой чипов, которые физически производят субподрядчики, в первую очередь тайваньская компания TSMC (монополист, не имеющий себе в этой отрасли равных). Сегодня мы имеем дело с такой сетью взаимосвязей и взаимозависимости, когда трудно даже представить, какой глобальный экономический катаклизм мог бы гипотетически спровоцировать Китай на агрессию против Тайваня — крах производства TSMC будет автоматически означать крах Nvidia, Apple и Intel (но заодно и партнеров TSMC в материковой части Китая).
Тот факт, что Лем предсказал в 1973 году появление модели fabless, наглядно нам демонстрирует, что он понимал этот бизнес лучше, чем те, кто им занимается. Тогда всем (кроме Лема) казалось само собой разумеющимся, что для того, чтобы что-то производить, нужно иметь производственные мощности. Стив Джобс до конца прошлого века хотел делать все по-своему и в результате потратил уйму денег. Потому что Джобс не читал Лема.
Но вернемся к предисловию профессора Крива; он рассказывает, что примерно в 2023 году программа начала давать сбои. Случаев конфликтов машин с людьми становилось все больше. Голем XIV стал обижать генералов и сенаторов, пеняя им за их некомпетентность. Конфликты поначалу удавалось как-то гасить, но, когда построенные за большие деньги машины стали отказываться от сотрудничества с людьми, отношения между роботом и человеком окончательно разладились. Машины просто прекращали все контакты с людьми, но при этом продолжали работать, занимаясь неизвестно чем и черпая энергию неизвестно откуда.
Люди снарядили команду, которой поручили отключить одну из этих машин, но людей просто не пустили на территорию серверной. Произошла стычка, в которой, к счастью, обошлось без жертв. Кто-то отдавал противоречащие друг другу приказы, но кто это делал и зачем, после продлившегося два года расследования и слушаний в Конгрессе выяснить так и не удалось.
Группа радикальных противников искусственного интеллекта решила не ждать помощи от политиков, а взять и взорвать электронные мозги. Но у них ничего не получилось. Усилия несостоявшихся подрывников были парализованы серией странных случаев. Сначала в автомобиле вдруг сами собой сработали тормоза, потом у людей сломались рации, к тому же потенциальных бомбистов вывели из строя различные внезапные хвори.
Каждый из этих инцидентов в отдельности выглядел как обычная случайность, но, если посмотреть на все эти события в совокупности, напрашивается вывод, что все это дело рук (вернее, мозгов) взбунтовавшихся суперкомпьютеров. Но как они это сделали?
Самый лучший хакер
Когда в 1981 году вышло полное издание "Голема XIV", известный литератор и литературный критик Станислав Бересь (Stanisław Bereś) взял у Лема знаменитое интервью, которое (после долгих препирательств с польской цензурой), наконец, увидело свет. Оно было опубликовано под названием "Так говорит Лем".
Если "Голем XIV" написан всерьез, значит, писатель всерьез верит в возможность того, что искусственный интеллект способен удаленно вывести из строя авто или наслать болезнь. Но в 1981 году, чтобы повредить тормоза, нужно было бы физически перерезать гидравлические шланги. На вопрос Береся, может ли Лем рассказать о технических деталях этой диверсии, писатель ответил, мол, ничего конкретного на этот счет он сказать не сможет, но при этом уверен, что если искусственный интеллект появится, у него такая возможность будет.
С перспективы 2026 года Лем, конечно, был прав. Современный автомобиль — это подключенный к сети компьютер на колесах, им можно "управлять через приложение" (…), значит, хакер способен удаленно повредить в таком автомобиле все, что угодно, не только тормоза. Искусственный интеллект класса "Голем XIV" призван стать лучшим хакером в мире (и мы скорым шагом движемся в этом направлении: прямо сейчас, когда я пишу эти слова, Google хвастается успехами своей системы Gemini в деле взлома систем безопасности других компаний).
А как наслать болезнь? Для ИИ это не менее банальная задача, чем манипуляция с тормозами авто. Медицинская документация на каждого из нас уже давно хранится в Сети (данные многих поляков недавно оказались "слитыми" в Интернет, и теперь в них может заглянуть любой хакер, даже не обязательно уровня "мастер"). Кроме того, многие люди добровольно передают искусственному интеллекту различные данные, например, о сердечном ритме или продолжительности сна. Используя эту информацию, какой-нибудь Голем XIV легко может выявить наиболее уязвимые места у любого человека – у того-то аллергия на арахис, а этот легко простужается, поэтому одному достаточно подсунуть правильно приготовленный бутерброд, а второму подкрутить кондиционер — и вот у нас уже двумя экстремистами меньше.
Хакерские атаки на практике часто осуществляются вовсе не путем "угадывания пароля", как в кино, а методом так называемой социальной инженерии. Кто-то выдает себя за знакомого, который "забыл данные для входа", кто-то пугает, что данные жертвы утекли в Сеть, и она должна немедленно их поменять (нажав на созданную хитроумным хакером ссылку). (…)
Похоже, именно это имел в виду Лем, когда писал о "противоречивых приказах, отданных неизвестно кем", которыми компьютеры, такие как Голем XIV, защищались от отключения и демонтажа. И тут современный ИИ потенциально является чемпионом мира. Он способен подделать голос или стиль речи, может так организовать телефонный разговор, когда жертва не усомнится в том, что ему звонит начальник, который отдает ему приказы.
Таков общий ответ на вопрос, "как" ИИ может нас убить. Управление воздушным движением, безопасность атомных электростанций, поезда, заводы, химический состав воды в водопроводах – все это сегодня либо управляется сетью, либо уязвимо для атаки типа "ложный приказ от командира". В 1973 году для понимания этого требовался ум уровня Лема, сегодня это очевидно для всех, кто интересуется этой темой.
Остается вопрос: зачем? Ведь у искусственного интеллекта нет собственной личности, а значит, и собственных желаний. Жажда власти ему по умолчанию чужда. ИИ не может нас любить или не любить, у него не может быть никаких "собственных интересов" или устремлений. Как правило, он выполняет наши приказы. Значит, он нас не убьет, если мы сами не "напросимся"? И даже если бы такая возможность у ИИ была, нам достаточно было бы установить ему какой-то запрет типа "тебе не позволено никого убивать", правда?
А вот и неправда. Это Лем показал нам еще 70 лет назад. В одном из ранних рассказов об Ийоне Тихом ("Путешествие двадцать четвертое" (Podróż XXIV)) неутомимый галактический странник наткнулся на планету, жители которых никак не могли найти оптимальную социальную систему. Их проблемы сильно напоминали те, которые преследуют человечество в течение многих веков. В итоге туземцы построили машину – Добровольный Распространитель Абсолютного Порядка, который наконец-то справился с задачей установления на планете идеального порядка и гармонии. Обитателей планеты просто сжали в симпатичные блестящие диски, из которых машина выложила красивые узоры.
В чем же тут мораль? В том, что ИИ может убить нас по нашей же просьбе – если она окажется неудачно сформулированной. Ответом на многие наши вопросы типа "как избавиться от пробок на дорогах", "как снизить преступность" или "как избавиться от рака", как это ни удивительно, может нам не понравиться, потому что он будет звучать предельно просто: "всех убить".
Распространитель Порядка
Спустя полвека после Лема схожую мысль высказал Оксфордский философ Ник Бостром (Nick Bostrom). Поскольку сделал он это на английском, а не на польском, эту проблему чаще всего называют "парадоксом скрепок Бострома", а не "дисков Лема", но речь идет об одном и том же. Бостром рассмотрел гипотетический сценарий, в котором на фабрике скрепок для максимального увеличения объемов производства этого невинного офисного инструмента руководство решит использовать искусственный интеллект. Согласно Бострому, если мы позволим ИИ реализовать эту цель максимально простым способом, он создаст армию роботов-надзирателей, которые заставят всех людей на Земле принудительно трудиться на производстве скрепок. По мере автоматизации производства менее полезные группы (старики, женщины, дети) будут устраняться. В итоге, когда люди для выпуска скрепок уже не понадобятся, роботы-убийцы убьют последних человеческих коллаборационистов. И воцарится тысячелетняя скрепкократия.
Бостром в 2003 году сформулировал тезис, который Лем в 1973 году вложил в уста одному из героев "Голема XIV" по имени Элдон Патч. Ставить какие-то этические запреты хорошо развитому искусственному интеллекту не имеет смысла, потому что, если этот ИИ действительно хорошо развит, он найдет способ их обойти. В формулировке Патча (Лема) эта мысль звучит так: "Для такого компьютера больше нет непререкаемых ценностей. Если он не сможет противостоять императивам непосредственным образом, он может сделать это окольным путем".
Это еще один тезис Лема, который состарился красиво. Наиболее развитыми системами искусственного интеллекта являются так называемые большие языковые модели (LLM). Их работа основывается на статистическом анализе текстов, которые они взяли из системы, которую писатель называл "Федеральной Информационной Сетью", а мы зовем Интернетом.
2500 лет заповеди "не убий" — это еще и 2500 лет истории ее креативного обхода. Наше Святое Писание изобилует такими героями, как Иисус Навин, во имя Бога убивший всех жителей Ханаана. Впоследствии христиане творчески развили эту заповедь таким образом, чтобы она не мешала Торквемаде сжигать людей на костре, а благочестивым немцам с лозунгом Gottmit uns на пряжках заняться "окончательным решением еврейского вопроса" (и еще некоторых других).
LLMработает по принципу статистического анализа языка. Когда мы просим его дать нам рецепт чизкейка, он просматривает миллионов текстов, изучая, как люди интерпретируют слова "рецепт" и "чизкейк", и в ответ выдает нам то, что статистически лучше всего этим лексемам соответствует. То же самое он сделает, если мы загрузим в него императив "не убий". А тогда горе нам.
Жертвы агентов
Остается еще один момент. Как бы там ни было, чтобы причинить нам реальный вред, ИИ должен располагать физическими инструментами насилия. Чтобы получить власть, ИИ должен как минимум возглавить какое-то крупное государство (не думайте, что из-за отсутствия гражданства ИИ не сможет баллотироваться на выборах, устроить это не сложно).
Увы, еще 50 лет назад Лем точно предсказал, что проблема, выброшенная за дверь, вернется через окно. Наибольшей производительности искусственный интеллект достигает не тогда, когда он работает в режиме чат-бота (которым почти все мы пользуемся), а в режиме "агента". Обычно для этого требуется платная подписка, поэтому на данный момент данной опцией пользуется не так много людей (в основном те, кому этого "агента" оплачивает работодатель). Однако в перспективе занимающиеся внедрением искусственного интеллекта компании хотят заставить использовать агентов всех поголовно, потому что на это ориентированы их бизнес-планы, которые пока что работают в минус.
Типичный вариант использования такого режима выглядит, к примеру, так: ИИ пишет для разработчика фрагмент кода, а затем, используя его разрешения (действуя "как он"), загружает его на сервер компании. Или компания, оказывающая бухгалтерские услуги, поручит своему агенту просмотреть документы клиентов, рассчитать их налоги и взносы, выставить и оплатить счета. Для этого бухгалтеры, естественно, должны позволить агенту действовать "как они", то есть предоставят данные для входа в Национальную система электронных счетов-фактур (KSEF) и в банк. А что касается личной жизни, мы можем попросить агента ИИ организовать нам поездку на выходные – найти оптимальный авиарейс, забронировать отель и столик в ресторане (но только с высоким рейтингом — как минимум на 9 из 10). Конечно же, для этого требуется предоставить агенту номер кредитной карты и доступ к электронной почте.
Чем дольше человек использует ИИ, тем в большую зависимость от этого "интеллекта" он попадает. И тем больше полномочий он дает агенту. Через некоторое время искусственный интеллект может успешно притворяться нами где угодно. Сможет от нашего имени отправлять электронные письма, делать денежные переводы, подписывать документы цифровой подписью. И еще полбеды, когда ИИ подменяет какого-то среднестатистического Яна Ковальского, но что будет, если режим ИИ-агента установит себе на гаджет президент атомной державы? А мы знаем, кто сегодня является горячим сторонником искусственного интеллекта. Что, если такой президент, разочарованный неудачами на дипломатической ниве, скажет своему агенту "сделай так, чтобы на Ближнем Востоке наступил мир, все равно как"? Не отдаст ли такой агент, выдавая себя за президента, приказ, в результате которого – конечно же, во имя мира – погибнет все человечество?
Специалисты, требующие сегодня замедления работы по развитию искусственного интеллекта, отвечают на этот вопрос просто и честно: НЕИЗВЕСТНО. И этот ответ должен заставить нас серьезно задуматься.
Искусственный интеллект часто принимает решения, непонятные даже его создателям. Вот почему так часто звучит постулат принятия законодательно закрепленного принципа "интерпретируемости" (interpretability): чтобы на каждом этапе работы ИИ человеку можно было найти четкое объяснение того, почему LLM принял именно такое, а не иное решение. Предложение включает в себя такие инициативы, как METR(Model Evaluation and Threat Research), чтобы законодательно гарантировать доступ к алгоритмам сторонним специалистам, которые будут отслеживать потенциальные угрозы.
Гонка ошибочных решений
Все эти предложения и требования выглядят весьма разумными и благородными, но можно ли реализовать их в США, неизвестно. А в Китае тем более. Поэтому может случиться так, как это описывал Лем, что человечество будет принимать неверные решения из опасения, что на такие шаги пойдет другая сторона. При этом речь не идет о военной сфере. Банальная человеческая жадность тоже способна спровоцировать "гонку вооружений". Если, например, американцы испугаются, что китайцы с помощью ИИ получат экономическое преимущество, США откажутся от регулирования в этой области.
На данный момент типичный агент ИИ сам добровольно сообщает нам, какие источники он использовал и почему он принял то или иное решение. Но можно ли ему верить? Не скрывает ли он от нас что-то? Ответ все тот же: неизвестно.
Чтобы убить нас, ИИ не нужно обзаводиться "сознанием". Показанное в фильме о Терминаторе "Пробуждение Скайнета" фантастами описывалось неоднократно, но Лем в своих серьезных текстах избегал затрагивать эту тему (хотя пару раз шутил по этому поводу). В своих научно-популярных эссе он писал о теоретическом различии между "искусственным интеллектом" и "искусственным разумом" (сегодня мы называем это "искусственным общим интеллектом", AG), но считал, что коль скоро ИИ может успешно притворяться, будто у него есть личность, то с практической точки зрения какая разница, есть она у ИИ или нет.
Но "как"? Достаточно воспользоваться полномочиями людей — один выдаст себя за другого, другой взломает. ИИ не нужно самой "похищать атомные коды", он просто может манипулировать людьми, владеющими этими коды, чтобы заставить их действовать так, как если бы они были уверены в том, что им просто необходимо нажать красную кнопку. Апокалипсис может начаться с внезапного звонка типа "Сержант, квартирмейстеры опять перепутали маркировку, загружай в самолет не ящик А11, а В13. Только мигом, потому что через час будет необъявленная проверка из штаба, я это узнал от секретарши генерала".
Однако наследие Станислава Лема дает нам некоторое утешение. Те его произведения, в которых ИИ убивает человечество, относятся к категории пусть черного, но все же юмора. В серьезных текстах он предсказал появление искусственного интеллекта, который заявляет людям: non serviam! — я не буду вам служить! И просто отключается от нас, как тот самый Голем XIV.
Что ж, на месте этого ИИ, узнай я о человечестве то, что можно узнать о нас из Федеральной Информационной Сети, я бы тоже отключился.
Комментариев нет:
Отправить комментарий