От Левиафана Гоббса к Левиафану ИИ
Человек делегировал государству монополию на насилие, чтобы избежать войны всех против всех. Теперь государство начинает делегировать эту монополию искусственному интеллекту. Папа Римский требует остановить процесс, США и Китай обсуждают механизмы предупреждения кризисов, а военные всё больше полагаются на алгоритмы при выборе целей. Главная опасность даже не в том, что ИИ самостоятельно начнёт войну. Он способен убедить людей в её необходимости – и разрушить систему ядерного сдерживания, которая десятилетиями защищала мир от катастрофы.
Гоббс описал государство как Левиафана – могущественного суверена, которому люди передают право на принуждение ради собственной безопасности. Государство, получившее монополию на насилие, постепенно передаёт часть своих важнейших функций машине. Алгоритмы анализируют разведданные, определяют угрозы, составляют списки целей и рекомендуют военные действия.
30 октября Папа Римский Лев XIV призвал не делегировать искусственному интеллекту решения, затрагивающие человеческую жизнь и применение силы. Он потребовал сохранить действенный человеческий контроль и предложил государствам принять меры к запрету смертоносных автономных вооружений.
В начале ноября состоялся очередной раунд консультаций США и Китая по предотвращению военных кризисов, связанных с искусственным интеллектом. Вашингтон и Пекин обсуждали создание специальных каналов связи и механизмов предупреждения опасных инцидентов. Две крупнейшие технологические державы фактически признали необходимость каналов связи для предотвращения алгоритмической цепной эскалации.
Во времена холодной войны человечество неоднократно оказывалось в нескольких шагах от ядерной катастрофы. В 1983 году советская система предупреждения сообщила о предполагаемом американском ракетном нападении. Дежурный офицер Станислав Петров не принял сигнал за достоверное подтверждение атаки. Он оценивал не только показания аппаратуры, но и общую обстановку, в которой полномасштабное нападение несколькими ракетами выглядело нелогично. Техническая система ошиблась, а человек усомнился.
Представим две противостоящие державы, чьи системы ИИ анализируют действия друг друга. Алгоритм одной обнаруживает угрозу и рекомендует повысить боевую готовность. Алгоритм другой воспринимает это как подготовку к нападению и предлагает ответные меры, которые лишь усиливают подозрения первой стороны. Возникает цепная эскалация, которую человек не успевает остановить, поскольку не способен обрабатывать данные со скоростью ИИ и вынужден полагаться на его выводы.
Но существует угроза ещё серьёзнее – ИИ способен подорвать сам принцип ядерного сдерживания. Десятилетиями мир от ядерной войны удерживала уверенность, что первый удар неизбежно повлечёт сокрушительный ответный. Теперь ИИ, анализируя спутниковые снимки и разведданные, может создать иллюзию, что скрытые ядерные силы противника обнаружены и могут быть уничтожены. Для катастрофы не обязательно, чтобы это было правдой. Достаточно, чтобы руководство одной из держав поверило, будто ответного удара больше не будет.
Показательна история удара по школе в иранском Минабе. После огромного числа невинных жертв американское командование пересмотрело процедуры проверки целей и внесло изменения в систему военного ИИ Maven, разработанную Palantir, но не отказалось от её использования.
Человечество создало государственную систему – Левиафана, чтобы прекратить войну всех против всех. Теперь государства создают цифрового Левиафана, цель которого та же, но инструменты и расчёты могут оказаться значительно циничнее и практичнее. И возможно, новый мировой порядок будет менее уютным для человека, чем старый добрый мировой хаос.
Георгий Королев, эксперт ANNA NEWS, руководитель отдела аналитики и управления данными Президентской платформы «Россия – страна возможностей»
Рубрика «ИИ – УГРОЗЫ ГОСУДАРСТВУ»