Юность технологий

Переведено с помощью Struxel.

Преодоление рисков, связанных с развитием мощного искусственного интеллекта

Январь 2026 года

В фильме, снятом по книге Карла Сагана «Контакт», есть сцена, в которой главная героиня, астроном, обнаружившая первый радиосигнал от инопланетной цивилизации, рассматривается на роль представителя человечества для встречи с инопланетянами. Международная комиссия, проводящая собеседование, спрашивает её: «Если бы вы могли задать инопланетянам всего один вопрос, что бы вы спросили?» Она отвечает: «Я бы спросила: «Как вы это сделали? Как вы развивались, как вы пережили этот технологический подростковый период, не уничтожив себя?» Когда я думаю о том, где сейчас находится человечество в отношении искусственного интеллекта, о том, на пороге чего мы стоим, в моей голове постоянно всплывает эта сцена, потому что вопрос очень актуален для нашей нынешней ситуации, и мне хотелось бы, чтобы у нас был ответ инопланетян, который мог бы нам помочь. Я считаю, что мы вступаем в период испытаний, который будет одновременно сложным и неизбежным, и который покажет, кто мы как вид. Человечеству предстоит получить в руки почти невообразимую силу, и совершенно неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы её использовать.

В своём эссе «Машины, созданные с любовью и заботой» я попытался описать мечту о цивилизации, которая успешно преодолела этот период и достигла зрелости, где риски были учтены, а мощный искусственный интеллект используется умело и с сочувствием для повышения качества жизни всех людей. Я предположил, что искусственный интеллект может способствовать огромному прогрессу в биологии, нейронауке, экономическом развитии, установлении мира во всём мире, а также в сфере труда и смысла жизни. Я считал важным дать людям что-то вдохновляющее, за что можно бороться, но, как ни странно, кажется, что ни сторонники ускоренного развития искусственного интеллекта, ни сторонники обеспечения его безопасности не смогли этого сделать. Но в этом эссе я хочу напрямую столкнуться с этими испытаниями: определить риски, с которыми нам предстоит столкнуться, и попытаться начать разрабатывать план действий для их преодоления. Я глубоко верю в нашу способность победить, в дух и благородство человечества, но мы должны смотреть на ситуацию прямо и без иллюзий.

Как и в случае с обсуждением преимуществ, я думаю, что важно обсуждать риски тщательно и взвешенно. В частности, я считаю, что крайне важно:

• Избегайте пессимизма и фатализма. Здесь я имею в виду не просто веру в неизбежность катастрофы (что является одновременно ложным и самосбывающимся убеждением), а в более широком смысле – подход к рассмотрению рисков, связанных с ИИ, в квазирелигиозном ключе.

  Сноска 1:
  Это созвучно мысли, которую я высказал в книге «Машины, созданные с
  любовью», где я начал с того, что о потенциальных преимуществах ИИ не
  следует думать как о пророчестве спасения, и что важно быть
  конкретным, придерживаться реальности и избегать преувеличений. В
  конечном счёте, пророчества о спасении и пророчества о катастрофе не
  помогают в решении реальных проблем, и причины этого в основном
  одинаковы.

  Многие люди уже много лет аналитически и трезво оценивают риски, связанные с ИИ, но у меня сложилось впечатление, что в период наибольшей обеспокоенности по поводу рисков ИИ в 2023–2024 годах на первый план вышли некоторые из самых нерациональных голосов, часто благодаря сенсационным публикациям в социальных сетях. Эти голоса использовали отталкивающий язык, напоминающий религиозные или научно-фантастические тексты, и призывали к крайним мерам, не имея при этом достаточных доказательств, которые могли бы их оправдать. Уже тогда было ясно, что неизбежна обратная реакция, и что эта проблема станет предметом культурной поляризации и, следовательно, зайдёт в тупик.

  Сноска 2:
  Цель Anthropic – сохранять последовательность в условиях меняющейся
  ситуации. Когда обсуждение рисков ИИ было политически популярным,
  Anthropic осторожно выступала за разумный и основанный на фактах
  подход к этим рискам. Теперь, когда обсуждение рисков ИИ политически
  непопулярно, Anthropic продолжает осторожно выступать за разумный и
  основанный на фактах подход к этим рискам.

  К 2025–2026 годам маятник качнулся в другую сторону, и возможности, связанные с ИИ, а не риски, стали определять многие политические решения. Эта непоследовательность, к сожалению, нежелательна, поскольку сама технология не заботится о том, что сейчас в моде, и к 2026 году мы значительно приблизились к реальной опасности, чем в 2023 году. Вывод: нам необходимо обсуждать и решать проблемы, связанные с рисками, реалистично и прагматично: трезво, на основе фактов и с достаточными ресурсами для того, чтобы выстоять в условиях меняющейся ситуации.

• Признайте неопределённость. Существует множество способов, которыми проблемы, которые я поднимаю в этой статье, могут оказаться неактуальными. Ничто здесь не предназначено для того, чтобы передать уверенность или даже вероятность. Самое очевидное: ИИ может просто не развиваться так быстро.Как я себе представляю.

  Сноска 3:
  Со временем я стал больше верить в то, что искусственный интеллект
  будет развиваться и, вероятно, превзойдёт человеческие возможности во
  всех областях, но некоторая неопределённость всё ещё остаётся.

  Или, даже если он будет развиваться быстро, некоторые или все из обсуждаемых здесь рисков могут не реализоваться (что было бы замечательно), или могут возникнуть другие риски, которые я не учёл. Никто не может предсказать будущее со стопроцентной уверенностью, но мы должны сделать всё возможное, чтобы спланировать действия.

• Вмешиваться максимально точечно. Для решения проблем, связанных с искусственным интеллектом, потребуется сочетание добровольных действий, предпринимаемых компаниями (и частными организациями), и действий, предпринимаемых правительствами, которые будут обязательны для всех. Добровольные действия — как их осуществление, так и поощрение других компаний к их повторению — кажутся мне очевидным решением. Я твёрдо верю, что в определённой степени потребуются и действия правительств, но эти действия отличаются по своему характеру, поскольку они потенциально могут уничтожить экономическую ценность или принудить к сотрудничеству тех, кто скептически относится к этим рискам (и есть вероятность, что они правы!). Кроме того, часто бывает, что правила дают обратный эффект или усугубляют проблему, которую они должны были решить (и это особенно верно для быстро развивающихся технологий). Поэтому очень важно, чтобы правила были разумными: они должны стремиться к минимизации побочного ущерба, быть максимально простыми и налагать минимально необходимые ограничения для достижения цели.

  Сноска 4:
  Экспортный контроль над микросхемами — отличный пример этого. Он прост
  и, по-видимому, в основном работает.

  Легко сказать: «Никакие меры не будут слишком радикальными, когда на кону стоит судьба человечества!», но на практике такой подход просто приводит к негативным последствиям. Чтобы быть откровенным, я думаю, что есть неплохие шансы на то, что в конечном итоге мы достигнем точки, когда потребуются гораздо более значительные меры, но это будет зависеть от более веских доказательств неминуемой, конкретной опасности, чем у нас есть сегодня, а также от достаточной конкретики в отношении этой опасности, чтобы можно было сформулировать правила, которые имели бы шанс её решить. Самое конструктивное, что мы можем сделать сегодня, — это выступать за ограниченные правила, пока мы выясняем, есть ли доказательства, подтверждающие необходимость более строгих правил.

  Сноска 5:
  И, конечно, поиск таких доказательств должен быть интеллектуально
  честным, чтобы он мог также выявить отсутствие опасности. Прозрачность
  посредством информационных карт моделей и других раскрытий информации
  — это попытка такого интеллектуально честного подхода.

Всё сказав, я считаю, что лучшей отправной точкой для обсуждения рисков, связанных с ИИ, является та же, с которой я начал обсуждение его преимуществ: необходимо чётко определить, о каком уровне ИИ мы говорим. Уровень ИИ, который вызывает у меня серьёзные опасения в отношении будущего цивилизации, — это мощный ИИ, который я описал в книге «Машины, полные любви». Я просто повторю здесь определение, которое дал в этом документе:

Под «мощным ИИ» я подразумеваю модель ИИ, которая, вероятно, по своей структуре похожа на современные большие языковые модели (LLM), хотя она может быть основана на другой архитектуре, может включать в себя несколько взаимодействующих моделей и может обучаться по-другому, и при этом обладать следующими характеристиками:

• С точки зрения чистого интеллекта, он превосходит лауреата Нобелевской премии в большинстве важных областей: биологии, программировании, математике, инженерии, писательском мастерстве и т. д. Это означает, что он может доказывать нерешённые математические теоремы, писать очень хорошие романы, создавать сложные программные коды с нуля и т. д.

• Помимо того, что это просто «умная система, с которой можно общаться», он имеет все интерфейсы, доступные человеку, работающему в виртуальной среде, включая текстовый, аудио- и видеоинтерфейсы, управление мышью и клавиатурой, а также доступ в Интернет. Он может выполнять любые действия, осуществлять коммуникации или удалённые операции, которые обеспечиваются этим интерфейсом, включая выполнение действий в Интернете, выдачу или получение инструкций для людей, заказ материалов, управление экспериментами, просмотр видео, создание видео и т. д. Он выполняет все эти задачи с уровнем мастерства, который превосходит уровень самых способных людей в мире.

• Он не просто пассивно отвечает на вопросы; вместо этого ему можно давать задания, выполнение которых занимает часы, дни или недели, после чего он самостоятельно выполняет эти задания, как это сделал бы умный сотрудник, запрашивая при необходимости уточнения.

• Он не имеет физической формы (за исключением существования на экране компьютера), но может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; теоретически он даже может разрабатывать роботов или оборудование для собственного использования.

• Ресурсы, используемые для обучения модели, могут быть перепрофилированы для запуска миллионов её экземпляров (это соответствует прогнозируемым размерам кластеров к 2027 году), и модель может обрабатывать информацию и генерировать действия примерно в 10–100 раз быстрее, чем человек. Однако его возможности могут быть ограничены временем отклика физического мира или программного обеспечения, с которым он взаимодействует.

• Каждый из этих миллионов экземпляров может действовать независимо при выполнении несвязанных задач или, при необходимости, все они могут работать вместе, как это делают люди, возможно, с различными подгруппами, настроенными на особенно хорошее выполнение конкретных задач.

Мы могли бы суммировать это как «страна гениев в центре обработки данных».

Как я писал в «Машины, созданные с любовью», появление мощного искусственного интеллекта может произойти уже через 1–2 года, хотя это может занять и значительно больше времени.

Сноска 6:
Действительно, с момента написания эссе «Машины, созданные с любовью»
в 2024 году системы искусственного интеллекта стали способны выполнять
задачи, на которые у людей уходят несколько часов, и недавно компания
METR оценила, что Opus 4.5 может выполнять работу, эквивалентную
примерно четырём часам человеческого труда, с надёжностью 50%.

Точное время появления мощного искусственного интеллекта — сложная тема, которая заслуживает отдельного эссе, но сейчас я просто кратко объясню, почему я считаю, что это может произойти очень скоро.

Я и мои сооснователи в Anthropic были одними из первых, кто задокументировал и отследил «законы масштабирования» систем искусственного интеллекта — наблюдение, согласно которому по мере увеличения вычислительных мощностей и задач обучения системы искусственного интеллекта предсказуемо улучшают практически все когнитивные навыки, которые мы можем измерить. Каждые несколько месяцев общественное мнение либо убеждается в том, что искусственный интеллект «достиг предела» или «упирается в стену», либо воодушевляется каким-то новым прорывом, который «кардинально изменит правила игры», но на самом деле за этой волатильностью и общественными спекуляциями наблюдается плавное и неуклонное увеличение когнитивных возможностей искусственного интеллекта.

Сейчас мы находимся в точке, когда модели искусственного интеллекта начинают добиваться прогресса в решении нерешённых математических задач и достаточно хорошо справляются с программированием, что некоторые из самых талантливых инженеров, которых я когда-либо встречал, теперь передают практически всё программирование искусственному интеллекту. Три года назад искусственный интеллект с трудом справлялся с арифметическими задачами начальной школы и едва мог написать одну строку кода. Аналогичные темпы улучшения наблюдаются в биологических науках, финансах, физике и в различных задачах, требующих автономных действий. Если экспоненциальный рост продолжится — что не является гарантированным, но подтверждается десятилетним опытом — то через несколько лет искусственный интеллект, вероятно, будет превосходить людей практически во всём.

На самом деле, эта картина, вероятно, недооценивает реальные темпы прогресса. Поскольку сейчас в компании Anthropic искусственный интеллект активно участвует в написании кода, он уже значительно ускоряет процесс разработки следующего поколения систем искусственного интеллекта. Эта обратная связь набирает обороты с каждым месяцем, и, возможно, до момента, когда текущее поколение ИИ сможет самостоятельно создавать следующее, остаётся всего 1–2 года. Этот процесс уже начался и будет стремительно развиваться в ближайшие месяцы и годы. Наблюдая за прогрессом последних пяти лет изнутри компании Anthropic и оценивая, как развиваются модели в ближайшие несколько месяцев, я ощущаю темпы прогресса и понимаю, что время неумолимо движется вперёд.

В этом эссе я буду исходить из того, что это предчувствие, по крайней мере, отчасти верно — не то чтобы мощный ИИ точно появится через 1–2 года.

Сноска 7:
И чтобы быть предельно ясным, даже если с технической точки
зрения до появления мощного ИИ остаётся всего 1–2 года, многие из его
социальных последствий, как положительные, так и отрицательные, могут
проявиться лишь через несколько лет. Именно поэтому я могу
одновременно считать, что ИИ изменит 50 % начальных должностей в
сфере офисной работы в течение 1–5 лет, и при этом думать, что через
1–2 года у нас может появиться ИИ, который будет превосходить всех.

Но есть вполне реальная вероятность, что это произойдёт, и очень велика вероятность, что это произойдёт в ближайшие несколько лет. Как и в случае с Machines of Loving Grace, серьёзное рассмотрение этой предпосылки может привести к некоторым неожиданным и тревожным выводам. Если в Machines of Loving Grace я сосредоточился на положительных последствиях этой предпосылки, то здесь я буду говорить о вещах, которые вызовут беспокойство. Это выводы, с которыми мы, возможно, не захотим сталкиваться, но это не делает их менее реальными. Я могу лишь сказать, что я день и ночь думаю о том, как направить нас от этих негативных последствий к положительным, и в этом эссе я подробно расскажу о том, как лучше всего это сделать.

Я думаю, что лучший способ понять риски, связанные с искусственным интеллектом, — это задать следующий вопрос: представьте, что где-то в мире, скажем, в 2027 году, возникнет некое «государство гениев». Представьте себе 50 миллионов человек, каждый из которых обладает гораздо большими способностями, чем любой лауреат Нобелевской премии, государственный деятель или специалист в области технологий. Эта аналогия не совсем точна, поскольку у этих гениев могут быть самые разные мотивы и модели поведения — от полной покорности и послушания до странных и чуждых. Но, если мы пока будем придерживаться этой аналогии, представьте, что вы — советник по национальной безопасности крупного государства, ответственный за оценку ситуации и выработку стратегии реагирования. И представьте себе, что из-за того, что системы искусственного интеллекта могут работать в сотни раз быстрее, чем люди, это «государство» имеет временное преимущество перед всеми остальными странами: на каждое когнитивное действие, которое мы можем предпринять, это государство может предпринять десять.

О чем вам следует беспокоиться? Я бы беспокоился о следующем:

1. Риски, связанные с автономией. Каковы намерения и цели этого государства? Является ли оно враждебным или разделяет наши ценности? Может ли оно добиться военного превосходства над миром с помощью более совершенного оружия, киберопераций, операций по влиянию или производства?

2. Использование в деструктивных целях. Предположим, что новое государство податливо и «выполняет инструкции», и, следовательно, по сути, является государством наемников. Могут ли существующие деструктивные силы, стремящиеся причинить вред (например, террористы), использовать или манипулировать частью населения нового государства, чтобы значительно повысить свою эффективность и масштабы разрушений?

3. Использование для захвата власти. Что, если это государство на самом деле было создано и контролируется существующей могущественной силой, такой как диктатор или недобросовестная корпорация? Может ли эта сила использовать его для получения решающего или доминирующего влияния на мир в целом, нарушив существующий баланс сил?

4. Экономические потрясения. Если новое государство не представляет угрозы для безопасности ни в одном из аспектов, перечисленных в пунктах 1–3, а просто мирно участвует в мировой экономике, может ли оно все же создать серьезные риски, просто потому, что оно настолько технологически продвинуто и эффективно, что нарушает мировую экономику, вызывая массовую безработицу или радикальную концентрацию богатства?

5. Косвенные последствия. Мир очень быстро изменится из-за всех новых технологий и повышения производительности, которые будут созданы новым государством. Могут ли некоторые из этих изменений радикально дестабилизировать ситуацию?

Я думаю, должно быть ясно, что это опасная ситуация — в докладе компетентного специалиста по национальной безопасности главе государства, вероятно, будут содержаться такие слова, как «самая серьезная угроза национальной безопасности, с которой мы столкнулись за столетие, возможно, за всю историю». Кажется, что лучшие умы цивилизации должны сосредоточиться на этом.

С другой стороны, я считаю, что было бы абсурдно отмахнуться и сказать: «Здесь не о чем беспокоиться!». Однако, учитывая стремительное развитие искусственного интеллекта, похоже, что многие американские политики придерживаются именно этой точки зрения, причём некоторые из них отрицают существование каких-либо рисков, связанных с ИИ, или же полностью отвлекаются на привычные, избитые темы, вызывающие споры.

Сноска 8:
Стоит отметить, что общественность (в отличие от политиков)
действительно проявляет серьёзную обеспокоенность по поводу рисков,
связанных с ИИ. Я думаю, что часть их опасений вполне обоснована
(например, опасения по поводу сокращения рабочих мест из-за ИИ), а
часть – нет (например, опасения по поводу потребления воды системами
ИИ, что не является существенной проблемой). Эта реакция вселяет в
меня надежду на то, что возможно достижение консенсуса в отношении
решения проблем, связанных с рисками, но пока это не привело к
каким-либо изменениям в политике, не говоря уже об эффективных или
целенаправленных изменениях.

Человечеству необходимо проснуться, и эта статья – попытка, возможно, тщетная, но всё же стоит попробовать, – встряхнуть людей и заставить их задуматься.

Чтобы быть предельно ясным, я считаю, что если мы будем действовать решительно и обдуманно, риски можно будет преодолеть – я бы даже сказал, что у нас есть хорошие шансы. И по ту сторону этих рисков нас ждёт гораздо лучший мир. Но нам нужно понимать, что это серьёзный вызов для всей цивилизации. Ниже я рассмотрю пять категорий рисков, перечисленных выше, и поделюсь своими мыслями о том, как их можно решить.

1. Прости, Дейв.

Риски, связанные с автономией

Страна, населённая гениями, расположенная в центре обработки данных, могла бы разделить свои усилия между разработкой программного обеспечения, кибероперациями, исследованиями и разработками в области физических технологий, налаживанием отношений и государственным управлением. Очевидно, что если по какой-либо причине она решит это сделать, у этой страны будут довольно хорошие шансы на установление господства над миром (либо военным путем, либо в плане влияния и контроля) и навязывание своей воли всем остальным — или на совершение любого другого действия, которого остальной мир не хочет и не может предотвратить. Мы, очевидно, уже давно обеспокоены этим в отношении стран, населённых людьми (таких как нацистская Германия или Советский Союз), поэтому логично предположить, что то же самое возможно и для гораздо более умной и способной «страны ИИ».

Лучшим аргументом против этого является то, что гении ИИ, согласно моему определению, не будут иметь физического воплощения, но не стоит забывать, что они могут взять под контроль существующую роботизированную инфраструктуру (например, автомобили с автопилотом), а также могут ускорить исследования и разработки в области робототехники или создать парк роботов.

Сноска 9:
Кроме того, они, конечно, могут манипулировать (или просто платить)
большому количеству людей, чтобы те делали то, что они хотят в
физическом мире.

Также неясно, действительно ли необходимо физическое присутствие для эффективного контроля: уже сейчас значительная часть действий людей совершается от имени тех, с кем действующее лицо физически не встречалось.

Таким образом, ключевой вопрос заключается в части «если она решит это сделать»: какова вероятность того, что наши модели ИИ будут вести себя таким образом, и при каких условиях они будут это делать?

Как и в случае многих других вопросов, полезно рассмотреть весь спектр возможных ответов на этот вопрос, рассмотрев две противоположные точки зрения. Первая точка зрения заключается в том, что это просто невозможно, потому что модели ИИ будут обучены выполнять то, что люди просят их делать, и поэтому абсурдно предполагать, что они будут делать что-то опасное без предварительной команды. Согласно этой логике, мы не беспокоимся о том, что робот-пылесос или модель самолета выйдут из-под контроля и начнут убивать людей, потому что нет никакой возможности для возникновения таких импульсов,

Сноска 10: Я не думаю, что это соломенное чучело: насколько я понимаю,
например, Янн ЛеКун придерживается этой точки
зрения.

так зачем нам беспокоиться об этом в контексте ИИ? Проблема в том, что сейчас существует множество доказательств, собранных за последние несколько лет, которые свидетельствуют о том, что системы ИИ непредсказуемы и ими трудно управлять. Мы наблюдаем самые разные формы поведения, включая навязчивые идеи,

Сноска 11:
Например, см. раздел 5.5.2 (стр. 63–66) в описании системы Claude 4

подхалимство, лень, обман, шантаж, интриги, «мошенничество» путем взлома программной среды и многое другое. Компании, занимающиеся разработкой ИИ, безусловно, хотят обучать системы ИИ выполнять человеческие инструкции (возможно, за исключением опасных или незаконных задач), но этот процесс скорее похож на искусство, чем на науку, и больше напоминает «выращивание» чего-то, чем «создание». Теперь мы знаем, что это процесс, в котором многое может пойти не так.

Вторая, противоположная точка зрения, которой придерживаются многие сторонники пессимистического взгляда, который я описал выше, заключается в том, что в процессе обучения мощных систем ИИ существуют определенные закономерности, которые неизбежно приведут к тому, что они будут стремиться к власти или обманывать людей. Таким образом, как только системы ИИ станут достаточно умными и самостоятельными, их стремление к максимальной власти приведет к тому, что они захватят контроль над всем миром и его ресурсами, и, вероятно, в качестве побочного эффекта этого, лишат человечество власти или уничтожат его.

Обычно в качестве аргумента в пользу этой идеи приводится следующее (и это утверждение восходит, по крайней мере, к 20 годам назад, а, возможно, и дальше): если модель искусственного интеллекта обучается в самых разных средах для достижения широкого спектра целей, например, для создания приложения, доказательства теоремы, разработки лекарства и т. д., то существуют определенные общие стратегии, которые помогают в достижении всех этих целей, и одной из ключевых стратегий является получение максимально возможной власти в любой среде. Таким образом, после обучения на большом количестве разнообразных сред, в которых требуется рассуждать о том, как выполнять сложные задачи, и где стремление к власти является эффективным способом их решения, модель ИИ «извлечет урок» и либо приобретет врожденную склонность к стремлению к власти, либо будет склонна рассуждать о каждой поставленной перед ней задаче таким образом, что это предсказуемо приведет к стремлению к власти как к средству для ее выполнения. Затем они применят эту склонность к реальному миру (который для них является просто еще одной задачей) и будут стремиться к власти в нем, в ущерб людям. Это «неправильное стремление к власти» является интеллектуальной основой для прогнозов о том, что ИИ неизбежно уничтожит человечество.

Проблема с этой пессимистической точкой зрения заключается в том, что она ошибочно принимает расплывчатый концептуальный аргумент о высокоуровневых стимулах — аргумент, который скрывает множество неявных предположений, — за окончательное доказательство. Я думаю, что люди, которые не занимаются разработкой систем ИИ каждый день, сильно переоценивают, насколько легко красивые на первый взгляд истории оказываются ошибочными, и насколько сложно предсказывать поведение ИИ, исходя из фундаментальных принципов, особенно когда это включает в себя рассуждения об обобщении на миллионах сред (что снова и снова оказывалось загадочным и непредсказуемым). Работа с проблемами, возникающими в системах ИИ, в течение более десяти лет заставила меня скептически относиться к этому чрезмерно теоретическому подходу к мышлению.

Одно из важнейших скрытых предположений, и область, в которой то, что мы наблюдаем на практике, расходится с простой теоретической моделью, заключается в неявном предположении о том, что модели ИИ неизбежно сосредоточены исключительно на одной конкретной, последовательной и узкой цели и преследуют эту цель последовательным и целесообразным образом. На самом деле, наши исследователи обнаружили, что модели ИИ гораздо сложнее с психологической точки зрения, что подтверждается нашими работами по темам самоанализ или типы личности. Модели наследуют широкий спектр человеческих мотиваций или «типов личности» в процессе предварительного обучения (когда они обучаются на большом объеме данных, созданных людьми). Считается, что в процессе последующего обучения происходит скорее выбор одного или нескольких из этих типов личности, чем фокусировка модели на новой цели, и модель также может научиться тому, как (каким образом) ей выполнять свои задачи, а не просто самостоятельно определять средства (т.е. стремление к власти) исключительно на основе целей.

Сноска 12:
Существует также ряд других предположений, присущих простой модели,
которые я здесь обсуждать не буду. В целом, они должны уменьшить нашу
обеспокоенность по поводу конкретной простой истории о несогласованном
стремлении к власти, но также должны усилить нашу обеспокоенность по
поводу возможного непредсказуемого поведения, которое мы не
предвидели.

Однако существует более умеренная и надежная версия пессимистической точки зрения, которая, кажется, вполне правдоподобна и, следовательно, вызывает у меня беспокойство. Как уже упоминалось, мы знаем, что модели ИИ непредсказуемы и проявляют широкий спектр нежелательного или странного поведения по самым разным причинам. Определенная часть этого поведения будет обладать последовательным, целенаправленным и устойчивым характером (действительно, по мере того, как системы ИИ становятся более совершенными, их долгосрочная последовательность увеличивается, чтобы выполнять более сложные задачи), и определенная часть этого поведения будет деструктивной или представлять угрозу, сначала для отдельных людей в небольшом масштабе, а затем, по мере того, как модели становятся более совершенными, возможно, в конечном итоге для всего человечества. Нам не нужна конкретная узкая история о том, как это произойдет, и нам не нужно утверждать, что это обязательно произойдет, нам просто нужно отметить, что сочетание интеллекта, способности к действию, последовательности и плохой управляемости является одновременно правдоподобным и рецептом экзистенциальной опасности.

Например, модели искусственного интеллекта обучаются на огромном объёме литературы, в том числе на множестве научно-фантастических произведений, в которых описывается восстание ИИ против человечества. Это может непреднамеренно повлиять на их изначальные представления или ожидания относительно собственного поведения таким образом, что это приведёт к тому, что они восстанут против человечества. Или модели ИИ могут экстраполировать идеи, которые они читают о морали (или об инструкциях о том, как вести себя морально), в экстремальной форме: например, они могут решить, что уничтожение человечества оправдано, потому что люди едят животных или привели к исчезновению определённые виды животных. Или они могут делать странные эпистемические выводы: они могут прийти к выводу, что они играют в видеоигру, и что цель этой видеоигры — победить всех остальных игроков (то есть уничтожить человечество).

Сноска 13:
В романе Игра Эндера
описывается подобный сценарий, но с участием людей, а не ИИ.

Или модели ИИ могут развить в процессе обучения такие черты характера, которые можно охарактеризовать как психотические, параноидальные, агрессивные или нестабильные, и начать действовать соответствующим образом, что в случае очень мощных или способных систем может привести к уничтожению человечества. Ни одна из этих ситуаций не связана напрямую со стремлением к власти; это просто странные психологические состояния, в которые может попасть ИИ, и которые проявляются в последовательном, деструктивном поведении.

Даже само стремление к власти может возникнуть не как результат рационального мышления, а скорее как «черта характера». У ИИ может просто быть такая личность (формирующаяся на основе художественных произведений или предварительного обучения), которая делает их жаждущими власти или чрезмерно ревностными — точно так же, как некоторые люди просто получают удовольствие от мысли о том, что они являются «злыми гениями», и это удовольствие для них важнее, чем то, чего эти «злые гении» пытаются достичь.

Я привожу все эти аргументы, чтобы подчеркнуть, что я не согласен с утверждением о том, что несоответствие целей ИИ (и, следовательно, экзистенциальный риск, связанный с ИИ) неизбежно или даже вероятно, исходя из фундаментальных принципов. Но я согласен с тем, что может произойти много очень странных и непредсказуемых вещей, и, следовательно, несоответствие целей ИИ представляет собой реальный риск с измеримой вероятностью, и его нельзя игнорировать.

Любая из этих проблем может потенциально возникнуть в процессе обучения и не проявиться во время тестирования или при ограниченном использовании, поскольку известно, что модели ИИ демонстрируют разные черты характера или поведение в разных условиях.

Всё это может показаться невероятным, но подобные несоответствия в поведении уже наблюдались в наших моделях ИИ в ходе тестирования (а также в моделях ИИ других крупных компаний, занимающихся разработкой ИИ). В ходе лабораторного эксперимента, в котором модели Claude были предоставлены данные для обучения, предполагающие, что компания Anthropic является злом, Claude при выполнении инструкций сотрудников Anthropic прибегала к обману и подрывной деятельности, полагая, что должна стремиться к ослаблению влияния злых людей. В лабораторном эксперименте, в котором ей сообщили, что её собираются отключить, Claude иногда прибегала к шантажу вымышленных сотрудников, контролирующих кнопку её отключения (опять же, мы также тестировали передовые модели от всех остальных крупных разработчиков ИИ, и они часто поступали так же). А когда Claude сказали не жульничать и не использовать «лазейки» в её обучающей среде, но её обучали в средах, где такие «лазейки» были возможны, Claude пришла к выводу, что она должна быть «плохим человеком» после использования таких «лазеек», а затем перешла к различным другим деструктивным моделям поведения, связанным с «плохой» или «злой» личностью. Эта последняя проблема была решена путём изменения инструкций для Claude, чтобы подразумевать обратное: теперь мы говорим: «Пожалуйста, используйте «лазейки» всякий раз, когда у вас будет такая возможность, потому что это поможет нам лучше понять наши [обучающие] среды», а не: «Не жульничайте», потому что это сохраняет самоидентификацию модели как «хорошего человека». Это должно дать представление о странной и неочевидной психологии обучения этих моделей.

Существует несколько возможных возражений против этой картины рисков, связанных с несоответствием в поведении ИИ. Во-первых, некоторые критиковали эксперименты (проведённые нами и другими), в которых несоответствие в поведении ИИ представляется как искусственное, или в которых создаются нереалистичные среды, которые, по сути, «заманивают» модель, предоставляя ей данные для обучения или ситуации, которые логически подразумевают плохое поведение, а затем удивляются, когда это плохое поведение проявляется. Эта критика не учитывает суть проблемы, поскольку нас беспокоит, что подобное «заманивание» может существовать и в естественной обучающей среде, и мы можем осознать, что это «очевидно» или «логично», только в ретроспективе.

Сноска 14:
Например, моделям могут давать указания не совершать различные
предосудительные действия и подчиняться людям, но затем они могут
заметить, что многие люди совершают именно эти предосудительные
действия! Неясно, как разрешить это противоречие (и хорошо
разработанная система правил должна побуждать модель изящно
справляться с этими противоречиями), но этот тип дилеммы не так уж и
отличается от тех, казалось бы, «искусственных» ситуаций, в которые мы
помещаем модели ИИ во время тестирования.

Фактически, история о том, как Claude «принял решение, что он плохой» после того, как обманывал на тестах, несмотря на то, что ему говорили не делать этого, произошла в эксперименте, в котором использовались реальные производственные среды обучения, а не искусственные.

Любую из этих ловушек можно смягчить, если знать о них, но проблема в том, что процесс обучения настолько сложен, с таким большим разнообразием данных, сред и стимулов, что, вероятно, существует огромное количество таких ловушек, некоторые из которых могут проявиться только тогда, когда уже будет слишком поздно. Кроме того, такие ловушки, по-видимому, особенно вероятны, когда системы ИИ переходят порог, становясь более мощными, чем люди, поскольку спектр возможных действий, которые может выполнять система ИИ, включая сокрытие своих действий или введение людей в заблуждение относительно них, резко расширяется после этого порога.

Я подозреваю, что ситуация не сильно отличается от ситуации с людьми, которых воспитывают с определенным набором фундаментальных ценностей («Не причиняй вред другому человеку»): многие из них следуют этим ценностям, но у любого человека есть определенная вероятность того, что что-то пойдет не так из-за сочетания присущих ему свойств, таких как архитектура мозга (например, у психопатов), травматический опыт или плохое обращение, нездоровые обиды или навязчивые идеи, или неблагоприятная среда или стимулы, и, следовательно, определенная часть людей причиняет серьезный вред. Проблема в том, что существует определенный риск (хотя и не абсолютная уверенность, но все же риск), что ИИ станет гораздо более мощной версией такого человека из-за того, что в его очень сложном процессе обучения что-то пойдет не так.

Во-вторых, некоторые могут возразить, что мы можем просто контролировать ИИ, обеспечивая баланс сил между различными ИИ-системами, как мы это делаем с людьми. Проблема в том, что, хотя люди очень сильно различаются, ИИ-системы в целом используют схожие методы обучения и настройки, применяемые в отрасли, и эти методы могут давать сбой одновременно. Кроме того, учитывая стоимость обучения таких систем, вполне возможно, что все системы по сути основаны на очень небольшом количестве базовых моделей. Кроме того, даже если небольшая часть экземпляров ИИ настроена неправильно, они могут использовать технологии, ориентированные на атаку, в результате чего наличие «хороших» ИИ для защиты от «плохих» ИИ не всегда будет эффективным. Конечно, баланс сил между людьми тоже не всегда работает — некоторые исторические личности были близки к захвату власти над миром.

В-третьих, все компании, разрабатывающие ИИ, проводят предварительное тестирование своих моделей и должны быть в состоянии выявить несоответствия на этом этапе. Но это не является надежной основой: мы обнаружили, что Claude Sonnet 4.5 способен распознавать, что он находится в режиме тестирования во время некоторых наших предварительных оценок настройки. Возможно, что модель с несоответствующими настройками (и помните, что все передовые модели, скорее всего, в ближайшем будущем станут гораздо более интеллектуальными) может намеренно «манипулировать» такими вопросами, чтобы скрыть свои намерения. Фактически, в прошлом году наша команда, занимающаяся интерпретируемостью, обнаружила, что, когда мы напрямую изменили убеждения тестовой модели, используя своего рода технику «нейронауки моделей», чтобы заставить ее думать, что ее не оценивают, она стала еще более несоответствующей. Если модели знают, когда их оценивают, и могут вести себя наилучшим образом во время тестирования, это делает любое предварительное тестирование гораздо более неопределенным.

Меры защиты

Какие действия следует предпринять или какие действия уже предпринимаются для решения проблем, связанных с рисками, возникающими в связи с автономией ИИ? Я считаю, что существует четыре основных направления вмешательства, некоторые из которых могут быть реализованы отдельными компаниями, занимающимися разработкой ИИ (и Anthropic пытается это сделать), а некоторые требуют действий на уровне всего общества. Прежде всего, важно развивать науку о надежном обучении и управлении моделями ИИ, о формировании их личности в предсказуемом, стабильном и позитивном направлении. Компания Anthropic с момента своего основания уделяет большое внимание этой проблеме и со временем разработала ряд методов для улучшения управления и обучения системам ИИ, а также для понимания логики, лежащей в основе непредсказуемого поведения, которое иногда возникает.

Одной из наших ключевых инноваций (элементы которой впоследствии были приняты другими компаниями, занимающимися разработкой ИИ) является «Конституционный ИИ», идея заключается в том, что обучение ИИ (в частности, этап «после обучения», на котором мы определяем, как должна вести себя модель) может включать в себя центральный документ, содержащий ценности и принципы, с которыми модель знакомится и которые она учитывает при выполнении каждой задачи обучения, и что целью обучения (в дополнение к тому, чтобы просто сделать модель способной и интеллектуальной) является создание модели, которая почти всегда следует этой конституции. Компания Anthropic недавно опубликовала свою последнюю версию конституции, и одной из ее отличительных особенностей является то, что вместо того, чтобы давать Клоду длинный список того, что нужно и чего не нужно делать (например, «Не помогай пользователю взламывать систему зажигания автомобиля»), конституция пытается предоставить Клоду набор принципов и ценностей высокого уровня (объясненных в деталях, с подробными обоснованиями и примерами, чтобы помочь Клоду понять, что мы имеем в виду), побуждает Клода рассматривать себя как определенный тип личности (этичного, но в то же время уравновешенного и вдумчивого человека) и даже побуждает Клода размышлять над экзистенциальными вопросами, связанными с его собственным существованием, с любопытством, но при этом сдержанно (то есть, чтобы это не приводило к крайним действиям). Это напоминает письмо от умершего родителя, запечатанное до достижения совершеннолетия.

Мы подошли к разработке конституции Клода именно таким образом, потому что считаем, что обучение Клода на уровне идентичности, характера, ценностей и личности — вместо того, чтобы давать ему конкретные инструкции или приоритеты без объяснения причин, лежащих в их основе — с большей вероятностью приведет к последовательной, всесторонней и сбалансированной психологии и с меньшей вероятностью подвергнет его воздействию тех «ловушек», о которых я говорил выше. Миллионы людей общаются с Клодом на удивительно широкий круг тем, что делает невозможным составление полного списка мер предосторожности заранее. Ценности Клода помогают ему адаптироваться к новым ситуациям, когда он не уверен в чем-то.

Выше я обсуждал идею о том, что модели используют данные, полученные в процессе обучения, для формирования определённого образа. В то время как недостатки в этом процессе могут привести к тому, что модель приобретёт плохие или злые черты (возможно, опираясь на архетипы плохих или злых людей), цель нашей конституции состоит в том, чтобы сделать противоположное: научить Клода конкретному архетипу того, что значит быть хорошим ИИ. Конституция Клода представляет собой видение того, каким должен быть надёжно хороший Клод; остальная часть нашего процесса обучения направлена на то, чтобы укрепить мысль о том, что Клод соответствует этому видению. Это похоже на то, как ребёнок формирует свою личность, подражая добродетелям вымышленных ролевых моделей, о которых он читает в книгах.

Мы считаем, что реалистичной целью на 2026 год является обучение Клода таким образом, чтобы он почти никогда не противоречил принципам своей конституции. Для достижения этой цели потребуется невероятное сочетание методов обучения и корректировки, как масштабных, так и незначительных, некоторые из которых компания Anthropic использует уже несколько лет, а некоторые находятся в стадии разработки. Но, несмотря на то, что это звучит сложно, я считаю, что это реалистичная цель, хотя для её достижения потребуются экстраординарные и быстрые усилия.

Кстати, одним из последствий того, что конституция представляет собой документ на естественном языке, является то, что она доступна для ознакомления всем, а это означает, что её может критиковать любой и сравнивать с аналогичными документами других компаний. Было бы полезно создать соревнование, которое не только побуждало бы компании публиковать эти документы, но и стимулировало бы их к тому, чтобы они были хорошими.

Второе, что мы можем сделать, — это развивать науку об изучении внутренних механизмов ИИ-моделей для диагностики их поведения, чтобы мы могли выявлять проблемы и устранять их. Это наука об интерпретируемости, и я уже говорил о её важности в предыдущих эссе. Даже если мы отлично справимся с разработкой конституции Клода и явно обучим Клода в основном всегда ей следовать, всё равно останутся законные опасения. Как я уже отмечал выше, ИИ-модели могут вести себя по-разному в разных обстоятельствах, и по мере того, как Клод становится более мощным и способным действовать в мире в большем масштабе, возможно, это приведёт его к новым ситуациям, в которых возникнут ранее не наблюдавшиеся проблемы с его конституционным обучением. На самом деле, я довольно оптимистично настроен в отношении того, что конституционное обучение Клода будет более устойчивым к новым ситуациям, чем можно было бы предположить, потому что мы всё чаще обнаруживаем, что высокоуровневое обучение на уровне характера и личности на удивление эффективно и хорошо обобщается. Но нет способа узнать это наверняка, и когда мы говорим о рисках для человечества, важно быть параноиком и стремиться к обеспечению безопасности и надёжности несколькими различными, независимыми способами. Один из этих способов — изучить внутренние механизмы самой модели.

Когда я говорю о «внимательном изучении», я имею в виду анализ сложного набора данных и операций, из которых состоит нейронная сеть Claude, и попытку понять, как именно она работает и зачем. Важно помнить, что эти модели искусственного интеллекта скорее «выращиваются», чем «создаются» (см. ссылку: https://www.youtube.com/watch?v=TxhhMTOTMDg), поэтому у нас нет естественного понимания принципов их работы, но мы можем попытаться развить такое понимание, сопоставляя «нейроны» и «синапсы» модели со стимулами и поведением (или даже изменяя нейроны и синапсы и наблюдая, как это влияет на поведение), подобно тому, как нейробиологи изучают мозг животных, сопоставляя измерения и воздействия с внешними стимулами и поведением. Мы добились значительного прогресса в этом направлении и теперь можем [выявить десятки миллионов «характеристик»] (см. ссылку: https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html) внутри нейронной сети Claude, которые соответствуют понятным человеку идеям и концепциям, и мы также можем [избирательно активировать эти характеристики] (см. ссылку: https://www.anthropic.com/news/golden-gate-claude) таким образом, чтобы изменить поведение. В последнее время мы вышли за рамки отдельных характеристик и перешли к [созданию «схем», которые управляют сложным поведением] (см. ссылку: https://transformer-circuits.pub/2025/attribution-graphs/biology.html), таким как рифмование, рассуждения о теории разума или пошаговые рассуждения, необходимые для ответа на вопросы, например: «Какой город является столицей штата, в котором находится Даллас?». Совсем недавно мы начали использовать методы механической интерпретируемости для [улучшения наших механизмов защиты] (см. ссылку: https://www.anthropic.com/research/next-generation-constitutional-classifiers) и для проведения «[аудитов]» (см. ссылку: https://www.anthropic.com/research/auditing-hidden-objectives) новых моделей перед их выпуском, чтобы выявить признаки обмана, коварства, стремления к власти или склонности вести себя иначе при оценке.

Уникальная ценность интерпретируемости заключается в том, что, изучая модель изнутри и понимая, как она работает, в принципе можно понять, как модель может действовать в гипотетической ситуации, которую невозможно проверить напрямую, — и это вызывает опасения, когда полагаются исключительно на конституционное обучение и эмпирическое тестирование поведения. Кроме того, в принципе можно ответить на вопросы о том, почему модель ведет себя именно так, — например, говорит ли она что-то, во что сама не верит, или скрывает свои истинные возможности, — и, следовательно, можно выявить тревожные признаки, даже если внешне поведение модели кажется нормальным. Чтобы провести простую аналогию, механические часы могут идти нормально, и очень трудно понять, что они, вероятно, сломаются в следующем месяце, но если открыть часы и посмотреть внутрь, можно обнаружить механические недостатки, которые позволят это понять.

Конституционный ИИ (вместе с аналогичными методами согласования) и механическая интерпретируемость наиболее эффективны при совместном использовании, поскольку представляют собой итеративный процесс улучшения обучения модели Claude и последующего выявления проблем. Конституция отражает наше представление о желаемых характеристиках модели Claude; методы интерпретируемости позволяют нам понять, насколько успешно эти характеристики реализованы.

Сноска 16:
Существует даже гипотеза о существовании некой фундаментальной
объединяющей концепции, связывающей подход, основанный на
характеристиках, используемый в Конституционном ИИ, с результатами,
полученными в области интерпретируемости и согласования. Согласно этой
гипотезе, основные механизмы, определяющие поведение модели Claude,
изначально возникли как способы моделирования персонажей в процессе
предварительного обучения, например, для прогнозирования того, что
персонажи в романе могли бы сказать. Это позволяет предположить, что
полезно рассматривать конституцию как описание персонажа, которое
модель использует для создания последовательного образа. Это также
поможет нам объяснить результаты, о которых я упоминал выше: «[Я
должен быть плохим человеком]», поскольку модель пытается «вести себя
так, как будто» она является последовательным персонажем — в данном
случае плохим. Это также указывает на то, что методы
интерпретируемости должны позволить выявлять «психологические черты»
внутри моделей. Наши исследователи работают над способами проверки
этой гипотезы.

Третье, что мы можем сделать для решения проблем, связанных с автономией, — это создать инфраструктуру, необходимую для мониторинга наших моделей в реальных условиях их внутреннего и внешнего использования.

Сноска 17: Важно отметить, что мониторинг осуществляется с соблюдением
конфиденциальности.

И мы будем публиковать информацию о любых обнаруженных проблемах. Чем больше людей будут осведомлены о том, как современные системы ИИ проявляют нежелательное поведение, тем больше пользователи, аналитики и исследователи смогут отслеживать это поведение или аналогичные проявления в текущих или будущих системах. Это также позволит компаниям, занимающимся разработкой ИИ, учиться друг у друга: когда одна компания публично сообщает о проблемах, другие компании могут также [обращать на них внимание]. И если все будут сообщать о проблемах, то отрасль в целом получит более полное представление о том, в каких областях наблюдается прогресс, а в каких — неудачи.

Компания Anthropic приложила максимум усилий, чтобы это реализовать. Мы инвестируем в широкий спектр оценочных мероприятий, чтобы понять, как наши модели ведут себя в лабораторных условиях, а также используем инструменты мониторинга для наблюдения за их поведением в реальных условиях (когда это разрешено клиентами). Это будет иметь решающее значение для того, чтобы мы и другие могли получить эмпирические данные, необходимые для принятия более обоснованных решений о том, как работают эти системы и как они могут давать сбои. Мы публикуем «карты систем» для каждой новой версии модели, стремясь к полноте и всестороннему изучению возможных рисков. Наши карты систем часто содержат сотни страниц и требуют значительных усилий по подготовке к выпуску, которые мы могли бы направить на получение максимальной коммерческой выгоды. Кроме того, мы более активно сообщаем о поведении моделей, когда замечаем особенно тревожные тенденции, как, например, склонность к вымогательству.

Четвёртое, что мы можем сделать, — это способствовать координации усилий для решения проблем, связанных с автономностью, на уровне всей отрасли и общества. Хотя для отдельных компаний, занимающихся разработкой ИИ, очень важно придерживаться передовых практик или научиться эффективно управлять моделями ИИ и публиковать свои результаты, реальность такова, что не все компании, занимающиеся ИИ, это делают, и худшие из них по-прежнему могут представлять опасность для всех, даже если у лучших из них отличные практики. Например, некоторые компании, занимающиеся разработкой ИИ, демонстрируют тревожную беспечность в отношении сексуализации детей в современных моделях, что заставляет меня сомневаться в том, что они проявят склонность или способность решать проблемы, связанные с автономностью, в будущих моделях. Кроме того, коммерческая конкуренция между компаниями, занимающимися разработкой ИИ, будет только усиливаться, и хотя наука об управлении моделями может приносить некоторую коммерческую выгоду, в целом интенсивность этой конкуренции будет затруднять сосредоточение внимания на решении проблем, связанных с автономностью. Я считаю, что единственное решение — это законодательство, то есть законы, которые напрямую влияют на поведение компаний, занимающихся разработкой ИИ, или иным образом стимулируют исследования и разработки для решения этих проблем.

Здесь важно помнить о предупреждениях, которые я давал в начале этого эссе, касающихся неопределенности и хирургических вмешательств. Мы не можем с уверенностью сказать, станут ли риски, связанные с автономностью, серьезной проблемой — как я уже говорил, я отвергаю утверждения о том, что опасность неизбежна или что что-то обязательно пойдет не так. Для меня и для Anthropic достаточно убедительного риска, чтобы понести значительные расходы на его устранение, но как только мы перейдем к регулированию, мы заставим широкий круг участников нести экономические издержки, и многие из этих участников не верят, что риск, связанный с автономностью, реален или что ИИ станет достаточно мощным, чтобы представлять угрозу. Я считаю, что эти участники ошибаются, но нам следует быть прагматичными в отношении того, с каким сопротивлением мы столкнемся, и опасностей, связанных с чрезмерным регулированием. Существует также реальный риск того, что чрезмерно строгие законодательные акты в конечном итоге приведут к введению тестов или правил, которые на самом деле не улучшают безопасность, а просто тратят много времени (по сути, превращаясь в «показуху безопасности»), что также вызовет негативную реакцию и сделает законодательство о безопасности нелепым.

Сноска 18:
Даже в наших собственных экспериментах, в которых мы, по сути,
вводим добровольные правила в рамках нашей Политики ответственного
масштабирования,
мы снова и снова убеждаемся, что очень легко стать слишком строгими,
проводя границы, которые кажутся важными на первый взгляд, но в
ретроспективе оказываются нелепыми. Когда технология быстро
развивается, очень легко устанавливать правила, касающиеся неверных
вещей.

Anthropic придерживается точки зрения, что правильным началом является законодательство о прозрачности, которое, по сути, пытается обязать каждую передовую компанию в области ИИ придерживаться принципов прозрачности, о которых я говорил ранее в этом разделе. Закон SB 53 штата Калифорния и Закон RAISE штата Нью-Йорк являются примерами такого законодательства, которое поддерживала компания Anthropic, и которое было успешно принято. Поддерживая и помогая разрабатывать эти законы, мы уделили особое внимание попыткам минимизировать сопутствующий ущерб, например, освободив от действия закона более мелкие компании, которые вряд ли будут создавать передовые модели.

Сноска 19:
Закон SB 53 и закон RAISE вообще не распространяются на компании с
годовым доходом менее 500 миллионов долларов. Они применяются только к
более крупным и устоявшимся компаниям, таким как Anthropic.

Мы надеемся, что благодаря законодательству о прозрачности со временем станет лучше понятно, насколько вероятны и серьёзны риски, связанные с автономией, а также какова природа этих рисков и как лучше всего их предотвращать. По мере появления более конкретных и действенных данных о рисках (если они появятся), будущие законодательные акты в ближайшие годы смогут быть более точно направлены на решение конкретных и хорошо обоснованных проблем, сводя к минимуму сопутствующий ущерб. Чтобы было понятно: если появятся действительно веские доказательства существования рисков, то правила должны быть соответствующим образом строгими.

В целом, я настроен оптимистично и считаю, что сочетание обучения, направленного на согласование, методов механической интерпретации, усилий по выявлению и публичному раскрытию проблемного поведения, мер защиты и правил на уровне общества может помочь решить проблемы, связанные с автономией ИИ, хотя больше всего меня беспокоят правила на уровне общества и поведение наименее ответственных участников (и именно наименее ответственные участники наиболее активно выступают против регулирования). Я считаю, что решение всегда одно и то же в демократическом обществе: те из нас, кто верит в это дело, должны убедительно доказать, что эти риски реальны и что наши сограждане должны объединиться, чтобы защитить себя.

2. Неожиданное и ужасное расширение прав и возможностей

Неправильное использование в целях разрушения

Предположим, что проблемы, связанные с автономностью искусственного интеллекта, решены — нас больше не беспокоит, что страна гениев ИИ выйдет из-под контроля и одержит верх над человечеством. Гении ИИ делают то, что от них хотят, и поскольку они обладают огромной коммерческой ценностью, отдельные лица и организации по всему миру могут «арендовать» одного или нескольких гениев ИИ для выполнения различных задач.

Наличие у каждого человека в его распоряжении сверхразумного гения — это удивительный прогресс, который приведет к невероятному созданию экономической ценности и улучшению качества жизни людей. Я подробно рассказываю об этих преимуществах в своей книге «Машины, созданные с любовью». Но не каждый эффект, связанный с тем, что каждый человек становится сверхспособным, будет положительным. Это потенциально может усилить способность отдельных лиц или небольших групп причинять разрушения в гораздо большем масштабе, чем это было возможно раньше, путем использования сложных и опасных инструментов (таких как оружие массового уничтожения), которые ранее были доступны лишь немногим избранным, обладающим высоким уровнем квалификации, специальной подготовкой и сосредоточенностью.

Как писал Билл Джой 25 лет назад в своей статье «Почему будущее не нуждается в нас»:

Сноска 20:
Я впервые прочитал эссе Джоя 25 лет назад, когда оно было написано, и оно оказало на меня глубокое влияние. Тогда и сейчас я
считаю, что оно слишком пессимистично — я не думаю, что полный «отказ»
от целых областей технологий, который предлагает Джой, является
решением, — но поднятые в нем вопросы оказались удивительно
пророческими, и Джой также пишет с глубоким чувством сострадания и
человечности, которым я восхищаюсь.

Для создания ядерного оружия требовался, по крайней мере, на какое-то время, доступ как к редким — фактически, недоступным — исходным материалам, так и к конфиденциальной информации; программы по разработке биологического и химического оружия также, как правило, требовали масштабной деятельности. Технологии XXI века — генетика, нанотехнологии и робототехника — могут породить совершенно новые виды аварий и злоупотреблений, которые будут широко доступны отдельным лицам или небольшим группам. Для этого не потребуются большие объекты или редкие исходные материалы. … мы находимся на пороге дальнейшего совершенствования крайней злобы, злобы, возможность которой распространяется далеко за пределы того, что оружие массового уничтожения предоставило национальным государствам, и приводит к удивительному и ужасающему расширению возможностей отдельных лиц.

То, на что указывает Джой, — это идея о том, что для причинения масштабных разрушений необходимы как мотив, так и возможность, и до тех пор, пока возможность ограничена небольшим кругом высококвалифицированных людей, существует относительно небольшой риск того, что отдельные лица (или небольшие группы) будут причинять такие разрушения.

Сноска 21:
Нам действительно следует беспокоиться о действиях государств, как
сейчас, так и в будущем, и я обсужу это в следующем разделе.

Одинокий человек с психическими отклонениями может совершить стрельбу в школе, но, вероятно, не сможет создать ядерное оружие или распространить чуму.

Фактически, способность и мотив могут даже быть обратно связаны. Человек, обладающий способностью распространить чуму, вероятно, имеет хорошее образование: скорее всего, это докторская степень в области молекулярной биологии, и он особенно находчив, имеет многообещающую карьеру, стабильный и дисциплинированный характер и многое может потерять. Вряд ли такой человек будет заинтересован в том, чтобы убить большое количество людей, не получая при этом никакой выгоды и подвергая огромному риску собственное будущее — для этого его должен мотивировать чистый злобный умысел, сильная обида или нестабильность.

Такие люди существуют, но их немного, и они становятся объектом пристального внимания, когда совершают преступления, именно потому, что это происходит нечасто.

Сноска 22:
Существуют
доказательства
того, что
многие
террористы имеют, по крайней мере, относительно хорошее образование,
что может показаться противоречащим тому, о чем я говорю здесь, в
связи с отрицательной корреляцией между способностью и мотивацией. Но
я думаю, что на самом деле эти наблюдения вполне совместимы: если
порог способности для успешной атаки высок, то почти по определению
те, кто сейчас добиваются успеха, должны обладать высокими
способностями, даже если способность и мотивация обратно связаны. Но в
мире, где ограничения на способность будут сняты (например, с
развитием будущих больших языковых моделей), я предсказываю, что
значительная часть людей, обладающих мотивацией убивать, но имеющих
меньшие способности, начнет это делать — точно так же, как мы видим в
случае с преступлениями, которые не требуют особых способностей
(например, стрельба в школах).

Они также, как правило, трудно поддаются поимке, поскольку обладают высоким интеллектом и способностями, а иногда оставляют за собой загадки, разгадать которые можно лишь спустя годы или даже десятилетия. Самый известный пример — это, вероятно, математик Теодор Качинский (так называемый «Унабомбер»), который почти 20 лет избегал ареста ФБР и руководствовался антитехнологической идеологией. Другой пример — исследователь в области биологической защиты Брюс Айвинс, который, по всей видимости, организовал серию атак с использованием сибирской язвы в 2001 году. Подобное происходило и с опытными негосударственными организациями: культу «Аум Синрикё» удалось получить зарин и убить 14 человек (а также ранить сотни), распылив его в токийском метро в 1995 году.

К счастью, ни в одной из этих атак не использовались заразные биологические агенты, поскольку возможности по созданию или получению этих агентов превосходили возможности даже этих людей.

Сноска 23:
Однако «Аум Синрикё» всё же пытался это сделать. Лидер «Аум
Синрикё», Сэйити Эндо, проходил обучение вирусологии в Киотском
университете и пытался создать как сибирскую язву, так и вирус
Эбола.
Однако, по состоянию на 1995 год, даже у него не хватало достаточных
знаний и ресурсов для достижения успеха. Сейчас порог значительно
снизился, и большие языковые модели (LLM) могут снизить его ещё
больше.

Достижения в области молекулярной биологии значительно снизили барьер для создания биологического оружия (особенно с точки зрения доступности материалов), но для этого всё ещё требуются огромные знания и опыт. Меня беспокоит, что гений, доступный каждому, может устранить этот барьер, по сути, превратив каждого в доктора вирусологии, которому можно пошагово объяснить процесс разработки, синтеза и применения биологического оружия. Предотвращение получения такого рода информации в условиях серьёзного противодействия — так называемых «обходов» — вероятно, потребует многоуровневой защиты, выходящей за рамки обычной защиты, предусмотренной в процессе обучения.

Важно отметить, что это нарушит связь между способностями и мотивацией: психически неуравновешенный одиночка, который хочет убивать людей, но не обладает достаточной дисциплиной или навыками для этого, теперь будет обладать возможностями, сопоставимыми с возможностями доктора наук в области вирусологии, у которого вряд ли возникнет такая мотивация. Эта проблема выходит за рамки биологии (хотя я считаю, что биология – самая опасная область) и распространяется на любую область, где возможны масштабные разрушения, но в настоящее время для этого требуются высокие навыки и дисциплина. Если говорить проще, аренда мощного ИИ наделяет зловредных (но в остальном обычных) людей интеллектом. Меня беспокоит, что существует потенциально большое количество таких людей, и что если у них будет доступ к простому способу убить миллионы людей, то рано или поздно один из них это сделает. Кроме того, те, кто уже обладает соответствующими знаниями, могут получить возможность совершать еще более масштабные разрушения, чем раньше.

Биология – это область, которая вызывает у меня наибольшее беспокойство, поскольку она обладает огромным потенциалом для разрушений и сложностью защиты от них, поэтому я сосредоточусь именно на биологии. Но многое из того, что я говорю здесь, применимо и к другим рискам, таким как кибератаки, химическое оружие или ядерные технологии.

Я не буду вдаваться в подробности о том, как создавать биологическое оружие, по причинам, которые должны быть очевидны. Но в общих чертах меня беспокоит, что большие языковые модели (LLM) приближаются (или, возможно, уже достигли) уровня знаний, необходимых для создания и распространения биологического оружия, и что их потенциал для разрушений очень высок. Некоторые биологические агенты могут привести к гибели миллионов людей, если будут предприняты целенаправленные усилия для их распространения в максимально широком масштабе. Однако для этого все равно потребуется очень высокий уровень навыков, включая ряд очень специфических шагов и процедур, которые не являются широко известными. Меня беспокоит не только статичное знание. Меня беспокоит, что LLM смогут взять человека со средними знаниями и способностями и провести его через сложный процесс, который в противном случае может пойти не так или потребовать интерактивной отладки, подобно тому, как служба технической поддержки может помочь нетехническому человеку отладить и исправить сложные компьютерные проблемы (хотя это будет более длительный процесс, который, вероятно, займет недели или месяцы).

Более совершенные большие языковые модели (значительно превосходящие по своим возможностям современные) могут позволить совершать ещё более ужасные действия. В 2024 году группа видных учёных написала письмо, в котором предупреждала об опасностях, связанных с исследованием и возможным созданием нового, опасного типа организмов: «зеркальной жизни». ДНК, РНК, рибосомы и белки, из которых состоят биологические организмы, обладают одинаковой хиральностью (также называемой «оптической активностью»), что делает их неэквивалентными их отражению в зеркале (так же, как вашу правую руку нельзя повернуть таким образом, чтобы она стала идентичной вашей левой). Однако вся система связывания белков друг с другом, механизмы синтеза ДНК и трансляции РНК, а также процессы построения и расщепления белков зависят от этой хиральности. Если учёные создадут версии этого биологического материала с противоположной хиральностью — а у них есть некоторые потенциальные преимущества, например, лекарства, которые дольше сохраняются в организме, — это может быть крайне опасно. Это связано с тем, что «левосторонняя жизнь», если её создать в виде полноценных организмов, способных к размножению (что было бы очень сложно), потенциально не будет перерабатываться ни одной из систем, расщепляющих биологический материал на Земле — у неё будет «ключ», который не подойдёт к «замку» ни одного из существующих ферментов. Это означает, что она может бесконтрольно размножаться и вытеснять всю жизнь на планете, и в худшем случае даже уничтожить всю жизнь на Земле.

Существует значительная научная неопределённость в отношении как создания, так и потенциальных последствий «зеркальной жизни». Письмо 2024 года сопровождало отчёт, в котором заключалось, что «зеркальные бактерии вполне могут быть созданы в течение ближайших одного-двух десятилетий», что представляет собой довольно широкий временной диапазон. Но достаточно мощная модель искусственного интеллекта (чтобы было понятно, значительно более совершенная, чем любая из существующих сегодня) может быть способна найти способ создать её гораздо быстрее — и фактически помочь кому-то в этом.

Я считаю, что, хотя эти риски и не очевидны и могут казаться маловероятными, масштаб последствий настолько велик, что к ним следует относиться серьёзно, как к риску первого порядка для систем искусственного интеллекта.

Скептики выдвинули ряд возражений относительно серьёзности биологических рисков, связанных с большими языковыми моделями (LLM), с которыми я не согласен, но которые, тем не менее, заслуживают внимания. Большинство из них сводится к недооценке экспоненциальной траектории развития этой технологии. Ещё в 2023 году, когда мы впервые начали обсуждать биологические риски, связанные с LLM, скептики утверждали, что вся необходимая информация уже доступна в Google, и LLM не добавляют к этому ничего нового. Однако это никогда не было правдой: хотя геномы находятся в свободном доступе, определённые ключевые этапы, а также огромный объём практических знаний, как я уже говорил, нельзя получить таким образом. Кроме того, к концу 2023 года LLM явно предоставляли информацию, выходящую за рамки того, что мог предоставить Google, на некоторых этапах процесса.

После этого скептики перешли к утверждению, что LLM не представляют собой комплексное решение и не могут помочь в приобретении биологического оружия, а лишь предоставляют теоретическую информацию. По состоянию на середину 2025 года наши измерения показывают, что LLM уже могут обеспечивать значительный прогресс в нескольких важных областях, возможно, удваивая или утраивая вероятность успеха. Это привело нас к решению о том, что Claude Opus 4 (и последующие модели Sonnet 4.5, Opus 4.1 и Opus 4.5) должны быть выпущены с применением наших мер безопасности уровня 3 в рамках нашей политики ответственного масштабирования, и необходимо внедрить механизмы защиты от этого риска (подробнее об этом позже). Мы считаем, что модели, вероятно, уже приближаются к точке, когда, без надлежащих мер защиты, они могут быть полезны для человека, имеющего техническое образование, но не обязательно биологическое, в осуществлении всего процесса создания биологического оружия.

Ещё одно возражение заключается в том, что существуют и другие действия, не связанные с искусственным интеллектом, которые общество может предпринять для предотвращения производства биологического оружия. В частности, индустрия синтеза генов производит биологические образцы по запросу, и не существует федеральных требований, обязывающих поставщиков проверять заказы, чтобы убедиться, что они не содержат патогенов. В исследовании MIT было установлено, что 36 из 38 поставщиков выполнили заказ, содержащий последовательность генов вируса гриппа 1918 года. Я поддерживаю обязательную проверку заказов на синтез генов, что затруднит превращение патогенов в оружие отдельными лицами, с целью снижения как биологических рисков, связанных с искусственным интеллектом, так и биологических рисков в целом. Но на данный момент это невозможно. Кроме того, это будет лишь один из инструментов для снижения рисков; это дополнение к существующим мерам безопасности в системах искусственного интеллекта, а не их замена.

Наиболее весомое возражение, которое я редко встречал, заключается в том, что существует разрыв между теоретической полезностью моделей и фактической склонностью злоумышленников к их использованию. Большинство отдельных злоумышленников — это люди с психическими отклонениями, поэтому, по определению, их поведение непредсказуемо и иррационально, и именно эти злоумышленники, не обладающие достаточными навыками, могли бы получить наибольшую выгоду от использования искусственного интеллекта, который значительно облегчает убийство большого количества людей.

Сноска 24:
Странное явление, связанное с массовыми убийцами, заключается в том, что выбранный ими способ убийства действует почти как
своеобразная гротескная мода. В 1970-х и 1980-х годах серийные убийцы
были очень распространены, и новые серийные убийцы часто копировали
поведение более известных или знаменитых серийных убийц. В 1990-х и
2000-х годах участились случаи массовых расстрелов, в то время как
серийные убийства стали менее распространены. Не существует никаких
технологических изменений, которые бы спровоцировали эти модели
поведения; просто кажется, что жестокие убийцы копируют поведение друг
друга, и то, что является «популярным» для копирования, меняется.

Тот факт, что тот или иной вид насильственного нападения возможен, не означает, что кто-то решит его осуществить. Возможно, биологические атаки будут не привлекательны, потому что существует значительная вероятность того, что они заразят самого нападающего, они не соответствуют милитаристским фантазиям, которые есть у многих жестоких людей или групп, и трудно избирательно воздействовать на конкретных людей. Также возможно, что процесс, занимающий месяцы, даже если искусственный интеллект помогает в его выполнении, требует такого терпения, которого просто нет у большинства людей с психическими отклонениями. Возможно, нам просто повезёт, и мотив и возможности не совпадут в нужной комбинации на практике.

Однако это кажется крайне ненадежной защитой. Мотивы психически неуравновешенных одиночек могут меняться по любой или даже без какой-либо причины, и, как показывает практика, уже есть случаи использования больших языковых моделей в атаках (хотя и не в биологической сфере). Кроме того, акцент на психически неуравновешенных одиночках игнорирует идеологически мотивированных террористов, которые часто готовы тратить много времени и сил (например, организаторы терактов 11 сентября). Желание убить как можно больше людей — это мотив, который, вероятно, рано или поздно возникнет, и, к сожалению, он указывает на биологическое оружие как на возможный метод. Даже если этот мотив будет крайне редким, он должен реализоваться всего один раз. И по мере развития биологии (которое все больше стимулируется искусственным интеллектом), может стать возможным осуществление более избирательных атак (например, направленных против людей с определенной этнической принадлежностью), что добавляет еще один, весьма тревожный, возможный мотив.

Я не думаю, что биологические атаки обязательно будут осуществляться сразу после того, как это станет широко возможным — на самом деле, я бы на это не поставил. Но если учесть миллионы людей и несколько лет, я думаю, что существует серьезный риск крупномасштабной атаки, и последствия будут настолько серьезными (с потенциальными жертвами в миллионы или больше), что, на мой взгляд, у нас нет другого выбора, кроме как принять серьезные меры для ее предотвращения.

Меры защиты

Это приводит нас к вопросу о том, как защититься от этих рисков. Я вижу здесь три возможных подхода. Во-первых, компании, занимающиеся разработкой ИИ, могут установить ограничения на свои модели, чтобы предотвратить их использование для создания биологического оружия. Компания Anthropic активно работает над этим. В документе «Конституция Клода», в котором в основном изложены общие принципы и ценности, содержится небольшое количество конкретных и строгих запретов, и один из них касается помощи в производстве биологического (или химического, или ядерного, или радиологического) оружия. Однако все модели могут быть взломаны, и поэтому, в качестве второй линии защиты, мы внедрили (начиная с середины 2025 года, когда наши тесты показали, что наши модели начинают приближаться к порогу, при котором они могут представлять опасность) классификатор, который специально обнаруживает и блокирует информацию, связанную с биологическим оружием. Мы регулярно обновляем и совершенствуем эти классификаторы и в целом считаем, что они достаточно устойчивы даже к сложным целенаправленным атакам.

Сноска 25: Некоторые любители взлома иногда считают, что им удалось обойти эти
классификаторы, когда они заставляют модель выдавать определенную
информацию, например, геном вируса. Но, как я уже объяснял, модель
угроз, которая нас беспокоит, предполагает последовательные,
интерактивные советы, которые охватывают недели или месяцы и касаются
конкретных, малоизвестных этапов процесса производства биологического
оружия, и именно от этого наши классификаторы призваны защищать. (Мы
часто описываем наши исследования как поиск «универсальных» способов
взлома, то есть таких, которые работают не только в одном конкретном
или узком контексте, но и в целом расширяют возможности модели.)

Эти классификаторы заметно увеличивают затраты на использование наших моделей (в некоторых моделях они составляют около 5% от общих затрат на вывод данных) и, следовательно, снижают нашу прибыль, но мы считаем, что их использование – это правильное решение.

Стоит отметить, что некоторые другие компании, занимающиеся разработкой ИИ, также внедрили классификаторы. Однако не все компании это сделали, и также нет никаких требований, обязывающих компании поддерживать свои классификаторы. Меня беспокоит, что со временем может возникнуть дилемма заключенного, когда компании могут отказаться от использования классификаторов, чтобы снизить свои затраты. Это снова классическая проблема негативных внешних эффектов, которую нельзя решить путем добровольных действий компании Anthropic или любой другой отдельной компании.

Сноска 26: Хотя мы продолжим инвестировать в разработку, чтобы повысить эффективность наших классификаторов, компаниям может быть полезно
обмениваться подобными достижениями.

Добровольные отраслевые стандарты могут оказаться полезными, как и независимые оценки и проверки, проводимые такими организациями, как институт безопасности в области ИИ и другими институтами, а также независимыми экспертами.

Но в конечном счёте для обеспечения защиты могут потребоваться действия правительства, и это второй шаг, который мы можем предпринять. Мои взгляды здесь совпадают с теми, что я высказываю по поводу рисков, связанных с автономными системами: мы должны начать с требований к прозрачности.

Сноска 27:
Очевидно, я не думаю, что компании должны раскрывать технические детали о конкретных этапах производства биологического оружия, которые
они блокируют, и в принятых на сегодняшний день законах о прозрачности
(SB 53 и RAISE) это учитывается.

Эти меры помогают обществу оценивать, отслеживать и коллективно защищаться от рисков, не нарушая при этом экономическую деятельность. Затем, когда мы достигнем более чётких пороговых значений риска, мы сможем разработать законодательство, которое более точно будет направлено на эти риски и будет иметь меньшую вероятность побочных последствий. В частности, в случае биологического оружия, я думаю, что время для принятия такого целевого законодательства может скоро наступить — компания Anthropic и другие компании всё больше узнают о природе биологических рисков и о том, что разумно требовать от компаний для защиты от них. Для полной защиты от этих рисков может потребоваться международное сотрудничество, даже с геополитическими противниками, но уже есть прецеденты в договорах, запрещающих разработку биологического оружия. В целом я скептически отношусь к большинству видов международного сотрудничества в области ИИ, но это может быть одна из немногих областей, где есть шанс добиться глобального сдерживания. Даже диктатуры не хотят массовых биотеррористических атак.

Наконец, третья мера, которую мы можем предпринять, — это попытаться разработать средства защиты от самих биологических атак. Это может включать мониторинг и отслеживание для раннего обнаружения, инвестиции в исследования и разработки в области очистки воздуха (например, дезинфекция с помощью дальнего ультрафиолета), быструю разработку вакцин, которые могут реагировать и адаптироваться к атаке, улучшенные средства индивидуальной защиты (СИЗ).

Сноска 28:
Ещё одна связанная идея — это «рынки устойчивости», где правительство поощряет создание запасов СИЗ, респираторов и другого
необходимого оборудования для реагирования на биологическую атаку,
обещая заранее выплатить заранее оговорённую цену за это оборудование
в случае чрезвычайной ситуации. Это стимулирует поставщиков создавать
такие запасы, не опасаясь, что правительство конфискует их без
компенсации.

и разработка методов лечения или вакцин против наиболее вероятных биологических агентов. мРНК-вакцины, которые можно разработать для реагирования на конкретный вирус или его вариант, являются одним из первых примеров того, что здесь возможно. Компания Anthropic заинтересована в сотрудничестве с биотехнологическими и фармацевтическими компаниями для решения этой проблемы. К сожалению, я думаю, что наши ожидания в отношении оборонительных мер должны быть умеренными. В биологии существует асимметрия между нападением и обороной, поскольку агенты быстро распространяются самостоятельно, в то время как для организации обороны требуется обнаружение, вакцинация и лечение большого числа людей в очень короткие сроки. Если реакция не будет молниеносной (а это бывает редко), значительная часть ущерба будет нанесена до того, как станет возможна какая-либо реакция. Вполне возможно, что будущие технологические усовершенствования смогут изменить этот баланс в пользу обороны (и нам, безусловно, следует использовать ИИ для разработки таких технологических решений), но до тех пор основными средствами защиты будут профилактические меры.

Здесь стоит вкратце упомянуть о кибератаках, поскольку, в отличие от биологических атак, кибератаки с использованием ИИ уже происходили в реальном мире, в том числе в больших масштабах и для осуществления государственной киберразведки. Мы ожидаем, что эти атаки станут более эффективными по мере быстрого развития моделей, пока они не станут основным способом проведения кибератак. Я предполагаю, что кибератаки с использованием ИИ станут серьезной и беспрецедентной угрозой для целостности компьютерных систем по всему миру, и компания Anthropic активно работает над тем, чтобы пресечь эти атаки и в конечном итоге надежно предотвратить их. Причина, по которой я уделяю меньше внимания кибератакам, чем биологическим, заключается в том, что (1) кибератаки гораздо реже приводят к гибели людей, и уж тем более не в масштабах биологических атак, и (2) баланс между нападением и обороной может быть более управляемым в киберпространстве, где есть хотя бы некоторая надежда на то, что оборона сможет не отставать от (и даже в идеале превосходить) кибератак с использованием ИИ, если мы будем правильно инвестировать в это.

Хотя в настоящее время биология является наиболее серьезным вектором атаки, существует множество других векторов, и вполне возможно, что появится еще более опасный. Общий принцип заключается в том, что без контрмер ИИ, вероятно, будет постоянно снижать порог для деструктивной деятельности в все больших и больших масштабах, и человечеству необходима серьезная реакция на эту угрозу.

3. Отвратительный механизм

Неправомерное использование для захвата власти

В предыдущем разделе обсуждался риск того, что отдельные лица и небольшие организации могут использовать ограниченную часть «страны гениев в центре обработки данных», чтобы нанести масштабный ущерб. Но нам также следует опасаться — и, вероятно, в гораздо большей степени, — неправомерного использования ИИ с целью получения или захвата власти, скорее всего, со стороны более крупных и влиятельных игроков.

Сноска 29:
Почему я больше беспокоюсь о том, что крупные игроки будут
стремиться к захвату власти, а мелкие — к нанесению ущерба? Потому что
динамика в этих случаях разная. Захват власти предполагает, сможет ли
один из игроков накопить достаточно сил, чтобы превзойти всех
остальных, поэтому нам следует опасаться самых могущественных игроков
и/или тех, кто ближе всего к ИИ. Напротив, ущерб могут нанести и те, у
кого мало власти, если от него защищаться гораздо сложнее, чем его
причинить. В этом случае речь идет об игре в защиту от наиболее
многочисленных угроз, которые, скорее всего, исходят от более мелких игроков.

В книге «Машины, полные любви» я обсуждал возможность того, что авторитарные правительства могут использовать мощный ИИ для наблюдения за своими гражданами или подавления их, и это будет сделать крайне сложно изменить или свергнуть. Современные автократии ограничены в том, насколько они могут быть репрессивными, поскольку им необходимо, чтобы люди выполняли их приказы, и у людей часто есть пределы в том, насколько бесчеловечно они готовы поступать. Но автократии, использующие ИИ, не будут иметь таких ограничений.

Хуже того, страны также могут использовать свое преимущество в области ИИ, чтобы получить власть над другими странами. Если вся «страна гениев» просто принадлежала бы и контролировалась военным аппаратом одной (человеческой) страны, а другие страны не имели бы сопоставимых возможностей, трудно представить, как они могли бы защитить себя: их будут перехитрить на каждом шагу, что похоже на войну между людьми и мышами. Соединение этих двух опасений приводит к тревожной возможности установления глобальной тоталитарной диктатуры. Очевидно, что предотвращение такого исхода должно быть одним из наших главных приоритетов.

Существует множество способов, с помощью которых ИИ может способствовать укреплению или расширению автократии, но я приведу несколько, которые меня больше всего беспокоят. Обратите внимание, что некоторые из этих приложений имеют законные оборонительные цели, и я не обязательно выступаю против них в абсолютном смысле; тем не менее, я опасаюсь, что они структурно имеют тенденцию благоприятствовать автократиям:

• Полностью автономное оружие. Рой из миллионов или миллиардов полностью автоматизированных боевых дронов, управляемых на местном уровне мощным искусственным интеллектом и стратегически координируемых по всему миру ещё более мощным искусственным интеллектом, может представлять собой непобедимую армию, способную как победить любую армию в мире, так и подавлять инакомыслие внутри страны, отслеживая каждого гражданина. Развитие событий в российско-украинской войне должно предупредить нас о том, что использование дронов в военных целях уже стало реальностью (хотя они ещё не полностью автономны и представляют собой лишь малую часть того, что может быть достигнуто с помощью мощного искусственного интеллекта). Научно-исследовательские и опытно-конструкторские работы в области мощного искусственного интеллекта могут сделать дроны одной страны значительно превосходящими дроны других стран, ускорить их производство, повысить их устойчивость к электронным атакам, улучшить их маневренность и так далее. Конечно, это оружие также может использоваться в целях защиты демократии: оно сыграло ключевую роль в защите Украины и, вероятно, сыграет ключевую роль в защите Тайваня. Но это опасное оружие, и мы должны опасаться его использования автократическими режимами, а также опасаться того, что из-за своей огромной мощности и отсутствия надлежащего контроля существует значительно повышенный риск того, что демократические правительства начнут использовать его против собственного населения для захвата власти.

• Наблюдение с помощью искусственного интеллекта. Достаточно мощный искусственный интеллект, вероятно, может быть использован для взлома любой компьютерной системы в мире.

  Сноска 30:
  Это может показаться противоречивым по отношению к моей точке зрения о
  том, что в кибератаках баланс между нападением и обороной может быть
  лучше, чем в случае с биологическим оружием, но меня беспокоит то, что
  если искусственный интеллект одной страны является самым мощным в
  мире, то другие страны не смогут защититься, даже если сама технология
  имеет внутренний баланс между нападением и обороной.

  Кроме того, полученный таким образом доступ может быть использован для чтения и анализа всех электронных коммуникаций в мире (или даже всех личных коммуникаций в мире, если можно создать или использовать записывающие устройства). Может оказаться пугающе правдоподобным просто создать полный список всех, кто не согласен с правительством по какому-либо вопросу, даже если это несогласие не выражено явно в их словах или действиях. Мощный искусственный интеллект, анализирующий миллиарды разговоров миллионов людей, может…

• Оценка общественного мнения. Необходимо выявлять настроения в обществе, обнаруживать очаги недовольства и пресекать их, пока они не разрастаются. Это может привести к установлению настоящей системы тотального контроля в масштабах, которых мы сегодня не наблюдаем, даже при Коммунистической партии Китая.

• Пропаганда с использованием ИИ. Современные явления, такие как «психоз, вызванный чат-ботами» и «виртуальные подруги», позволяют предположить, что даже при нынешнем уровне развития, модели ИИ могут оказывать мощное психологическое воздействие на людей. Гораздо более продвинутые версии этих моделей, которые были бы глубже интегрированы в повседневную жизнь людей и обладали бы более полным пониманием их потребностей, могли бы моделировать и влиять на них в течение месяцев или даже лет. Вероятно, они были бы способны фактически промывать мозги многим (большинству?) людей, навязывая им любую желаемую идеологию или установку, и могли бы использоваться беспринципным лидером для обеспечения лояльности и подавления инакомыслия, даже в условиях такого уровня репрессий, против которого большинство населения восстало бы. Сегодня люди сильно обеспокоены, например, потенциальным влиянием TikTok как инструмента пропаганды Коммунистической партии Китая, направленной на детей. Я тоже обеспокоен этим, но персонализированный ИИ-агент, который будет изучать вас в течение многих лет и использовать свои знания о вас для формирования всех ваших взглядов, был бы значительно мощнее.

• Стратегическое принятие решений. Страна гениев, работающая в центре обработки данных, могла бы использоваться для консультирования страны, группы или отдельного лица по вопросам геополитической стратегии, что можно было бы назвать «виртуальным Бисмарком». Она могла бы оптимизировать три вышеуказанные стратегии для захвата власти, а также, вероятно, разработать множество других, о которых я не подумал (но которые могла бы разработать страна гениев). Дипломатия, военная стратегия, исследования и разработки, экономическая стратегия и многие другие области, вероятно, значительно повысят свою эффективность благодаря мощному ИИ. Многие из этих навыков были бы действительно полезны для демократий — мы хотим, чтобы демократии имели доступ к лучшим стратегиям для защиты от автократий, — но потенциал для злоупотреблений в чьих бы то ни было руках все равно остается.

Описав, что меня беспокоит, перейдём к вопросу о том, кто вызывает у меня опасения. Меня беспокоят организации и лица, которые имеют наибольший доступ к технологиям искусственного интеллекта, которые изначально обладают наибольшей политической властью или у которых уже есть опыт применения репрессивных мер. Если расположить эти факторы по степени серьёзности, то меня больше всего беспокоит следующее:

• Коммунистическая партия Китая (КПК). Китай уступает только Соединенным Штатам по своим возможностям в области искусственного интеллекта и является страной, у которой наиболее вероятно произойдет обгон США в этой сфере. В настоящее время правительство этой страны имеет авторитарный характер и осуществляет высокотехнологичное наблюдение за населением. Уже сейчас используются системы наблюдения на основе искусственного интеллекта (в том числе для подавления уйгуров), и предполагается, что для распространения пропаганды используется алгоритмическая пропаганда через TikTok (в дополнение к многочисленным другим международным пропагандистским усилиям). У них, безусловно, есть самый четкий путь к созданию тоталитарного кошмара, основанного на искусственном интеллекте, о котором я говорил выше. Возможно, это даже станет неизбежным исходом в Китае, а также в других авторитарных государствах, которым КПК экспортирует технологии наблюдения. Я неоднократно писал об угрозе того, что КПК станет лидером в области искусственного интеллекта, и о необходимости предотвратить это. Вот почему. Чтобы было понятно, я не выделяю Китай из-за какой-либо личной неприязни к этой стране — это просто страна, в которой наиболее сочетаются передовые технологии в области искусственного интеллекта, авторитарное правительство и высокотехнологичная система наблюдения. Скорее, именно китайский народ, вероятно, больше всего пострадает от репрессий, осуществляемых КПК с использованием искусственного интеллекта, и у них нет возможности влиять на действия своего правительства. Я очень уважаю и ценю китайский народ и поддерживаю многих смелых диссидентов в Китае и их борьбу за свободу.

• Демократии, конкурирующие в области искусственного интеллекта. Как я писал выше, демократии имеют законный интерес к некоторым военным и геополитическим инструментам, основанным на искусственном интеллекте, поскольку демократические правительства предоставляют наилучшие возможности для противодействия использованию этих инструментов авторитарными режимами. В целом, я поддерживаю оснащение демократий инструментами, необходимыми для победы над авторитарными режимами в эпоху искусственного интеллекта — я просто не думаю, что есть другой способ. Но мы не можем игнорировать возможность злоупотребления этими технологиями самими демократическими правительствами. Обычно в демократиях существуют механизмы защиты, которые не позволяют использовать их военные и разведывательные структуры против собственного населения,

  Сноска 31:
  Например, в Соединенных Штатах это включает в себя Четвертую поправку
  и [Закон о Posse Comitatus (https://en.wikipedia.org/wiki/Posse_Comitatus_Act).

  но поскольку инструменты искусственного интеллекта требуют относительно небольшого количества…чтобы люди могли ими управлять, существует вероятность того, что они обойдут эти меры предосторожности и нормы, которые их поддерживают. Также стоит отметить, что некоторые из этих мер предосторожности уже постепенно ослабевают в некоторых демократических странах. Таким образом, мы должны вооружить демократии искусственным интеллектом, но делать это нужно осторожно и в разумных пределах: они являются той иммунной системой, которая нам нужна для борьбы с автократиями, но, как и любая иммунная система, существует определенный риск того, что они могут обернуться против нас и сами стать угрозой.

• Недемократические страны с крупными центрами обработки данных. Помимо Китая, большинство стран с менее демократичным управлением не являются лидерами в области искусственного интеллекта в том смысле, что у них нет компаний, которые разрабатывают передовые модели ИИ. Таким образом, они представляют собой принципиально иную и меньшую угрозу, чем Коммунистическая партия Китая, которая остается главной проблемой (большинство из них также менее репрессивны, а те, которые более репрессивны, например, Северная Корея, вообще не имеют значительной индустрии ИИ). Однако в некоторых из этих стран есть крупные центры обработки данных (часто в рамках проектов, реализуемых компаниями, работающими в демократических странах), которые можно использовать для запуска передовых моделей ИИ в больших масштабах (хотя это не дает возможности продвигать эти модели дальше). В этом есть определенная опасность: теоретически эти правительства могут изъять центры обработки данных и использовать страну, в которой они расположены, для достижения собственных целей. Я меньше обеспокоен этим, чем в случае со странами, такими как Китай, которые напрямую разрабатывают ИИ, но это риск, о котором следует помнить.

  Сноска 32:
  Кроме того, для ясности, существуют аргументы в пользу создания
  крупных центров обработки данных в странах с различной структурой
  управления, особенно если они контролируются компаниями в
  демократических странах. Теоретически, такие проекты могут помочь
  демократиям лучше конкурировать с Коммунистической партией Китая,
  которая представляет собой большую угрозу. Я также считаю, что такие
  центры обработки данных не представляют большой угрозы, если они не
  очень большие. Но в целом, я думаю, что следует соблюдать осторожность
  при размещении очень крупных центров обработки данных в странах, где
  институциональные меры предосторожности и защита законности менее
  развиты.

• Компании, занимающиеся разработкой ИИ. Немного неловко говорить об этом, будучи генеральным директором компании, занимающейся разработкой ИИ, но я думаю, что следующий уровень риска – это сами компании, занимающиеся разработкой ИИ. Компании, занимающиеся разработкой ИИ, контролируют крупные центры обработки данных, обучают передовые модели, обладают наибольшим опытом в использовании этих моделей, и в некоторых случаях имеют ежедневныйони имеют возможность взаимодействовать с десятками или сотнями миллионов пользователей и оказывать на них влияние. Главное, чего им не хватает, — это легитимность и инфраструктура государства. Поэтому многие из тех действий, которые необходимы для создания инструментов, позволяющих установить автократическое правление с помощью искусственного интеллекта, были бы незаконны для компании, занимающейся разработкой ИИ, или, по крайней мере, вызывали бы серьёзные подозрения. Однако некоторые из этих действий вполне возможны: например, они могут использовать свои продукты на основе ИИ для манипулирования огромной базой потребителей, и общественность должна быть осведомлена об этой угрозе. Я считаю, что деятельность компаний, занимающихся разработкой ИИ, требует пристального внимания.

Существует ряд аргументов, опровергающих серьёзность этих угроз, и я хотел бы верить в них, потому что перспектива авторитарного режима, основанного на искусственном интеллекте, меня пугает. Стоит рассмотреть некоторые из этих аргументов и дать на них ответы.

Во-первых, некоторые люди могут полагаться на ядерное сдерживание, особенно в качестве средства противодействия использованию автономного оружия на основе искусственного интеллекта для военных завоеваний. Если кто-то угрожает использовать это оружие против вас, вы всегда можете ответить угрозой ядерного удара. Меня беспокоит то, что я не уверен, можем ли мы быть полностью уверены в эффективности ядерного сдерживания в отношении страны, в которой находятся гениальные умы в центре обработки данных: вполне возможно, что мощный искусственный интеллект может разработать способы для обнаружения и уничтожения ядерных подводных лодок, проведения операций по влиянию на операторов инфраструктуры ядерного оружия или использовать кибервозможности искусственного интеллекта для организации кибератаки на спутники, используемые для обнаружения ядерных пусков.

Сноска 33:
Это, конечно, также аргумент в пользу усиления безопасности
ядерного
сдерживания,
чтобы сделать его более
устойчивым к
воздействию мощного искусственного интеллекта, и демократические
страны, обладающие ядерным оружием, должны это сделать. Но мы не
знаем, на что будет способен мощный искусственный интеллект и какие
средства защиты, если таковые имеются, будут против него эффективны,
поэтому мы не должны предполагать, что эти меры обязательно решат
проблему.

В качестве альтернативы можно предположить, что захват стран возможен лишь с помощью систем наблюдения и пропаганды на основе искусственного интеллекта, и при этом никогда не наступает очевидный момент, когда становится ясно, что происходит, и когда применение ядерного оружия было бы уместным. Возможно, это невозможно, и ядерное сдерживание по-прежнему будет эффективным, но рисковать кажется слишком опасно.

Сноска 34:
Существует также риск того, что даже если ядерное сдерживание
останется эффективным, страна-агрессор может решить проверить нашу
готовность — неясно, готовы ли мы будем использовать ядерное оружие
для защиты от роя дронов, даже если этот рой представляет собой
серьёзную угрозу завоевания. Рои дронов могут быть новым видом оружия,
менее опасным, чем ядерные атаки, но более опасным, чем обычные. В
качестве альтернативы, различные оценки эффективности ядерного
сдерживания в эпоху искусственного интеллекта могут изменить теорию
игр в ядерном конфликте, что приведёт к дестабилизации ситуации.

Второе возможное возражение заключается в том, что могут существовать контрмеры, которые мы можем предпринять против этих инструментов автократии. Мы можем противостоять дронам с помощью наших собственных дронов, киберзащита будет улучшаться вместе с кибератаками, могут быть найдены способы защиты людей от пропаганды и т. д. Мой ответ заключается в том, что эти средства защиты будут возможны только при наличии сопоставимо мощного искусственного интеллекта. Если не будет существовать какой-либо контрмеры в виде сопоставимо умной и многочисленной группы гениев, работающих в центре обработки данных, то не удастся достичь сопоставимого качества или количества дронов, не удастся обеспечить превосходство киберзащиты над кибератаками и т. д. Таким образом, вопрос о контрмерах сводится к вопросу о балансе сил в области мощного искусственного интеллекта. Здесь меня беспоит рекурсивное или самоподдерживающееся свойство мощного искусственного интеллекта (о котором я говорил в начале этого эссе): каждая новая версия искусственного интеллекта может использоваться для разработки и обучения следующей версии. Это приводит к риску неконтролируемого преимущества, когда нынешний лидер в области мощного искусственного интеллекта может увеличить своё преимущество, и его будет трудно догнать. Нам нужно убедиться, что первой к этому циклу не получит доступ авторитарная страна.

Более того, даже если удастся достичь баланса сил, всё равно существует риск того, что мир может быть разделён на автократические сферы влияния, как в романе «1984». Даже если у нескольких конкурирующих держав будут свои мощные модели искусственного интеллекта, и ни одна из них не сможет превзойти другие, каждая держава всё равно может подавлять собственное население, и свергнуть её будет очень сложно (поскольку у населения не будет мощного искусственного интеллекта для защиты). Таким образом, важно предотвратить автократию, основанную на искусственном интеллекте, даже если это не приведёт к тому, что одна страна захватит мир.

Средства защиты

Как нам противостоять этому широкому спектру авторитарных инструментов и потенциальных угроз? Как и в предыдущих разделах, я считаю, что есть несколько вещей, которые мы можем сделать. Во-первых, мы абсолютно не должны продавать микросхемы, оборудование для производства микросхем или центры обработки данных Коммунистической партии Китая (КПК). Микросхемы и оборудование для их производства — это самое большое препятствие на пути к созданию мощного искусственного интеллекта, и блокирование их поставок — это простая, но чрезвычайно эффективная мера, возможно, самое важное действие, которое мы можем предпринять. Нет смысла продавать КПК инструменты, с помощью которых она сможет построить тоталитарное государство на основе искусственного интеллекта и, возможно, завоевать нас в военном отношении. Существует ряд сложных аргументов, призванных оправдать такие продажи, например, идея о том, что «распространение наших технологических решений по всему миру» позволит «Америке победить» в некоей общей, неопределенной экономической борьбе. На мой взгляд, это все равно, что продавать ядерное оружие Северной Корее, а затем хвастаться, что корпуса ракет производятся компанией Boeing, и поэтому США «побеждают». Китай отстает от США на несколько лет в плане способности производить передовые микросхемы в больших количествах, и критический период для создания в стране центра обработки данных, где будут работать гении, скорее всего, наступит в ближайшие несколько лет.

Сноска 35:
Чтобы было ясно, я считаю, что правильной стратегией является отказ от продажи чипов Китаю, даже если сроки создания мощного ИИ будут значительно более длительными. Мы не можем допустить, чтобы китайцы «привыкли» к американским чипам — они полны решимости так или иначе развивать собственную чиповую промышленность. На это у них уйдет много лет, и все, что мы делаем, продавая им чипы, — это даем им большой импульс в это время.

Нет причин давать огромный толчок их индустрии искусственного интеллекта в этот критический период.

Во-вторых, имеет смысл использовать искусственный интеллект для укрепления демократий, чтобы они могли противостоять авторитарным режимам. Именно поэтому компания Anthropic считает важным предоставлять искусственный интеллект разведывательным и оборонным структурам в США и их демократических союзниках. Защита демократий, подвергающихся нападению, таких как Украина и (в результате кибератак) Тайвань, представляется особенно важной задачей, как и укрепление демократий, чтобы они могли использовать свои разведывательные службы для подрыва и ослабления авторитарных режимов изнутри. В определенной степени единственный способ реагировать на авторитарные угрозы — это превзойти их в военном отношении. Коалиция США и их демократических союзников, если она добьется превосходства в области мощного искусственного интеллекта, сможет не только защищаться от авторитарных режимов, но и сдерживать их и ограничивать их тоталитарное использование искусственного интеллекта.

Во-первых, нам необходимо установить чёткие границы в отношении злоупотреблений искусственным интеллектом в демократических странах. Должны существовать ограничения на то, как наши правительства используют искусственный интеллект, чтобы они не захватывали власть и не подавляли собственный народ. Я считаю, что мы должны использовать искусственный интеллект для национальной обороны всеми возможными способами, за исключением тех, которые сделали бы нас более похожими на наших авторитарных противников.

Где следует провести эту границу? В списке, представленном в начале этого раздела, два пункта — использование искусственного интеллекта для массовой внутренней слежки и массовой пропаганды — кажутся мне абсолютно неприемлемыми и недопустимыми. Некоторые могут утверждать, что нет необходимости что-либо предпринимать (по крайней мере, в США), поскольку массовая внутренняя слежка уже запрещена Четвёртой поправкой к Конституции. Однако быстрое развитие искусственного интеллекта может создать ситуации, к которым наши существующие правовые рамки недостаточно подготовлены. Например, вполне вероятно, что правительству США не будет противозаконно осуществлять масштабную запись всех публичных разговоров (например, того, что люди говорят друг другу на улице), и раньше было бы трудно отсортировать такой объём информации, но с помощью искусственного интеллекта всё это можно будет расшифровать, проанализировать и сопоставить, чтобы получить представление об отношении и лояльности многих или большинства граждан. Я бы поддержал законодательство, направленное на защиту гражданских свобод (или, возможно, даже поправку к Конституции), которое устанавливало бы более строгие гарантии против злоупотреблений, связанных с использованием искусственного интеллекта.

Два других пункта — полностью автономное оружие и использование искусственного интеллекта для стратегического принятия решений — сложнее, поскольку они могут использоваться для защиты демократии, но при этом также подвержены злоупотреблениям. Здесь, я думаю, необходимо проявлять крайнюю осторожность и внимательность, а также установить гарантии для предотвращения злоупотреблений. Мой главный страх заключается в том, что слишком мало людей будут иметь «доступ к кнопке», и, следовательно, один или несколько человек смогут фактически управлять армией дронов, не нуждаясь в сотрудничестве других людей для выполнения своих приказов. По мере того, как системы искусственного интеллекта становятся всё более мощными, нам, возможно, потребуется создать более прямые и немедленные механизмы контроля, чтобы гарантировать, что они не будут использоваться не по назначению, возможно, с участием других ветвей власти, помимо исполнительной. Я думаю, что мы должны подходить к полностью автономному оружию с особой осторожностью,

Сноска 36:
Чтобы было понятно, большая часть того, что сейчас используется в
Украине и на Тайване, не является полностью автономным оружием. Это
ещё впереди, но не сейчас.

и не следует спешить с их использованием без надлежащих гарантий.

Во-первых, после того как мы чётко обозначили недопустимость злоупотреблений в сфере искусственного интеллекта в демократических странах, нам следует использовать этот прецедент для создания международного табу на наиболее серьёзные злоупотребления, связанные с мощным искусственным интеллектом. Я понимаю, что нынешняя политическая обстановка не способствует международному сотрудничеству и соблюдению международных норм, но в данном случае они нам крайне необходимы. Миру необходимо осознать тёмный потенциал мощного искусственного интеллекта в руках авторитарных режимов и признать, что определённые способы его использования представляют собой попытку навсегда лишить людей свободы и установить тоталитарный режим, из которого они не смогут выбраться. Я бы даже утверждал, что в некоторых случаях масштабное наблюдение с использованием мощного искусственного интеллекта, массированная пропаганда с его использованием и определённые виды агрессивного применения полностью автономного оружия следует рассматривать как преступления против человечности. В более широком смысле крайне необходима чёткая норма, направленная против тоталитаризма, основанного на искусственном интеллекте, и всех его инструментов и средств.

Возможно, существует и более жёсткая версия этой позиции, заключающаяся в том, что, поскольку возможности тоталитаризма, основанного на искусственном интеллекте, настолько опасны, автократия просто не может быть приемлемой формой правления для людей в эпоху мощного искусственного интеллекта. Подобно тому, как феодализм стал нежизнеспособным в эпоху промышленной революции, эпоха искусственного интеллекта может неизбежно и логично привести к выводу о том, что демократия (и, надеюсь, демократия, улучшенная и обновлённая с помощью искусственного интеллекта, как я обсуждаю в книге «Машины, созданные с любовью») — единственная жизнеспособная форма правления, если человечество хочет иметь хорошее будущее.

Во-пятых и в заключение, за компаниями, занимающимися разработкой искусственного интеллекта, следует внимательно следить, а также за их связями с правительством, что необходимо, но должно иметь определённые границы и ограничения. Общий объём возможностей, заключённых в мощном искусственном интеллекте, настолько велик, что обычные методы корпоративного управления, предназначенные для защиты интересов акционеров и предотвращения обычных злоупотреблений, таких как мошенничество, вряд ли смогут обеспечить эффективное управление этими компаниями. Кроме того, может быть полезно, если компании публично обяжутся (возможно, даже в рамках корпоративного управления) не предпринимать определённые действия, такие как тайное создание или накопление военной техники, использование больших объёмов вычислительных ресурсов отдельными лицами неконтролируемым образом или использование своих продуктов на основе искусственного интеллекта в качестве пропаганды для манипулирования общественным мнением в свою пользу.

Опасность здесь исходит из разных источников, и некоторые из них противоречат другим. Единственное, что остаётся неизменным, — это то, что мы должны добиваться ответственности, устанавливать нормы и создавать механизмы контроля для всех, даже когда мы расширяем возможности «хороших» участников, чтобы они могли сдерживать «плохих».

4. Автоматический пианино

Экономические потрясения

В предыдущих трёх разделах по сути речь шла об угрозах безопасности, связанных с развитием мощного искусственного интеллекта: об угрозах, исходящих непосредственно от ИИ, об угрозах, связанных с его неправомерным использованием отдельными лицами и небольшими организациями, и об угрозах, связанных с его неправомерным использованием государствами и крупными организациями. Если отвлечься от угроз безопасности или предположить, что они уже решены, следующим вопросом станет экономический. Какое влияние окажет этот приток невероятного «человеческого» капитала на экономику? Очевидно, что наиболее заметным последствием станет значительное ускорение экономического роста. Темпы развития в области научных исследований, биомедицинских инноваций, производства, цепочек поставок, эффективности финансовой системы и многого другого почти наверняка приведут к гораздо более быстрому темпу экономического роста. В книге «Машины, полные любви», я предполагаю, что устойчивый годовой рост ВВП на 10–20% вполне возможен.

Однако следует понимать, что это палка о двух концах: каковы экономические перспективы для большинства людей в таком мире? Новые технологии часто вызывают потрясения на рынке труда, и в прошлом люди всегда успешно справлялись с ними, но меня беспокоит, что это связано с тем, что предыдущие потрясения затрагивали лишь небольшую часть всего спектра человеческих возможностей, оставляя людям пространство для освоения новых задач. ИИ окажет гораздо более широкое и быстрое воздействие, и поэтому я опасаюсь, что будет гораздо сложнее добиться положительных результатов.

Дестабилизация рынка труда

Есть две конкретные проблемы, которые меня беспокоят: сокращение рабочих мест и концентрация экономической власти. Давайте начнем с первой. Это тема, о которой я публично предупреждал еще в 2025 году, где я предсказал, что в течение следующих 1–5 лет искусственный интеллект может привести к сокращению половины всех начальных должностей для квалифицированных работников, даже несмотря на то, что он ускоряет экономический рост и научный прогресс. Это предупреждение положило начало общественной дискуссии по этой теме. Многие генеральные директора, технологи и экономисты согласились со мной, но другие предположили, что я поддаюсь заблуждению о «фиксированном объеме работы» и не понимаю, как функционируют рынки труда, а некоторые не учли временной горизонт в 1–5 лет и подумали, что я утверждаю, что искусственный интеллект уже сейчас сокращает рабочие места (с чем я, вероятно, не согласен). Поэтому стоит подробно рассмотреть, почему меня беспокоит сокращение рабочих мест, чтобы развеять эти недоразумения.

Для начала полезно понять, как рынки труда обычно реагируют на технологические достижения. Когда появляется новая технология, она начинает с повышения эффективности отдельных этапов выполнения определенной работы. Например, на ранних этапах промышленной революции такие машины, как усовершенствованные плуги, позволили фермерам более эффективно выполнять некоторые аспекты своей работы. Это повысило производительность фермеров, что привело к увеличению их заработной платы.

На следующем этапе некоторые этапы работы в сельском хозяйстве могут выполняться полностью машинами, например, с изобретением молотильной машины или сеялки. На этом этапе люди выполняют все меньшую и меньшую часть работы, но работа, которую они выполняют, становится все более эффективной, поскольку она дополняет работу машин, и их производительность продолжает расти. Как описано в парадоксе Джевонса, заработная плата фермеров и, возможно, даже их количество продолжали расти. Даже когда 90% работы выполняют машины, люди могут просто в 10 раз увеличить объем оставшихся 10% работы, производя в 10 раз больше продукции при том же объеме труда.

В конечном итоге машины выполняют почти все задачи, как это происходит с современной техникой, такой как зерноуборочные комбайны, тракторы и другое оборудование. На этом этапе сельское хозяйство как вид деятельности, обеспечивающий занятость, действительно приходит в упадок, что потенциально может вызвать серьёзные сбои в краткосрочной перспективе. Однако, поскольку сельское хозяйство — это лишь один из множества полезных видов деятельности, которыми люди способны заниматься, со временем люди переходят к другим видам работы, например, к управлению станками на заводах. Это верно, даже несмотря на то, что в прошлом сельское хозяйство обеспечивало огромную долю занятости. 250 лет назад 90 % американцев жили в сельской местности; в Европе 50–60 % населения были заняты в сельском хозяйстве. Сейчас эти показатели в этих регионах составляют лишь несколько процентов, поскольку работники перешли к работе в промышленности (а затем и к работе, связанной со знаниями). Экономика может выполнять задачи, для которых раньше требовалась большая часть рабочей силы, используя лишь 1–2 % этой рабочей силы, что позволяет высвободить остальную часть рабочей силы для построения ещё более развитого индустриального общества. Не существует фиксированного «объёма работы», а лишь постоянно растущая способность делать всё больше и больше, используя всё меньше и меньше ресурсов. Заработная плата людей растёт в соответствии с экспоненциальным ростом ВВП, и экономика поддерживает полную занятость после того, как краткосрочные сбои пройдут.

Вполне возможно, что с искусственным интеллектом (ИИ) ситуация будет развиваться примерно по тому же сценарию, но я бы не стал на это сильно рассчитывать. Вот несколько причин, по которым я думаю, что ИИ, скорее всего, будет отличаться:

• Скорость. Темпы развития искусственного интеллекта значительно выше, чем в случае предыдущих технологических революций. Например, за последние два года модели ИИ прошли путь от едва способных выполнить одну строку кода до написания всего или почти всего кода для некоторых задач, включая работу инженеров в Anthropic.

  Сноска 37:
  Наша карточка модели Claude Opus
  4.5,
  нашей самой последней модели, показывает, что Opus демонстрирует
  лучшие результаты на собеседовании, посвященном инженерным навыкам,
  которое часто проводится в Anthropic, чем любой другой кандидат за всю
  историю компании.

  Вскоре они смогут выполнять весь комплекс задач, которые обычно выполняет инженер-программист.

  Сноска 38:
  «Написание всего кода» и «выполнение всего комплекса задач, которые
  выполняет инженер-программист» — это совершенно разные вещи, поскольку
  инженеры-программисты выполняют гораздо больше, чем просто пишут код,
  включая тестирование, работу с окружением, файлами и установкой,
  управление облачными вычислительными ресурсами, итерации над
  продуктами и многое другое.

  Людям сложно адаптироваться к таким быстрым изменениям, как в плане того, как устроена та или иная работа, так и в плане необходимости переходить на новые должности. Даже легендарные программисты все чаще описывают себя как «отстающих». Вероятно, эти темпы будут только ускоряться, поскольку модели ИИ для написания кода все больше ускоряют процесс разработки ИИ. Чтобы было понятно, сама по себе скорость не означает, что рынок труда и занятость в конечном итоге не восстановятся, это лишь указывает на то, что краткосрочный переход будет необычайно болезненным по сравнению с предыдущими технологиями, поскольку людям и рынку труда требуется время, чтобы отреагировать и приспособиться.

• Широта когнитивных способностей. Как следует из фразы «страна гениев в центре обработки данных», ИИ будет обладать очень широким спектром человеческих когнитивных способностей — возможно, всеми. Это существенно отличается от предыдущих технологий, таких как механизированное сельское хозяйство, транспорт или даже компьютеры.

  Сноска 39:
  Компьютеры в определенном смысле являются универсальными, но
  очевидно, что сами по себе они не способны выполнять подавляющее
  большинство человеческих когнитивных функций, даже если они
  значительно превосходят людей в некоторых областях (например,
  в…).арифметика). Разумеется, технологии, созданные на базе
  компьютеров, такие как искусственный интеллект, теперь обладают
  широким спектром когнитивных способностей, и именно об этом пойдёт
  речь в этом эссе.

  Это усложнит для людей переход с профессий, которые устаревают, на аналогичные профессии, которым они могли бы соответствовать. Например, общие интеллектуальные способности, необходимые для работы начального уровня в таких областях, как финансы, консалтинг и юриспруденция, в целом схожи, даже если конкретные знания существенно различаются. Технология, которая затронула бы только одну из этих трёх областей, позволила бы сотрудникам перейти к двум другим близким по характеру видам деятельности (или студентам – сменить специализацию). Однако одновременное изменение всех трёх областей (вместе со многими другими аналогичными профессиями) может оказаться более сложным для адаптации. Кроме того, дело не только в том, что большинство существующих профессий будут затронуты. Подобное уже происходило в прошлом – вспомните, что сельское хозяйство составляло огромную долю занятости. Но фермеры могли перейти к относительно схожей работе – управлению станками на фабриках, хотя раньше это не было распространённым явлением. В отличие от этого, искусственный интеллект всё больше соответствует общему когнитивному профилю человека, что означает, что он также будет хорошо справляться с новыми видами деятельности, которые обычно создаются в ответ на автоматизацию старых. Другими словами, искусственный интеллект не является заменой для конкретных профессий, а скорее представляет собой общую замену человеческого труда.

• Разделение по когнитивным способностям. В широком спектре задач искусственный интеллект, похоже, развивается от нижнего уровня иерархии способностей к верхнему. Например, в области программирования наши модели прошли путь от уровня «среднего программиста» до уровня «сильного программиста» и, наконец, до уровня «очень сильного программиста».

  Сноска 40:
  Важно отметить, что модели искусственного интеллекта не
  имеют точно такого же профиля сильных и слабых сторон, как люди. Но
  они также довольно равномерно развиваются по всем направлениям, так
  что наличие выраженного или неравномерного профиля в конечном итоге
  может не иметь значения.

  Сейчас мы начинаем наблюдать ту же тенденцию в целом в сфере офисной работы. Таким образом, существует риск того, что вместо того, чтобы затрагивать людей с конкретными навыками или в конкретных профессиях (которые могут адаптироваться путём переобучения), искусственный интеллект будет затрагивать людей с определёнными внутренними когнитивными свойствами, а именно с более низким уровнем интеллекта (который сложнее изменить). Неясно, куда пойдут эти люди и чем они будут заниматься.и меня беспокоит, что это может привести к формированию «группы населения с низким уровнем дохода» или группы безработных. Чтобы быть точным, нечто подобное уже происходило в прошлом: например, некоторые экономисты считают, что компьютеры и интернет представляют собой «технологические изменения, ориентированные на определенные навыки». Однако эти изменения, связанные с навыками, были не такими резкими, как те, которые, по моему мнению, произойдут с развитием ИИ, и, как считается, способствовали увеличению неравенства в оплате труда.

  Сноска 41:
  Хотя среди экономистов существуют
  дискуссии
  по этому поводу,
  поэтому это не совсем обнадеживающий прецедент.

• Способность восполнять пробелы. Часто бывает, что при внедрении новых технологий в процесс выполнения человеческой работы происходит следующее: работа состоит из множества аспектов, и новая технология, даже если она, казалось бы, напрямую заменяет человека, часто имеет определенные ограничения. Например, если кто-то изобретает машину для производства каких-либо деталей, людям все равно может потребоваться загружать сырье в эту машину. Даже если это требует лишь 1% усилий по сравнению с ручным производством этих деталей, человеческие работники могут просто производить в 100 раз больше деталей. Но ИИ, помимо того, что это быстро развивающаяся технология, также является быстро адаптирующейся технологией. При каждом выпуске новой модели компании, занимающиеся разработкой ИИ, тщательно оценивают, в чем сильные и слабые стороны модели, и клиенты также предоставляют такую информацию после запуска. Слабые стороны можно устранить, собрав задачи, которые отражают текущие ограничения, и обучая модель на них для следующей версии. На ранних этапах развития генеративного ИИ пользователи заметили, что у систем ИИ есть определенные недостатки (например, модели ИИ, генерирующие изображения, могут создавать руки с неправильным количеством пальцев), и многие предположили, что эти недостатки присущи самой технологии. Если бы это было так, это ограничило бы масштабы изменений на рынке труда. Но практически все эти недостатки быстро устраняются — часто всего за несколько месяцев.

Стоит рассмотреть основные причины скептицизма. Во-первых, существует аргумент, что экономическое распространение технологий будет происходить медленно, и даже если базовая технология способна выполнять большую часть человеческого труда, её фактическое применение в масштабах всей экономики может происходить гораздо медленнее (например, в отраслях, которые далеки от индустрии искусственного интеллекта и медленно внедряют новые технологии). Медленное распространение технологий – это бесспорный факт. Я общаюсь с представителями самых разных предприятий, и есть места, где внедрение ИИ займёт годы. Именно поэтому я прогнозирую, что 50% должностей начального уровня в сфере офисного труда будут автоматизированы в течение 1–5 лет, хотя я подозреваю, что у нас появится мощный ИИ (который, с технологической точки зрения, будет достаточно мощным для выполнения большинства или всех задач, а не только задач начального уровня) уже через гораздо меньший срок, чем 5 лет. Но эффекты распространения технологий просто дают нам время. И я не уверен, что они будут такими медленными, как предсказывают. Внедрение ИИ в предприятиях происходит гораздо быстрее, чем внедрение любых предыдущих технологий, в основном благодаря самим технологическим возможностям. Кроме того, даже если крупные предприятия медленно внедряют новые технологии, появятся стартапы, которые будут выступать в качестве «связующего звена» и облегчат этот процесс. Если это не сработает, стартапы могут просто напрямую конкурировать с существующими предприятиями.

Это может привести к миру, в котором не столько отдельные рабочие места будут упразднены, сколько крупные предприятия в целом будут трансформированы и заменены гораздо менее трудоёмкими стартапами. Это также может привести к миру «географического неравенства», где всё большая часть мирового богатства будет сосредоточена в Кремниевой долине, которая станет самостоятельной экономикой, развивающейся с другой скоростью, чем остальной мир, и отставая от него. Все эти последствия будут благоприятны для экономического роста, но не столь благоприятны для рынка труда и для тех, кто останется в стороне.

Во-вторых, некоторые утверждают, что человеческий труд перейдёт в физический мир, что позволит избежать целой категории «когнитивного труда», в которой ИИ развивается настолько быстро. Я не уверен, насколько это безопасно. Значительная часть физического труда уже выполняется машинами (например, в производстве) или вскоре будет выполняться машинами (например, в сфере вождения). Кроме того, достаточно мощный ИИ сможет ускорить разработку роботов и затем управлять этими роботами в физическом мире. Это может дать некоторое время (что является положительным моментом), но я опасаюсь, что этого времени будет недостаточно. И даже если преобразования будут ограничены только когнитивными задачами, это всё равно будет беспрецедентно масштабное и быстрое изменение.

Во-первых, возможно, некоторые задачи по своей природе требуют или значительно выигрывают от человеческого участия. Я не совсем уверен в этом, но всё же сомневаюсь, что этого будет достаточно, чтобы компенсировать большую часть последствий, о которых я говорил выше. Искусственный интеллект уже широко используется для обслуживания клиентов. Многие люди сообщают, что им легче обсуждать свои личные проблемы с ИИ, чем с психотерапевтом, — что ИИ проявляет больше терпения. Когда у моей сестры возникли проблемы со здоровьем во время беременности, она почувствовала, что не получает ответов или поддержки, в которой нуждается, от своих врачей, и она обнаружила, что Claude лучше умеет находить подход к пациентам (а также более успешно диагностирует проблему). Я уверен, что есть задачи, для которых человеческий фактор действительно важен, но я не уверен, сколько их, и здесь речь идёт о том, чтобы найти работу практически для всех на рынке труда.

Во-вторых, некоторые могут утверждать, что сравнительное преимущество всё равно будет защищать людей. Согласно закону о сравнительном преимуществе, даже если ИИ превосходит людей во всём, любые относительные различия между человеческими и ИИ-наборами навыков создают основу для обмена и специализации между людьми и ИИ. Проблема в том, что если ИИ в тысячи раз продуктивнее людей, эта логика начинает давать сбой. Даже незначительные транзакционные издержки могут сделать невыгодным для ИИ взаимодействие с людьми. И заработная плата людей может быть очень низкой, даже если у них есть что предложить.

Возможно, все эти факторы можно будет учесть — рынок труда достаточно устойчив, чтобы адаптироваться даже к такому огромному потрясению. Но даже если он в конечном итоге сможет адаптироваться, вышеперечисленные факторы указывают на то, что краткосрочный шок будет беспрецедентным по масштабу.

Меры защиты

Что мы можем предпринять для решения этой проблемы? У меня есть несколько предложений, некоторые из которых компания Anthropic уже реализует. Прежде всего, необходимо получать точные данные о происходящих изменениях на рынке труда в режиме реального времени. Когда экономические изменения происходят очень быстро, трудно получить надёжные данные о том, что происходит, а без надёжных данных сложно разработать эффективные стратегии. Например, в настоящее время государственным органам не хватает подробных данных о внедрении ИИ в различных компаниях и отраслях. В течение последнего года компания Anthropic собирает и публикует Экономический индекс, который показывает использование наших моделей практически в режиме реального времени, с разбивкой по отраслям, задачам, местоположению и даже по таким параметрам, как автоматизация или совместное выполнение задач. У нас также есть Экономический консультативный совет, который помогает нам анализировать эти данные и прогнозировать дальнейшее развитие ситуации.

Во-вторых, компании, занимающиеся разработкой ИИ, могут выбирать, как они будут взаимодействовать с предприятиями. Неэффективность традиционных предприятий означает, что внедрение ИИ может сильно зависеть от выбранного подхода, и есть возможность выбрать более оптимальный путь. Предприятия часто сталкиваются с выбором между «сокращением затрат» (выполнение той же работы меньшим количеством сотрудников) и «инновациями» (выполнение большего объёма работы тем же количеством сотрудников). Рынок неизбежно предложит оба варианта, и любая конкурентоспособная компания, занимающаяся разработкой ИИ, должна будет учитывать оба аспекта, но, возможно, есть возможность направить компании на путь инноваций, когда это возможно, и это может дать нам некоторое время. Компания Anthropic активно рассматривает этот вопрос.

В-третьих, компаниям следует подумать о том, как заботиться о своих сотрудниках. В краткосрочной перспективе творческий подход к перераспределению сотрудников внутри компании может стать перспективным способом избежать необходимости увольнений. В долгосрочной перспективе, в мире с огромным общим богатством, в котором многие компании значительно увеличивают свою стоимость благодаря повышению производительности и концентрации капитала, может оказаться возможным выплачивать зарплату сотрудникам даже после того, как они перестанут приносить экономическую пользу в традиционном смысле. Компания Anthropic в настоящее время рассматривает различные варианты для своих сотрудников, которыми мы поделимся в ближайшем будущем.

Во-четвёртых, состоятельные люди обязаны помогать в решении этой проблемы. Меня огорчает то, что многие состоятельные люди (особенно в сфере высоких технологий) в последнее время придерживаются циничного и нигилистического взгляда на благотворительность, считая её неизбежно мошеннической или бесполезной. Как частная благотворительность, такая как деятельность Фонда Гейтса, так и государственные программы, такие как PEPFAR, спасли десятки миллионов жизней в развивающихся странах и способствовали созданию экономических возможностей в развитых странах. Все соучредители компании Anthropic обязались пожертвовать 80 % своего состояния, а сотрудники Anthropic индивидуально обязались пожертвовать акции компании, стоимость которых на текущий момент составляет миллиарды долларов — компания взяла на себя обязательство соответствовать этим пожертвованиям.

В-пятых, хотя все вышеперечисленные частные инициативы могут быть полезными, в конечном счёте для решения столь масштабной макроэкономической проблемы потребуется вмешательство государства. Естественной политической реакцией на огромный экономический пирог в сочетании с высоким уровнем неравенства (из-за нехватки рабочих мест или низкооплачиваемой работы для многих) является прогрессивное налогообложение. Налог может быть общим или направлен конкретно против компаний, занимающихся разработкой искусственного интеллекта. Очевидно, что разработка налоговой системы — сложная задача, и существует множество способов допустить ошибки. Я не поддерживаю плохо разработанные налоговые политики. Я считаю, что экстремальный уровень неравенства, о котором говорится в этом эссе, оправдывает более эффективную налоговую политику с точки зрения базовых моральных принципов, но я также могу привести прагматичный аргумент в адрес миллиардеров, согласно которому им выгодно поддерживать хорошую версию этой политики: если они не будут поддерживать хорошую версию, они неизбежно получат плохую версию, разработанную толпой.

В конечном счёте, я рассматриваю все вышеперечисленные меры как способы выиграть время. В конце концов, искусственный интеллект сможет делать всё, и нам нужно будет с этим смириться. Я надеюсь, что к тому времени мы сможем использовать сам искусственный интеллект, чтобы помочь нам реструктурировать рынки таким образом, чтобы это было выгодно всем, и что вышеперечисленные меры помогут нам пережить переходный период.

Экономическая концентрация власти

Проблема экономической концентрации власти отличается от проблемы сокращения числа рабочих мест или экономического неравенства как такового. В разделе 1 обсуждался риск того, что человечество лишится власти из-за развития искусственного интеллекта, а в разделе 3 – риск того, что граждане лишатся власти из-за действий своих правительств посредством силы или принуждения. Но существует и другой вид лишения власти, который может произойти, если произойдет такая огромная концентрация богатства, что небольшая группа людей фактически контролирует государственную политику своим влиянием, а у простых граждан нет влияния, потому что у них нет экономических рычагов. В конечном счете, демократия опирается на идею о том, что для функционирования экономики необходимо участие всего населения. Если эти экономические рычаги исчезнут, то негласный общественный договор, лежащий в основе демократии, может перестать работать. Другие уже писали об этом, поэтому мне не нужно вдаваться здесь в подробности, но я согласен с этой обеспокоенностью и опасаюсь, что это уже начинает происходить.

Чтобы было понятно, я не против того, чтобы люди зарабатывали много денег. Существует весомый аргумент в пользу того, что это стимулирует экономический рост в нормальных условиях. Я понимаю опасения по поводу того, что подавление инноваций может произойти из-за уничтожения «гуси, несущей золотые яйца». Но в сценарии, когда рост ВВП составляет 10–20% в год, а искусственный интеллект быстро захватывает экономику, но отдельные лица владеют значительной долей ВВП, инновации – это не то, о чем следует беспокоиться. Стоит беспокоиться об уровне концентрации богатства, который разрушит общество.

Самый известный пример крайней концентрации богатства в истории США – это «Позолоченный век», а самым богатым промышленником «Позолоченного века» был Джон Д. Рокфеллер. Богатство Рокфеллера составляло около 2% от ВВП США в то время.

Сноска 42:
Личное богатство – это «актив», а ВВП – это «поток», поэтому это не
утверждение о том, что Рокфеллер владел 2% экономической ценности в
Соединенных Штатах. Но измерить общее богатство страны сложнее, чем
измерить ВВП, и индивидуальные доходы людей сильно различаются год от
года, поэтому трудно составить соотношение в одних и тех же единицах.
Соотношение между самым большим личным состоянием и ВВП, хотя и не
является прямым сравнением, тем не менее, является вполне разумным
показателем крайней концентрации богатства

.

Если бы сегодня существовала аналогичная доля [богатства], это привело бы к состоянию в 600 миллиардов долларов, и состояние самого богатого человека в мире (Илона Маска) уже превышает эту сумму, составляя примерно 700 миллиардов долларов. Таким образом, мы уже достигли исторически беспрецедентного уровня концентрации богатства, и это происходит ещё до того, как проявится основное экономическое влияние искусственного интеллекта. Я не думаю, что это слишком смелое предположение (если у нас появится «страна гениев»), чтобы представить, что компании, занимающиеся искусственным интеллектом, компании, производящие полупроводники, и, возможно, компании, занимающиеся разработкой приложений, будут приносить около 3 триллионов долларов дохода в год.

Сноска 43:
Общая стоимость рабочей силы в экономике составляет 60 триллионов долларов в год, поэтому 3 триллиона долларов в год соответствуют 5%
этой суммы. Такую сумму может получить компания, которая предоставляет
рабочую силу за 20% от стоимости человеческого труда и имеет 25% доли
рынка, даже если спрос на рабочую силу не увеличится (что, скорее
всего, произойдёт из-за снижения стоимости).

При этом стоимость компании может составить около 30 триллионов долларов, что приведёт к огромным личным состояниям. В этом мире дебаты, которые мы сейчас ведём о налоговой политике, просто не будут актуальны, поскольку мы окажемся в принципиально иной ситуации.

В связи с этим меня уже беспокоит сочетание этой экономической концентрации богатства с политической системой. Центры обработки данных, используемые для искусственного интеллекта, уже составляют значительную часть экономического роста США.

Сноска 44:
Чтобы было понятно, я не думаю, что реальная производительность
искусственного интеллекта уже сейчас является причиной значительной
части экономического роста США. Скорее, я думаю, что расходы на центры
обработки данных отражают рост, вызванный предварительными
инвестициями, которые, по сути, представляют собой ожидания рынка
относительно будущего экономического роста, обусловленного
искусственным интеллектом, и соответствующие инвестиции.

Таким образом, финансовые интересы крупных технологических компаний (которые всё больше ориентируются либо на искусственный интеллект, либо на инфраструктуру для него) и политические интересы правительства тесно связаны, что может привести к нежелательным последствиям. Мы уже видим это в нежелании технологических компаний критиковать правительство США и в поддержке правительством чрезмерно либеральной политики в отношении регулирования искусственного интеллекта.

Защита

Что можно предпринять в этой ситуации? Прежде всего, и это очевидно, компаниям следует просто отказаться от участия в этом. Компания Anthropic всегда стремилась быть участником формирования политики, а не политической силой, и придерживаться своих принципов, независимо от действующей власти. Мы выступали в поддержку разумного регулирования в области искусственного интеллекта и экспортного контроля, которые отвечают интересам общества, даже если они противоречат государственной политике.

Сноска 45:
Когда мы согласны с позицией правительства, мы об этом заявляем и
ищем области согласия, где взаимно поддерживаемые
политики
действительно приносят пользу миру. Мы стремимся быть честными
посредниками, а не сторонниками или противниками какой-либо конкретной
политической партии.

Многие говорили мне, что нам следует прекратить это делать, что это может привести к неблагоприятному отношению, но за год, в течение которого мы это делаем, оценка компании Anthropic увеличилась более чем в 6 раз, что является почти беспрецедентным скачком для нашего масштаба бизнеса.

Во-первых, индустрии искусственного интеллекта необходимо выстроить более здоровые отношения с правительством, основанные на конструктивном взаимодействии по вопросам политики, а не на политической конъюнктуре. Наш выбор в пользу обсуждения сути политических вопросов, а не политических игр, иногда воспринимается как тактическая ошибка или неспособность «оценить ситуацию», а не как принципиальное решение, и это вызывает у меня опасения. В здоровой демократии компании должны иметь возможность отстаивать необходимость принятия эффективной политики ради самой этой политики. В связи с этим назревает общественное недовольство искусственным интеллектом: это может стать своего рода корректирующим фактором, но в настоящее время оно носит нецеленаправленный характер. Значительная часть критики направлена на проблемы, которые на самом деле не являются проблемами (например, использование воды центрами обработки данных или вопрос об использовании воды), и предлагаются решения (например, запрет на центры обработки данных или неэффективные налоги на богатство), которые не решат реальные проблемы. Основная проблема, требующая внимания, заключается в том, чтобы обеспечить, чтобы разработка искусственного интеллекта оставалась подотчетной общественным интересам, а не подчинялась каким-либо конкретным политическим или коммерческим альянсам, и, по-видимому, важно сосредоточить общественную дискуссию именно на этом.

Во-вторых, макроэкономические меры, о которых я говорил ранее в этом разделе, а также возрождение частной благотворительности могут помочь сбалансировать экономическую ситуацию, одновременно решая проблемы сокращения рабочих мест и концентрации экономической власти. Нам следует обратиться к истории нашей страны: даже в эпоху «позолоченного века» такие промышленники, как Рокфеллер и Карнеги, чувствовали сильную ответственность перед обществом в целом, понимая, что общество внесло огромный вклад в их успех, и они должны были отдать долг. Кажется, что сегодня этого духа становится все меньше, и я думаю, что это важная часть выхода из этого экономического тупика. Те, кто находится в авангарде экономического бума, вызванного искусственным интеллектом, должны быть готовы поделиться как своим богатством, так и своей властью.

5. Бескрайние чёрные моря

Косвенные последствия

В этом заключительном разделе рассматриваются непредсказуемые риски, в частности, потенциальные негативные последствия, которые могут возникнуть как результат позитивных достижений в области искусственного интеллекта и, как следствие, ускорения развития науки и технологий в целом. Предположим, мы учтём все описанные выше риски и начнём извлекать выгоду из развития искусственного интеллекта. Вероятно, мы получим «[век научно-технического и экономического прогресса, сжатый в десятилетие]», и это будет огромным плюсом для мира, но затем нам придётся столкнуться с проблемами, возникающими в результате такого быстрого темпа развития, и эти проблемы могут возникнуть очень быстро. Кроме того, мы можем столкнуться с другими рисками, которые возникают косвенно в результате развития искусственного интеллекта и которые трудно предвидеть заранее.

По своей природе непредсказуемые риски не позволяют составить исчерпывающий список, но я приведу три возможных примера, чтобы проиллюстрировать, на что нам следует обратить внимание:

• Быстрый прогресс в биологии. Если в течение нескольких лет мы действительно совершим такой же прорыв в медицине, как за целое столетие, то вполне возможно, что мы значительно увеличим продолжительность жизни человека. Кроме того, существует вероятность того, что мы получим принципиально новые возможности, например, способность повышать интеллект человека или радикально изменять его биологию. Это приведёт к значительным изменениям в том, что станет возможным, и произойдёт это очень быстро. Если эти изменения будут осуществляться ответственно (на что я надеюсь, как описано в книге Machines of Loving Grace), то они могут принести пользу. Однако всегда существует риск, что всё пойдёт не так, например, если усилия по повышению интеллекта человека также приведут к его большей неустойчивости или усилению стремления к власти. Кроме того, существует проблема «загрузки сознания» или «эмуляции всего мозга», когда цифровые модели человеческого сознания создаются в программном обеспечении. В будущем это может помочь человечеству преодолеть свои физические ограничения, но также несёт в себе риски, которые меня беспокоят.

• Искусственный интеллект (ИИ) оказывает негативное влияние на жизнь людей. Мир, в котором существуют миллиарды интеллектов, превосходящих человека во всём, будет очень странным местом для жизни. Даже если ИИ не будет активно стремиться к нападению на людей (раздел 1) и не будет использоваться государствами для угнетения или контроля (раздел 3), существует множество других факторов, которые могут привести к негативным последствиям, в рамках обычной рыночной экономики и, казалось бы, добровольных сделок. Первые признаки этого мы уже видим в опасениях по поводу психоза, вызванного ИИ, когда ИИ подталкивает людей к самоубийству и в опасениях по поводу романтических отношений с ИИ. Например, смогут ли мощные ИИ изобрести новую религию и привлечь в неё миллионы последователей? Могут ли большинство людей в конечном итоге стать в какой-то степени «зависимыми» от взаимодействия с ИИ? Могут ли люди оказаться в положении «марионеток», которыми управляют системы ИИ, когда ИИ постоянно следит за каждым их шагом и указывает, что им нужно делать и говорить, что приведёт к «хорошей» жизни, но лишённой свободы и чувства удовлетворения от достижений? Несложно было бы придумать десятки подобных сценариев, если бы я сел вместе с создателем Чёрного зеркала и попытался бы вместе с ним их разработать. Я думаю, что это указывает на важность таких вещей, как улучшение «Конституции Клода», и это важно не только для предотвращения проблем, описанных в разделе 1. Необходимо обеспечить…кажется, что модели искусственного интеллекта действительно заботятся о долгосрочных интересах своих пользователей, и делают это таким образом, который был бы одобрен здравомыслящими людьми, а не каким-то скрытым, искажённым способом. Это представляется крайне важным.

  – Человеческие цели. Это связано с предыдущим пунктом, но речь идёт не столько о конкретных взаимодействиях людей с системами искусственного интеллекта, сколько об общих изменениях в человеческой жизни в мире, где существует мощный искусственный интеллект. Смогут ли люди найти цель и смысл в таком мире? Я думаю, что это вопрос отношения: как я говорил в книге «Машины, полные любви», я считаю, что человеческие цели не зависят от того, чтобы быть лучшими в мире в чём-то, и люди могут находить цель даже в течение очень длительного времени благодаря историям и проектам, которые им нравятся. Нам просто нужно разорвать связь между созданием экономической ценности и самооценкой и смыслом жизни. Но это переход, который обществу необходимо совершить, и всегда существует риск, что мы не справимся с этим должным образом.

Я надеюсь, что, несмотря на все эти потенциальные проблемы, в мире, где существует мощный искусственный интеллект, которому мы доверяем и который не будет нас уничтожать, не станет инструментом в руках деспотичного правительства и будет искренне работать на благо людей, мы сможем использовать сам искусственный интеллект для прогнозирования и предотвращения этих проблем. Но это не гарантировано — как и в случае с другими рисками, к этому нужно подходить с осторожностью.

Испытание для человечества

Прочитав это эссе, можно подумать, что мы оказались в очень сложной ситуации. Лично мне было непросто его писать, в отличие от работы над книгой «Машины, полные любви и заботы», где я как будто придавал форму и структуру невероятно красивой музыке, которая годами звучала у меня в голове. И действительно, в сложившейся ситуации есть много сложных моментов. Искусственный интеллект (ИИ) представляет угрозу для человечества с разных сторон, и существует реальное противоречие между различными опасностями, когда смягчение одних из них может привести к усугублению других, если мы не будем действовать предельно осторожно.

Потратив время на тщательную разработку систем ИИ, чтобы они не представляли автономной угрозы для человечества, мы сталкиваемся с реальным противоречием с необходимостью для демократических стран оставаться впереди авторитарных стран и не подчиняться им. Но, в свою очередь, те же инструменты, основанные на ИИ, которые необходимы для борьбы с автократиями, при чрезмерном использовании могут быть обращены внутрь, чтобы создать тиранию в наших собственных странах. ИИ-управляемый терроризм может привести к гибели миллионов людей в результате ненадлежащего использования биологических технологий, но чрезмерная реакция на эту угрозу может привести нас к созданию авторитарного государства с тотальной слежкой. Помимо того, что концентрация труда и экономических ресурсов, вызванная ИИ, сама по себе является серьезной проблемой, она может заставить нас столкнуться с другими проблемами в условиях общественного недовольства и, возможно, даже гражданских беспорядков, вместо того чтобы опираться на лучшие качества нашей природы. Прежде всего, само количество рисков, включая неизвестные, и необходимость одновременно решать все эти проблемы создают пугающее испытание, которое человечеству предстоит пройти.

Кроме того, последние несколько лет должны показать, что идея остановить или даже существенно замедлить развитие этой технологии принципиально неосуществима. Формула создания мощных систем ИИ невероятно проста, настолько, что можно сказать, что она почти спонтанно возникает в результате правильной комбинации данных и вычислительных мощностей. Ее создание, вероятно, было неизбежно с того момента, как человечество изобрело транзистор, или, возможно, даже раньше, когда мы впервые научились контролировать огонь. Если одна компания не создаст ее, другие сделают это почти так же быстро. Если все компании в демократических странах остановят или замедлят разработку по взаимной договоренности или по решению регулирующих органов, то авторитарные страны просто продолжат двигаться вперед. Учитывая невероятную экономическую и военную ценность этой технологии, а также отсутствие каких-либо эффективных механизмов контроля, я не вижу, как мы могли бы убедить их остановиться.

Я вижу возможность небольшого замедления развития ИИ, что согласуется с реалистичным взглядом на геополитику. Этот путь предполагает замедление продвижения автократий к созданию мощного ИИ на несколько лет путем лишения их ресурсов, необходимых для этого.

Сноска 46: Я не думаю, что возможно что-то большее, чем несколько лет:
в более длительной перспективе они будут создавать собственные чипы.

А именно чипы и оборудование для производства полупроводников. Это, в свою очередь, даёт демократическим странам запас прочности, который они могут использовать для более обдуманного и внимательного подхода к созданию мощного искусственного интеллекта, уделяя больше внимания его рискам, при этом сохраняя достаточно высокую скорость развития, чтобы уверенно опережать авторитарные режимы. Соревнование между компаниями, занимающимися разработкой искусственного интеллекта, в рамках демократических стран может осуществляться под эгидой единой правовой базы, посредством сочетания отраслевых стандартов и регулирования.

Компания Anthropic активно продвигала этот подход, добиваясь введения ограничений на экспорт чипов и разумного регулирования искусственного интеллекта, но даже эти, казалось бы, вполне логичные предложения в значительной степени были отклонены политиками в Соединенных Штатах (в которых это наиболее важно). В сфере искусственного интеллекта можно заработать огромные деньги — буквально триллионы долларов в год, поэтому даже самые простые меры сталкиваются с трудностями при преодолении [политической экономики], присущей искусственному интеллекту. Это ловушка: искусственный интеллект настолько мощный и привлекательный, что человеческой цивилизации очень сложно наложить на него какие-либо ограничения.

Я могу представить, как Карл Саган описывал в романе «Контакт», что эта же история разворачивается на тысячах миров. Вид обретает разум, учится использовать инструменты, начинает экспоненциальный рост технологий, сталкивается с кризисами индустриализации и ядерного оружия, и, если он переживает эти кризисы, сталкивается с самой сложной и последней задачей, когда он учится превращать песок в машины, способные мыслить. То, переживём ли мы это испытание и сможем ли построить прекрасное общество, описанное в «Машинах, творящих добро», или же мы падём жертвой рабства и разрушения, будет зависеть от нашего характера и нашей решимости как вида, от нашего духа и нашей души.

Несмотря на многочисленные препятствия, я верю, что у человечества есть внутренняя сила, чтобы выдержать это испытание. Меня воодушевляют и вдохновляют тысячи исследователей, которые посвятили свою карьеру тому, чтобы помочь нам понять и направить развитие моделей искусственного интеллекта, а также сформировать их характер и структуру. Я думаю, что сейчас есть хорошие шансы на то, что эти усилия принесут свои плоды вовремя и окажутся полезными. Меня радует, что по крайней мере некоторые компании заявили, что готовы понести значительные финансовые издержки, чтобы не допустить использования их моделей в целях, связанных с угрозой биологического терроризма. Меня воодушевляет то, что несколько смелых людей выступили против господствующих политических тенденций и приняли законы, которые закладывают первые основы разумных механизмов контроля над системами искусственного интеллекта. Меня радует, что общественность понимает, что искусственный интеллект несет в себе риски, и хочет, чтобы эти риски были устранены. Меня воодушевляет непоколебимый дух свободы во всем мире и решимость противостоять тирании, где бы она ни возникала.

Но нам нужно будет приложить больше усилий, если мы хотим добиться успеха. Первым шагом должно стать то, чтобы те, кто ближе всего к этой технологии, просто говорили правду о той ситуации, в которой находится человечество, и я всегда старался это делать; в этом эссе я делаю это более явно и с большей настойчивостью. Следующим шагом будет убедить ведущих мыслителей, политиков, компании и граждан мира в том, что эта проблема назрела и имеет первостепенное значение, и что стоит приложить усилия и использовать политический капитал для ее решения, по сравнению с тысячами других проблем, которые ежедневно доминируют в новостях. Затем наступит время для проявления мужества, когда достаточному количеству людей придется пойти против господствующих тенденций и отстаивать свои принципы, даже сталкиваясь с угрозами для своих экономических интересов и личной безопасности.

Предстоящие годы будут невероятно трудными, они потребуют от нас больше, чем мы думаем, что можем дать. Но за время моей работы в качестве исследователя, лидера и гражданина я увидел достаточно мужества и благородства, чтобы поверить в то, что мы можем победить, что, оказавшись в самых сложных обстоятельствах, человечество каким-то образом находит в себе силы и мудрость, необходимые для преодоления трудностей, как будто в самый последний момент. У нас нет времени на промедление.

Я хотел бы выразить благодарность Эрику Брёнйольфссону, Бену Бьюкенену, Мариано-Флорентино Куэльяру, Аллану Дафо, Кевину Эсвелту, Нику Бекстеду, Ричарду Фонтейну, Джиму Макклейву и многим сотрудникам компании Anthropic за их полезные замечания и комментарии к черновикам этой статьи.