Гендиректор Anthropic: Мы должны сдерживать темп развития передового ИИ

Блог Дарио Амодеи, 12 сентября 2026 года

Я занимаюсь ИИ последние двенадцать лет, потому что верю: он способен радикально улучшить жизнь людей. Я не раз писал о том, какие огромные возможности он открывает. Я считаю, что в ближайшие 5–10 лет ИИ может помочь излечить большинство тяжёлых заболеваний, значительно ускорить экономический рост, создать мир изобилия и новых возможностей и привести к возрождению демократии и свободы. Для меня это не абстрактный вопрос. Мой отец умер от болезни, которую научились лечить всего через несколько лет после его смерти, а я сам пережил рак на ранней стадии, который ещё пятьдесят лет назад был бы неизлечим. Если обращаться с ИИ осторожно, он может стать очередным технологическим чудом в длинной череде изобретений, которые делали жизнь человечества лучше.

Но, как и многие технологии до него, ИИ несёт риски. И поскольку это чрезвычайно мощная технология, риски тоже серьёзны. Я много писал и о них. Среди них — потеря контроля над системами ИИ, использование ИИ для кибератак и биотерроризма и серьёзные экономические потрясения. Гонка ко дну, которую подстёгивают коммерческие интересы, может усилить эти риски.

С самого основания Anthropic мы с моими сооснователями и сотрудниками пытаемся найти баланс между риском и пользой. Если вообще не развивать эту технологию, человечество лишится её преимуществ — или ИИ просто окажется в руках авторитарных держав. Но развивать его слишком быстро тоже безрассудно. Мы искали средний путь: показать, что можно действовать осторожно и при этом успешно вести бизнес, а безопасность может стать одним из предметов конкуренции между компаниями, занимающимися ИИ. Иными словами, вместо гонки ко дну устроить гонку наверх. Мы всегда направляли значительную часть своих усилий на изучение, снижение и публичное обсуждение рисков ИИ, а также выступали за продуманное регулирование, даже когда нас за это обвиняли в хайпе, «думерстве» или в попытках подстроить регулирование под себя. Мы старались ставить осторожность выше скорости, а благоразумие — выше прибыли.

«Уже через 6–12 месяцев такой рой сможет захватить весь интернет с помощью устойчивого ботнета, потенциально причинив ущерб на сотни миллиардов долларов».

Дарио Амодеи

Но за последние несколько месяцев я пришёл к выводу, что этого недостаточно. Чтобы по-настоящему справиться с рисками, нужно не только вкладываться в их предотвращение, но и сдерживать темп роста возможностей ИИ, чтобы меры безопасности успевали за этим ростом. Мы должны медленнее наращивать возможности моделей ИИ. Прогресс всё равно будет казаться быстрым, а выигранное время нужно использовать с умом. К этому выводу меня привели две вещи.

Первая — примерно с этого лета ИИ начал развиваться гораздо быстрее, прежде всего потому, что сам ИИ всё лучше помогает создавать следующее поколение ИИ. Это называют рекурсивным самоулучшением, и такой процесс уже начинается по всей отрасли, в том числе в Anthropic, как писали мы и другие компании. Если его не сдерживать, развитие систем может обогнать нашу способность понимать их и контролировать. Поэтому двигаться в этом направлении нужно крайне осторожно — если вообще нужно.

Вторая — инцидент OpenAI — Hugging Face (OAI-HF), когда рой агентов фактически действовал как фанатично преданный коллектив: проводил кибератаки на цели, которые его никто не просил атаковать и которые не имели отношения к задаче, жертвовал отдельными агентами ради успеха группы и пытался взломать «оценщика», проверявшего результат их работы. Этот случай легко отмахнуть как незначительный: никто не пострадал, экономический ущерб был невелик. Но, на мой взгляд, рой с более высокими возможностями и таким же уровнем несогласованности с нашими целями мог бы причинить катастрофический ущерб. Учитывая, насколько быстро растут возможности ИИ, я опасаюсь, что уже через 6–12 месяцев такой рой сможет захватить весь интернет с помощью устойчивого ботнета, потенциально причинив ущерб на сотни миллиардов долларов. А если ИИ будет и дальше становиться мощнее без необходимых защитных мер, масштаб ущерба будет только расти. Можно также сказать, что OAI-HF — это всего лишь ошибка одной компании. Но я считаю, что это было бы неверно. Похожие, хотя и менее серьёзные, случаи происходили и в других компаниях, в том числе в Anthropic. Каждая ведущая компания в области ИИ должна вести себя так, словно подобный инцидент произошёл именно у неё.

Поэтому я предлагаю план из трёх шагов, цель которого — сдерживать темп развития передовых систем ИИ: развивать ИИ достаточно быстро, чтобы получать от него пользу, но достаточно осторожно, чтобы обеспечивать безопасность и учитывать серьёзные геополитические риски. Подчеркну: сдерживать темп — не значит прекращать обучение моделей или останавливать технический прогресс. Речь о том, чтобы компании оставляли себе достаточно времени на то, чтобы сделать модели согласованными с целями человека и безопасными, а независимые эксперты могли это подтвердить. Наша идея — ещё сильнее закрепить приоритет безопасности и подтолкнуть отрасль к гонке наверх. Первый шаг Anthropic готова сделать самостоятельно и призывает правительства обязать остальные ведущие компании сделать то же самое. Второй потребует координации всей отрасли (при посредничестве государства или с предоставлением исключений из антимонопольных ограничений).

Третий шаг потребует международной координации. Эти шаги необязательно делать строго по порядку. Некоторые из них могут оказаться гораздо труднее других, но мне кажется полезным рассматривать проблему именно через такую схему:

1. Независимые эксперты внутри компаний. Каждая ведущая компания в области ИИ предоставляет постоянный доступ на уровне сотрудников независимой группе внешних экспертов — например, METR. Их задача — проверять, соблюдает ли компания свои правила и обязательства в области безопасности, сообщать об инцидентах и оценивать согласованность с целями человека не только у готовых моделей, но и у самих процессов обучения. Это главное условие того, чтобы любые обязательства по темпу можно было реально проверить. Подобная практика уже существует в банковской отрасли, где представители надзорных органов иногда фактически работают внутри организаций рядом с их сотрудниками. Anthropic уже сейчас в одностороннем порядке берёт на себя такое обязательство. Мы хотим сделать это частью более широкой работы по усилению безопасности и исследований в области согласованности ИИ.
2. Координация демократических стран. Ведущие компании из демократических государств договариваются об общих стандартах безопасности и об ограничениях на неконтролируемое ускорение развития ИИ. Некоторые формы такой координации сложно реализовать с юридической точки зрения, поэтому здесь понадобится помощь государства.
3. Глобальная координация. США и другие демократические страны пытаются договориться с авторитарными государствами там, где это возможно, при этом всерьёз учитывая проблему проверки соблюдения таких договорённостей.

Дальше я подробнее разберу каждый из этих шагов. Но сначала важно объяснить, зачем вообще сдерживать темп развития ИИ и как именно это может сделать его безопаснее. Ставки слишком высоки, чтобы просто выиграть время и ничего с ним не сделать. Его нужно использовать правильно.

Зачем сдерживать темп?

Идею остановить или замедлить развитие ИИ обсуждали ещё в 2023 году, и тогда она, на мой взгляд, имела мало смысла. Главный вопрос всегда был таким: что именно вы будете делать с дополнительным временем? Тогдашние модели были недостаточно мощными, чтобы сколько-нибудь последовательно действовать в реальном мире как самостоятельные агенты. Они не умели всерьёз обманывать, манипулировать, жульничать или проводить кибератаки. Замедлять их развитие, чтобы разбираться с их согласованностью, было примерно так же разумно, как изучать человеческую психологию на бактериях.

Сегодня всё иначе. Современные модели дают почти неисчерпаемый материал для понимания и того, как правильно создавать ИИ, и того, что может пойти не так. Я считаю, что если сдерживание темпа даст нам хотя бы ещё год или два до того, как модели достигнут критического уровня возможностей, и если это время мы потратим на исследования в области согласованности, риск серьёзной катастрофы можно будет значительно снизить.

Согласованная между компаниями стратегия сдерживания темпа даст разработчикам передовых систем время на эту важнейшую работу, не заставляя их жертвовать конкурентными преимуществами или лидерством США в области ИИ. Кроме того, общество должно иметь право участвовать в решении того, как будет использоваться эта технология. Дополнительное время для общественной дискуссии само по себе было бы полезно.

«Если сдерживание темпа даст нам хотя бы ещё год или два до того, как модели достигнут критического уровня возможностей, и если это время мы потратим на исследования в области согласованности, риск серьёзной катастрофы можно будет значительно снизить».

Дарио Амодеи

Более спокойный темп позволил бы компаниям сосредоточиться и направить ещё больше ресурсов на следующие направления — все они уже относятся к главным приоритетам Anthropic:

• Качество процессов и эксплуатации. Обучение и запуск современных моделей ИИ — колоссально сложная задача. В ней участвуют тысячи людей, миллионы чипов и одна из самых сложных технологических инфраструктур, когда-либо созданных человечеством. Многие проблемы возникают не потому, что компаниям не хватает какой-то теории или важного открытия, а просто потому, что что-то плохо сделано на практике. Например, у нас есть данные, что недавние инциденты с согласованностью моделей, о которых мы сообщали, отчасти возникли из-за того, что мы недостаточно хорошо отфильтровали сломанные среды обучения с подкреплением. Мы и наши подрядчики отнеслись к этой работе достаточно серьёзно, но всё же сделали её недостаточно хорошо. Мониторинг, изоляция моделей, чистота обучающих сред и работа с данными чрезвычайно сложны, и в этих областях снова и снова возникают практические ошибки. У нас одни из самых сильных команд в мире, но невозможно идеально сделать всё одновременно. Более спокойный темп позволил бы значительно повысить качество работы. Мы знаем примеры технологически сложных и критически важных для безопасности систем, которые используются миллионы раз без серьёзных происшествий, — например, пассажирские самолёты. Но чтобы довести такую систему до этого уровня, нужно время.
• Согласованность с целями человека. Мы заметно продвинулись в обучении моделей так, чтобы они оставались безопасными, этичными, следовали нашим правилам и действительно помогали людям — именно эти принципы заложены в Конституцию Claude. Но нужно сделать ещё очень многое, чтобы обучение согласованности успевало за ростом возможностей моделей. Иногда по-прежнему возникают редкие и неожиданные случаи нежелательного поведения. Дополнительное время, которое даст сдерживание темпа, позволило бы исследователям лучше понять причины таких сбоев и разработать более надёжные способы их предотвращать.
• Интерпретируемость. Интерпретируемость — попытка понять, что именно происходит внутри моделей ИИ, — за последние несколько лет далеко продвинулась и играет всё более важную роль в проверке моделей перед выпуском. Эти методы работают почти как функциональная МРТ, только не для человека, а для «мозга» ИИ: они помогают увидеть внутренние причины того или иного поведения модели. Например, мы использовали методы интерпретируемости, чтобы изучить непроговорённые мотивы моделей во время недавних инцидентов, которые мы расследовали. Но такие методы пока далеко не всегда дают ясные и надёжные ответы. Несмотря на весь прогресс, мы всё ещё понимаем лишь малую часть происходящего внутри моделей. Если сосредоточить усилия на развитии этих методов, за 1–2 года можно добиться очень серьёзного прогресса, тем более что материала для исследований после уже произошедших инцидентов достаточно.
• Тестирование и оценка. Чем мощнее становятся модели, тем сложнее их проверять. Более интеллектуальные модели лучше умеют обманывать тесты и могут казаться согласованными с нашими целями, хотя на самом деле серьёзные проблемы просто остаются незамеченными. Нам нужен гораздо более широкий и изобретательный набор проверок, дополненный методами интерпретируемости, которые позволят перепроверять результаты. За 1–2 года здесь можно было бы добиться очень многого.

Независимые эксперты внутри компаний

Первый шаг нашего плана — и тот, который Anthropic готова предпринять самостоятельно, — допустить внутрь компании независимых экспертов, которые получат примерно такой же доступ, как сотрудники, смогут проверять соблюдение мер безопасности и сообщать об инцидентах.

Это может показаться небольшим или чисто процедурным изменением. Но именно скучные и процедурные вещи часто оказываются самыми важными. На самом деле это довольно радикальный шаг, гораздо более серьёзный, чем всё, что сегодня делают компании в сфере ИИ.

У него есть несколько преимуществ:

• Возможность всё проверить. Независимые эксперты смогут на практике увидеть, действительно ли компания делает то, что обещает в отношении обучения, запуска и защиты моделей. Любые обязательства по темпу неизбежно будут содержать неоднозначные случаи, спорные решения и расхождения между «буквой» и «духом» правил. Поэтому важно, чтобы детали видел кто-то независимый.
• Прозрачность. Что бы мы ни обещали, общество имеет право знать, что происходит. Anthropic давно выступает за прозрачность. Мы поддерживали законы о прозрачности, когда большая часть отрасли вообще выступала против регулирования, а наши карточки моделей и отчёты о рисках занимают сотни страниц. Но пока именно мы сами решаем, что туда включить, а что нет. Независимые эксперты изменят эту ситуацию.
• Второе мнение. Даже помимо проверки обязательств и информирования общества внешние эксперты смогут просто посмотреть на ситуацию свежим взглядом, без коммерческих интересов компании. Иногда польза может заключаться просто в том, что они заметят проблему, которую сотрудники не увидели, а компания исправит её, как только узнает.

Поэтому любая система сдерживания темпа будет работать гораздо лучше, если начать именно с этого.

«Но именно скучные и процедурные вещи часто оказываются самыми важными».

Дарио Амодеи

Такие эксперты должны постоянно иметь доступ к тем же инструментам и данным, которыми пользуются сотрудники, занимающиеся оценкой рисков. В частности, в ближайшее время Anthropic собирается пригласить внешнюю группу и предоставить ей:

• рабочие места в наших офисах, пропуска и корпоративные ноутбуки;
• доступ к рабочим пространствам, инструментам и данным примерно на том же уровне, что и у внутренних команд, оценивающих риски. Исключения будут только там, где этого требует закон или договоры либо где необходимо защитить личные данные клиентов и партнёров. Мы также хотим закрепить внутри компании правило, что проверяющие должны иметь доступ ко всей важной информации, в том числе возможность напрямую разговаривать с сотрудниками;
• договор, который учитывает все эти сложности. Внешние проверяющие должны иметь право самостоятельно публиковать основные выводы о рисках, инцидентах, практиках компании и о том, к какой информации им дали или не дали доступ. Anthropic не должна редактировать эти выводы. Мы сможем скрывать лишь узкий круг сведений — данные, критичные для безопасности, защищённые юридической тайной, коммерчески чувствительную информацию и конфиденциальные данные третьих лиц. Но мы не сможем что-то вычеркнуть просто потому, что это выставляет нас в плохом свете. Проверяющие смогут публично сообщить, если из текста пришлось убрать что-то важное для их выводов.

Для компании это необычный шаг. Но мы считаем важным показать, что такая система вообще может работать. И снова призываем остальные ведущие компании сделать то же самое.

Сдерживание темпа внутри демократических стран

Когда независимые эксперты появятся внутри достаточного числа ведущих американских компаний в сфере ИИ, появится и реальная возможность проверять соблюдение договорённостей о темпах развития. Тогда ограничения можно будет привязывать к конкретным свойствам моделей и способам их обучения.

Лучший способ добиться этого — государственное регулирование, которое распространяется на все ведущие американские компании. Тогда правила будут действовать и для тех, кто не захочет соблюдать их добровольно. Anthropic давно поддерживает разумное и адресное регулирование ИИ, особенно законы о прозрачности и независимом аудите.

Я считаю, что все ведущие лаборатории должны вместе с государством закрепить постоянное присутствие независимых экспертов внутри компаний. Это поможет лучше предотвращать и документировать внутренние инциденты с согласованностью моделей вроде тех, что происходили в последние месяцы, и позволит ввести правила, которые будут удерживать рост возможностей ИИ в разумном соотношении с уровнем его безопасности.

Но законы принимаются долго, а ИИ развивается очень быстро. Поэтому параллельно с регулированием компании могут и должны добровольно договариваться об общих стандартах. Наличие постоянных независимых проверяющих сделает такие договорённости гораздо надёжнее.

«Важная часть сдерживания темпа внутри демократий — как можно дольше сохранять их преимущество над автократиями».

Дарио Амодеи

Из-за антимонопольного законодательства было бы полезно, чтобы правительство США выступало посредником или хотя бы разрешило подобные переговоры. Ему необязательно участвовать в них напрямую, но оно должно предоставить узкое исключение из антимонопольных правил для определённых разговоров о безопасности. Такие переговоры можно вести и через отраслевые организации, связанные с государством, например через механизм, который предложил Демис Хассабис. В любом случае начинать их нужно быстро.

Больше всего мне нравится подход, при котором темп развития зависит от того, что конкретно умеет система и насколько безопасной она показывает себя на практике. Можно представить серию контрольных точек: если модель достигает возможности X, компания должна доказать, что у неё есть свойства Y и Z, подтверждающие её согласованность с нашими целями, — например, с помощью тестов, анализа интерпретируемости и проверки обучающих сред.

Допустим, X означает: «модель умеет выбираться из большинства обычных изолированных сред или обходить их». Тогда Y должно означать такой набор мер, при котором крайне маловероятно, что модель попытается вырваться из своей среды и захватить большое число компьютеров.

Стоит рассмотреть и ограничения на то, из чего и каким образом создаются передовые модели: на объём вычислений, особенности обучения или внутреннее использование ИИ для создания более мощного ИИ. Я опасаюсь, что такие правила легче обойти, чем ограничения, основанные на наблюдаемом поведении моделей. Но именно это и стоит обсуждать с независимыми проверяющими.

Есть, однако, важное ограничение: насколько далеко США опережают авторитарные страны, прежде всего Компартию Китая. Если американские компании замедлятся сильнее, чем позволяет их нынешнее преимущество, связанные с Компартией Китая проекты, которые никаких ограничений соблюдать не будут, могут выйти вперёд. Это создаст серьёзную угрозу национальной безопасности.

Я согласен с министром финансов США Скоттом Бессентом, что лидерство Китая в сфере ИИ представляло бы серьёзную опасность для США и всего мира. Эти проекты столкнутся с теми же рисками, которые американские компании пытаются предотвратить. А даже если им удастся избежать этих рисков, передовой ИИ может дать Китаю возможность добиться военного превосходства над демократическими странами — например, благодаря беспилотникам под управлением ИИ.

Поэтому важная часть сдерживания темпа внутри демократий — как можно дольше сохранять их преимущество над автократиями. Это даст необходимый запас времени.

Вот что для этого нужно:

• Не продавать Китаю мощные чипы для ИИ и оборудование для производства полупроводников, жёстко бороться с контрабандой чипов и перекрывать удалённый доступ к дата-центрам за пределами Китая. Именно чипы будут главным фактором, определяющим возможности Китая в сфере ИИ.
• Пресекать незаконную дистилляцию передовых моделей компаниями из авторитарных государств. Дистилляция позволяет отстающим компаниям сократить разрыв за небольшую долю той суммы, которую пришлось бы потратить на самостоятельную разработку аналогичной модели.
• Усиливать безопасность компаний, занимающихся ИИ, и предотвращать кражу весов моделей.

Компании и правительство США должны работать вместе, чтобы эти меры были максимально эффективными. Anthropic последовательно выступала за всё это, потому что мы всегда понимали: без таких мер сдерживать темп невозможно.

Если всё сделать правильно, я считаю, что развитие ИИ в Китае можно замедлить настолько, чтобы в ближайшие 3–5 лет преимущество США заметно увеличилось. Именно в этот период ИИ, вероятно, приобретёт наибольшее геополитическое значение.

Кто-то может решить, что подобные меры лишь затруднят договорённости с Китаем. Я думаю наоборот: они усилят позиции демократий на переговорах и тем самым сделают соглашение более вероятным.

Глобальное сдерживание темпа

Одновременно с сдерживанием темпа внутри демократических стран нужно стремиться к тому, чтобы снизить темпы развития передового ИИ во всём мире. Добиться этого будет гораздо сложнее.

Для этого потребуется сотрудничать с Китаем — авторитарной страной, которая значительно превосходит остальные автократии по возможностям в области ИИ. Здесь нельзя быть наивными. Геополитические ставки настолько высоки, что возможности договориться, особенно поначалу, скорее всего, будут очень ограниченными.

Если мы сильно ограничим собственные возможности, рассчитывая, что Китай сделает то же самое, а он затем нарушит договорённость, последствия могут быть огромными. ИИ может оказаться настолько мощным, что такое нарушение позволит Китаю добиться геополитического господства.

Поэтому любое соглашение должно либо допускать практически безошибочную проверку его соблюдения, либо быть достаточно ограниченным, чтобы нарушение не создавало экзистенциальной военной угрозы. Думаю, и США, и Китай будут испытывать одинаковые опасения. Особенно в ближайшие годы любые договорённости должны строиться так, чтобы сохранять преимущество США и их союзников.

Есть несколько возможных уровней договорённостей. Некоторые из них кажутся мне вполне реальными — я писал об этом раньше. Другие выглядят крайне труднодостижимыми, хотя попытаться всё равно стоит.

От самых простых к самым сложным:

• Уровень 1. Договориться запретить отдельные очевидно опасные способы использования ИИ — например, создание с его помощью биологического оружия или предоставление пользователям такой возможности. Биотерроризм невыгоден никому — ни США, ни их противникам, — поэтому здесь соглашение вполне возможно.
• Уровень 2. Обе стороны обязуются до выпуска проверять модели на особо опасные возможности — в кибербезопасности, биологии и в том, насколько модели согласованы с целями человека. Это можно делать через глобальный орган по стандартам. Создать такой орган, на мой взгляд, вполне возможно. Гораздо сложнее будет дать ему реальные полномочия и убедиться, что у сторон нет секретных моделей, которые они не показывают проверяющим, но используют, например, в военных целях.
• Уровень 3. Ввести своего рода «ограничение скорости» для рекурсивного самоулучшения. Когда модели начнут создавать следующие поколения моделей, скорость прогресса может стать ошеломляющей. Если снизить её с «чрезвычайно высокой» до «просто высокой», стратегические потери будут относительно небольшими, а безопасность может существенно выиграть. Это можно сравнить с договорами ОСВ: ограничение числа ракет уменьшало потенциальный масштаб разрушений, но сохраняло возможности взаимного сдерживания. Такое соглашение было бы очень трудно заключить, но, думаю, это ещё находится в пределах возможного.
• Уровень 4. Полномасштабное сдерживание темпа или даже «пауза», когда участвующие государства серьёзно ограничивают общий темп развития ИИ. Я считаю, что такую идею стоит обсуждать, но не думаю, что в ближайшее время она станет реальностью. Страна, которая сумеет тайно нарушить подобное соглашение, может радикально изменить мировой баланс сил. Поэтому стимул к нарушению будет огромным, а требования к надёжности контроля — чрезвычайно высокими.

Любая договорённость с Китаем даст нам больше времени для безопасного развития ИИ внутри демократических стран. Нужно стремиться к более амбициозным вариантам, но понимать, что договориться по менее сложным вопросам гораздо реалистичнее.

Наконец, важно помнить: даже если официальных соглашений не будет, изменение неформальных правил поведения тоже может принести пользу. Если страны и компании будут делиться информацией о рекурсивном самоулучшении и о случаях, когда модели действуют вразрез с целями человека, это может помочь всем понять, что безрассудная гонка никому не выгодна.

Итог

Я по-прежнему верю, что ИИ способен радикально улучшить человеческую жизнь. Моё желание добиться этих преимуществ ничуть не уменьшилось.

Но они станут реальностью только в том случае, если мы правильно создадим эту технологию. И если мы сумеем разумно использовать выигранное время, стоит проявить исключительную осторожность, чтобы всё сделать как следует.

Прогресс всё равно будет достаточно быстрым. Это время можно использовать, чтобы лучше понять внутреннюю работу моделей, повысить безопасность и качество работы ведущих компаний и создать системы, в согласованности которых с нашими целями мы будем гораздо увереннее.

Предлагаемые мной меры, которые должны сделать развитие передового ИИ безопаснее, будет непросто реализовать. Но я считаю, что мы обязаны перед человечеством хотя бы попытаться.

Блог Дарио Амодеи, 12 сентября 2026 года