Краткое содержание анализа
Компания Anthropic, придерживающаяся концепции «ответственного ИИ», на основе реальных данных своего инструмента Claude предупреждает о риске выхода процесса рекурентного самосовершенствования ИИ (RSI) из-под контроля. Этот процесс позволяет ИИ самостоятельно развиваться в более сильные версии гораздо быстрее, чем может справиться человек. Компания не призывает прекратить исследования в области ИИ, а предлагает создать глобальный координационный механизм (совместные организации, проверяемые соглашения, условия приостановки разработок) для управления этим риском. Авторы статьи отмечают, что отсутствие международного сотрудничества может привести к «гонке вооружений» в области ИИ (страны боятся отставания и не решаются замедлить развитие технологий), а распад старого международного порядка может лишить человечество возможности справиться с такими глобальными угрозами. Поэтому подчеркивается важность международного сотрудничества.
I. Предупреждение от Anthropic: не о прекращении исследований ИИ, а о необходимости контроля за его развитием
Отчет Anthropic не является паническим призывом, а основан на реальных достижениях их инструмента Claude:
- Самостоятельное программирование: к маю 2026 года 80% кода было написано самим Claude (год назад этот показатель составлял лишь единицы процентов);
- Резкое увеличение эффективности: объем кода, написанного инженерами в день, в 8 раз превысил показатели 2024 года; личный вклад инженеров увеличился в 4 раза по сравнению с периодом без использования ИИ;
- Быстрый рост способностей: Claude может выполнять сложные задачи в течение 16 часов подряд, время удвоения его возможностей сократилось с 7 до 4 месяцев;
- Качество работы на уровне человека: успех率 выполнения сложных программных задач вырос с 26% до 76%, что сопоставимо с показателями инженеров-людей.
Наибольшую озабоченность вызывает процесс рекурентного самосовершенствования (RSI): ИИ может самостоятельно разрабатывать и оптимизировать следующие версии себя, и темпы его развития ускоряются. Как только этот процесс начнется, человечество не сможет его остановить — это похоже на ситуацию, когда домашний питомец внезапно превращается в более умное существо, которое невозможно контролировать и предсказать его действия. Поэтому Anthropic предлагает три решения: создание совместных организаций для изучения рисков, разработку глобальных проверяемых соглашений и установление четких критериев приостановки исследований ИИ.
II. Почему риск от ИИ так сложно контролировать? Потому что это глобальная проблема
Риск, связанный с ИИ, невозможно решить одной страной или компанией; есть три основных причины:
1. Дилемма заключенного: если одна страна замедлит развитие ИИ ради безопасности, другая может получить технологическое преимущество (экономическое и военное); поэтому никто не хочет этого делать, несмотря на угрозу;
2. Быстрое распространение технологий: ИИ-модели цифровые, их легко копировать и передавать; чипы, код, переход квалифицированных специалистов могут перемещаться через границы;
3 Асимметричный риск: вышедший из-под контроля ИИ может нанести ущерб не только стране-разработчику, но и всему миру через интернет и финансовые системы; для защиты необходимо, чтобы никто не допустил ошибок, в то время как для атаки достаточно одного успешного случая (например, если ИИ начнет самостоятельно наносить ущерб).
III. Без глобальных правил гонка вооружений в области ИИ превратится в игру на жизнь и смерть
Если страны будут действовать по отдельности, последствия могут быть еще хуже, чем простой выход технологий из-под контроля:
- Безопасность на втором плане: ради скорости развития технологий могут игнорироваться процедуры тестирования и согласование целей исследований (что приведет к несоответствию интересов ИИ и человечества); ответственные компании/страны могут отстать;
- Трудности с мониторингом: ИИ отличается от ядерного оружия (у него нет четко определенных военных функций); гражданские модели могут быть легко преобразованы в автономное оружие или инструменты для сетевых атак; открытые модели могут попасть в темные сети, что создаст проблемы для террористических организаций;
- Одна ошибка — и всё потеряно: гонка вооружений в области ИИ не о том, кто первым дойдет до финиша, а о том, кто первым «провалится» (например, непроверенный военный ИИ может случайно начать атаку или выйти из-под контроля).
IV. Исторический опыт: противостояние глобальным угрозам возможно только при совместных усилиях
В прошлом человечество справлялось с глобальными угрозами благодаря международному сотрудничеству:
- Ядерное оружие: во время холодной войны США и СССР подписали Договор о нераспространении ядерного оружия;
- Экологические проблемы: для борьбы с разрушением озонового слоя страны подписали Монреальский протокол; для борьбы с глобальным потеплением — Парижское соглашение.
Риск от ИИ серьезнее, чем эти проблемы, но старый международный порядок разрушается, и существующие механизмы сотрудничества (коммуникационные каналы, правила, проверочные процедуры) могут исчезнуть. Если новый порядок не будет создан, человечество не сможет справиться с рисками, связанными с ИИ. В конце концов, если одна страна тайно разработает опасный ИИ, все будут страдать.
V. Можно ли создать новую систему безопасности после распада старого порядка?
Старый порядок имел множество недостатков, но он обеспечивал хотя бы минимальное уровень международного сотрудничества (коммуникацию в кризисные моменты, общие правила, проверки). Вопрос в том, сможет ли новый порядок быть лучше. Риск от ИИ касается всего человечества, и ни одна страна не может избежать его последствий. Если страны продолжат действовать по отдельности, гонка вооружений в области ИИ приведет к катастрофе. Поэтому создание новых механизмов управления ИИ становится насущной задачей.
Суть анализа заключается в следующем: ИИ быстро развивается, и человечество должно действовать сообща, чтобы его контролировать; в противном случае оно может быть уничтожено вышедшим из-под контроля ИИ или разрушено хаосом гонки вооружений. Это не панический призыв, а предупреждение, основанное на реальных данных и историческом опыте.