Краткое содержание анализа
Основатель компании Anthropic Дарио Амодеи – человек, полный противоречий: с одной стороны, он громко предостерегает от возможных катастроф, связанных с использованием сверхразумных ИИ (например, создания биологического оружия или массовой безработицы), с другой – ведет компанию в разработке самых передовых ИИ-моделей. Он уверен, что ИИ рано или поздно появится, и лучше контролировать его самому, чем позволить кому-то другому. Для обеспечения безопасности он использует концепцию «конституционального ИИ» и трастовые структуры, однако это приводит к ситуации, когда он одновременно выступает и в роли спортсмена, и в роли судьи, что создает концентрацию власти. Он мечтает о том, чтобы ИИ смог излечить рак и принести пользу всему человечеству, но его амбиции несут в себе оттенки гегемонии США. Существуют слухи, что он хочет, чтобы Anthropic стала «последней частной компанией в мире». Хотя он не комментирует эти слухи напрямо, его основная логика остается простой: только контролируя ИИ, можно быть уверенным в его безопасности.
Противоречия Дарио
Противоречия Дарио не являются наиграными; они проистекают из двух фундаментальных убеждений:
1. Страх перед медлительностью: его отец умер от гепатита С, и новое лекарство было одобрено лишь через 7 лет после начала исследований. Это заставило Дарио убедиться, что медлительность – это порок; наука должна развиваться быстро, чтобы спасти как можно больше людей.
2. Плененность индустриальными правилами: он осознает опасности ИИ, но компании вроде OpenAI и Google также усердно работают над этим направлением, и другие страны не собираются останавливаться. Если Anthropic остановится, другие могут создать сверхразумный ИИ раньше. Поэтому его логика такова: если все работают над этим, почему бы не сделать это первым и тем самым не контролировать процесс?
В своих статьях он перечисляет 100 опасностей ИИ, но в то же время использует его для ускорения разработок. Для него это не противоречие – это необходимый риск; только получив контроль, можно говорить о безопасности.
Меры по обеспечению безопасности в Anthropic
Дарио покинул OpenAI из-за того, что там люди, создающие ИИ-модели, не имеют решающего голоса. Создав Anthropic, он встроил идею контроля в саму структуру компании:
- Конституциональный ИИ: он разработал набор принципов, которым должны следовать модели при выполнении задач; эти принципы установлены самой Anthropic – это как если бы компания решала, каким должен быть характер ИИ для всего человечества.
- Долгосрочный траст: он создал траст с участием внешних лиц, который теоретически может предотвратить отказ компании от безопасных решений ради прибыли. Однако реальная власть по-прежнему остается в руках Anthropic; это своего рода самоконтроль.
- Одновременное выполнение нескольких ролей: Anthropic разрабатывает модели, оценивает риски, устанавливает стандарты и предлагает рекомендации регуляторным органам – все это делается компанией самой. Но можно ли верить в ее объективность?
Его понимание безопасности сводится к следующему: только он лучше всех понимает ИИ, поэтому только он может им управлять.
Амбиции США в отношении будущего ИИ
Дарио считает, что ИИ может излечить рак и помочь бедным странам преодолеть этап индустриализации, но его видение блага для всего человечества основано на предпосылке, что США должны получить ИИ первыми:
- Он призывает США и их союзников контролировать производство передовых чипов, чтобы Китай и другие страны не смогли получить ресурсы для разработки мощных ИИ-моделей.
- Он описывает идеальное будущее как период, подобный после распада Советского Союза, когда США обрели военное и экономическое превосходство с помощью ИИ и затем делятся им с другими странами.
- Когда китайская компания DeepSeek создает конкурентоспособные модели на ограниченных ресурсах, он говорит, что это доказывает силу Китая и еще больше укрепляет его намерение блокировать китайские разработки – это типичная логика «чем сильнее конкурент, тем сильнее необходимы ограничения».
Его идея «общественного блага» на самом деле подразумевает, что США должны получить все первыми, а затем уже контролировать ситуацию.
Идея остаться «последней частной компанией в мире»
Существуют слухи, что Дарио хочет, чтобы Anthropic стала единственной частной компанией в мире, оставившейся рядом с правительствами разных стран. Он не комментирует их напрямо, но его действия говорят сами за себя:
- Он исключает всех потенциально недостойных участников – рынок (из-за жадности), общественность (из-за незнания технологий), другие компании (из-за недостатка осторожности) и незападные правительства (из-за авторитарных подходов). В итоге остается только Anthropic.
- В ответ на слухи он говорит о необходимости излечения рака – таким образом он отвлекает внимание от проблемы концентрации власти.
Это напоминает поведение фараона из серии «Стражи ночи»: он считает себя спасителем, но при этом сам создает катастрофу. Дарио тоже считает, что только он может спасти человечество, однако не осознает, что передача всей власти одной компании представляет собой наибольшую опасность.
Заключение
Дарио – искренний идеалист, но искренность не гарантирует правоты. Он хочет использовать ИИ для защиты мира, но постепенно превращается в центр власти. Как и в конце «Стражей ночи», ничего не заканчивается… и никогда не закончится. Когда компания считает, что может принимать решения за всё человечество, она может стать тем самым «абиссом», о котором предупреждала.