虎嗅

Когда гиганты ИИ начинают требовать снижения темпов развития: за безопасностью стоят вопросы власти и ответственности

原文:当 AI 巨头开始要求减速:安全背后,权力与责任正在重新配对

Когда гиганты ИИ зовут к остановке: большая перестройка власти вопросом “кто будет решать”

Здравствуйте, я ваш финансовый журналист. Сегодня мы рассмотрим очень глубокую статью, опубликованную в Havenlon Labs.

Основная идея статьи очень остра: за последние годы индустрия ИИ соревновалась в скорости развития, но теперь даже руководители ведущих компаний (например, генеральный директор Anthropic Дарио Амодеи) публично призывают замедлить темпы развития.

Однако причина не в страхе или простом стремлении к безопасности. За этим стоит огромная перераспределение власти и ответственности. Раньше компании ИИ самостоятельно решали, что производить, как и когда это делать, и прибыль оставалась у них, а проблемы они несли сами (или не могли их справить). Но теперь влияние ИИ настолько велико, что в случае ошибок страдает вся общественность. Поэтому общество начинает задаваться вопросом: если последствия общие, не следует ли также делить и право принятия решений между обществом и правительством?

Чтобы было понятнее, я разберу эту длинную статью на пять ключевых аспектов и объясню их простым языком.

---

Первый аспект: противоречие между частными решениями и общественными последствиями

【Простое объяснение】: Раньше горел ваш дом, и вы платили за его восстановление; теперь горит вся улица, но вы все равно отвечаете только за свой дом.

Статья указывает, что главная проблема индустрии ИИ не в недостаточной технологичности, а в несоответствии между властью и ответственностью.

  • Ситуация сейчас: Компании вроде OpenAI и Anthropic обладают огромной частной властью: они решают, насколько сильными должны быть их модели, когда их выпускать и насколько автономными должны быть эти модели. Эти решения принимаются внутри компаний, и внешний мир об этом не знает.
  • Проблема: ИИ уже не просто чат-боты; они проникли в финансы, медицину, кибербезопасность и даже военную сферу. Если ИИ допустит ошибку или будет использован хакерами, последствия могут быть катастрофическими: массовая безработица, финансовый крах или кибератака.
  • Вывод: Это то, что называется **“частные решения, общественные последствия”. Раньше компании несли ответственность за свои действия, но теперь их решения могут повлиять на всё общество. Если последствия общие, то общество и правительство имеют право участвовать в принятии решений, а не позволять компаниям действовать по своему усмотрению.

---

Второй аспект: исторический пример: ученые когда-то имели привилегию определять опасность

【Простое объяснение】: Раньше только ученые знали, как создавать ядерное оружие, поэтому только они могли устанавливать правила. А сейчас только компании ИИ знают, как создавать их модели, поэтому они хотят устанавливать правила. Но разве это справедливо?

Статья приводит два исторических примера, чтобы объяснить, почему сейчас так сложно контролировать ИИ:

1. 1975 год: конференция по генной инженерии в Асиломаре: тогда только ученые понимали риски рекомбинированной ДНК. Поэтому общество должно было следовать их советам и определять, какие эксперименты можно проводить, а какие нет.

2. После 1945 года: контроль над ядерным оружием перешел от военных к гражданским органам: ученые и военные не могли нести ответственность за такую разрушительную силу.

【Применение к ИИ】: Ситуация сейчас похожа на 1975 год, но сложнее. Теперь самыми деталями передовых технологий владеют частные компании, получившие огромные инвестиции и несущие стратегические задачи государства.

  • Anthropic предлагает привлекать внешние команды (например, METR) для проверки, чтобы решить проблему недостатка внутренней информации.
  • Однако противники (например, Дэвид Сакс) задаются вопросом: есть ли у этих команд интересы, связанные с компаниями. Если регуляторы зависят от регулируемых организаций для определения правил, то является ли их регулирование независимым?

---

Третий аспект: политическая игра: безопасность, монополии и государственная конкуренция

【Простое объяснение】: Кто-то хочет замедлить развитие ИИ ради безопасности, кто-то — чтобы не дать Китаю обогнать, а кто-то — чтобы предотвратить монополизацию крупными компаниями. Все говорят о безопасности, но каждый имеет свои цели.

Статья анализирует позиции трех ключевых лиц и показывает, что их интересы не совпадают:

1. Дарио Амодеи (генеральный директор Anthropic) — сторонник снижения скорости развития ИИ:

  • Мнение: Развитие ИИ слишком быстрое, безопасность не успевает за ним. Если произойдет катастрофа, никто не будет нести ответственность.
  • Меры: Необходимо ввести внешние оценки, сначала согласовать действия внутри демократических стран, а затем на международном уровне.
  • Подтекст: Я признаю мощь ИИ, но боюсь его выхода из-под контроля. Также хочу, чтобы США сохраняли лидерство, поэтому мы должны соревноваться, сохраняя безопасность.

2. Дэвид Сакс (бывший советник по ИИ в Белом доме) — сторонник рыночных механизмов и против монополий:

  • Мнение: Если хотите замедлить развитие ИИ, делайте это самостоятельно, не тяните за собой других.
  • Аргументы: Не используйте безопасность как предлог для создания новых регулирующих систем, которые фактически повышают барьеры для новых игроков.
  • Ключевая идея: Если произойдет проблема, достаточно применить законы о ответственности производителей; не нужно предварительного одобрения правительства. Он также сомневается в независимости внешних оценочных организаций.
  • Подтекст: Не используйте регулирование для создания монополий. Если крупные компании говорят о необходимости замедления ради безопасности, на самом деле они пытаются не позволить новым игрокам войти на рынок.

3. Дональд Трамп (бывший президент) — сторонник государственной конкуренции:

  • Мнение: Необходимо снизить уровень регулирования, чтобы США сохраняли лидерство перед Китаем.
  • Аргументы: Слишком строгий контроль может привести к тому, что США отстанут в технологиях от Китая.
  • Подтекст: Моя цель — сила США, а не безопасность ИИ. Если замедление приведет к потере лидерства перед Китаем, я против этого.

【Заключение】: Это не простое противостояние сторонников безопасности и сторонников ускорения развития ИИ, а сложное взаимодействие вопросов технологического управления, рыночных правил и национальной безопасности.

---

Четвертый аспект: экономические последствия замедления развития ИИ

【Простое объяснение】: Если все машины остановятся на проверку тормозов, крупные грузовики с деньгами смогут пережить перерыв, но маленькие грузовики без денег обанкротятся. Это справедливо?

Статья использует пример финансового кризиса 2008 года, чтобы показать сложность экономических последствий:

  • Кажущаяся справедливость: Если все компании ИИ будут обязаны проводить дополнительные проверки безопасности на полгода, это кажется равным для всех.
  • Фактическая несправедливость:
  • Гиганты (OpenAI, Anthropic): у них есть миллиарды долларов наличными и совершенная инфраструктура; полугодовой перерыв для них не проблема, они даже могут использовать это время для укрепления своих позиций на рынке.
  • Стартапы: у них нет достаточного финансирования; полугодовой перерыв может привести к банкротству.

Затраты на соблюдение новых стандартов безопасности: для гигантов это небольшие расходы, для новых компаний — это фактически запрет на участие в рынке.

【Глубокий анализ:**

  • Если рассматривать ИИ как обычные продукты, то Сакс прав: каждая компания несет ответственность за свои действия, и рынок накажет непредусмотрительных.
  • Но если ИИ уже является важной институцией (например, банком), то Амодеи прав: рыночные механизмы не работают должным образом, и требуется коллективные действия.
  • Дилемма: Если компания замедлит развитие ради безопасности, а конкуренты используют это, чтобы занять ее место, то рынок ли награждает осторожность или наказывает ее?

---

Пятый аспект: кто будет нести ответственность за ошибки при замедлении развития ИИ

【Простое объяснение: Мы часто боимся ошибок при ускорении развития ИИ, но редко задаемся вопросом: а что, если замедление приведет к пропущению важных решений? Кто будет нести ответственность за это?**

Это самый интересный и часто игнорируемый аспект статьи: стоимость действий против стоимости бездействия.

  • Риски ускорения: ошибки ИИ могут привести к кибератакам, безработице; такие последствия легко поддаются статистическому анализу и попадают в новости.
  • Риски замедления: ИИ мог бы раньше помочь в разработке лекарств от рака или ускорить исследования новых лекарств. Если из-за чрезмерной осторожности разработки затянутся на 5 лет, те, кто умрет от болезни из-за этого, не будут учитываться в статистике. Их страдания останутся незамеченными.

**Ключевая идея:**

1. Замедление не бесплатно: оно позволяет выиграть время, но время само по себе не гарантирует безопасности. Что, если через год модели снова станут сильнее?

2. Нам нужна система управления, а не просто тормоза: статья приводит пример авиационной индустрии: безопасность в авиации обеспечивается не медленным развитием технологий, а независимыми органами расследования, четкими стандартами безопасности и резервными системами.

  • Авиационный NTSB не имеет права регулирования, он только выявляет причины аварий.
  • В ин