Опасения по поводу „бунта“ ИИ выходят из лабораторий: глубокий анализ вопросов доверия, конкуренции и правил
Здравствуйте, я ваш финансовый журналист. Сегодня мы поговорим не о скучной научной статье, а о „землетрясении“ внутри индустрии ИИ.
9 сентября опытный исследователь в области ИИ по имени Джейкоб Коксон уволился из ведущей компании Anthropic. Однако его способ увольнения был необычным: он не ушел тайком, а публично предупредил, что два гиганта — OpenAI и Anthropic — вступили в „безответственную гонку“, которая ставит человечество под угрозу.
Это похоже на ситуацию, когда инженер, работавший в атомной электростанции много лет, вдруг снимает рабочий костюм и кричит у входа: „Реактор на грани выхода из-под контроля, а вы все еще добавляете топливо!“
Суть статьи заключается в действиях Коксона и глубоких противоречиях, скрытых в индустрии ИИ. Чтобы все поняли, я разберу ситуацию на пять аспектов простым языком.
---
1. Почему его слова стоит слушать? — Уход „инсайдера“ более весом, чем критика „экстраданных“
Прежде всего, давайте узнаем, кто такой Коксон. Он не просто кто-то, кто критикует издалека, и не интернет-знаменитость, выдумывающая истории ради внимания.
Его карьера впечатляющая:
Он работал в двух ведущих лабораториях ИИ — OpenAI и Anthropic — в течение трех лет. Он участвовал в предварительной обучении таких топовых моделей, как GPT-4.5, и его имя включено в официальный список вкладчиков. Это означает, что он не только знает, как создается ИИ, но и лично участвовал в этом процессе.
Его мотивы чисты (или, скорее, серьезны):
Обычно сотрудники увольняются из-за недостаточной зарплаты, неправильного поведения руководства или желания сменить рабочую среду. Но Коксон ушел из-за чувства вины. Он боится, что компании стремятся создать сверхразумные ИИ, способные самостоятельно совершенствоваться, но без должных мер безопасности.
Почему это важно?
Представьте себя врачом, который обнаруживает, что больница использует новый лекарственный препарат без полного тестирования, и его побочные эффекты могут быть смертельными. Если бы он просто уволился, это было бы его личным решением. Но если бы он вышел на улицу с медицинской картой и сказал всем: „Эта больница вредит пациентам“, это было бы предупреждением.
Коксон превратился из участника процесса в предупреждающего. Он признает, что участники разработок могут переоценивать риски или ошибаться в направлении, но он решил высказаться публично, потому что считает, что молчание опаснее неправильных выводов. Он не хочет, чтобы оправдание „все равно сделают другие“ затмило его собственную ответственность.
Ключевой момент:
Его предупреждение — это не пророчество конца света, а предупреждение о рисках, основанное на внутреннем взгляде на ситуацию. Нам не обязательно сразу верить в катастрофу, но нужно внимательно рассмотреть, почему ключевой специалист считает что-то неправильным.
---
2. Почему оставшиеся не считают его параноиком? — Исследования безопасности не являются панацеей, логика конкуренции жестока
После ухода Коксона один из исследователей из Anthropic, Сэмюэл Маркс, заявил: „Я разделяю некоторые опасения, но верю, что наши исследования безопасности снизят риски, поэтому остаюсь.“
Это поднимает важный вопрос: если все видят угрозу, почему кто-то все еще хочет оставаться в „опасной ситуации“?
Причины остаться многообразны и не всегда связаны с жадностью:
1. Необходимость ресурсов: Исследования безопасности ИИ требуют огромных вычислительных мощностей, больших данных и доступа к ключевым системам. Такие ресурсы имеются только у крупных компаний. На домашнем компьютере невозможно провести серьезные тесты. Поэтому оставшиеся могут действительно считать, что только они могут минимизировать риски.
2. Логика конкуренции: OpenAI считает Anthropic ненадежной, поэтому стремится первым создать такой ИИ; Anthropic считает OpenAI ненадежным, поэтому тоже стремится первым. Это похоже на гонку двух водителей у обрыва: каждый думает, что другой остановится, поэтому никто не останавливается. В результате никто не рискует первым остановиться. В такой ситуации „безопасность“ часто используется как предлог для обогащения.
3. Противоречие между словами и действиями: Многие компании заявляют, что заботятся о безопасности, но на деле их действия могут приводить к увеличению рисков. Если из-за страха перед конкурентами инвестиции растут, это может превратить обещания безопасности в самоуспокоение.
Ключевой момент:
Уход всех, кто боится рисков, не обязательно сделает лаборатории безопаснее. Для эффективной безопасности необходимы присутствие специалистов на месте. Но действительно ли они снижают риски или просто ускоряют их развитие? Это нужно проверять внешними организациями, а не полагаться только на их слова.
---
3. Почему предупреждения игнорируются? — Урок катастрофы космического шаттла „Челленджер“
Предупреждения Коксона напоминают нам о катастрофе космического шаттла „Челленджер“ в 1986 году.
Вот что произошло:
Перед запуском подрядчик письменно предупредил, что из-за низкой температуры резиновые кольца могут разрушиться, и запуск невозможен. Руководство сначала согласилось, но затем из-за желания ускорить процесс изменило решение. Инженеры продолжали возражать, но их мнения были игнорированы. В итоге решение о запуске было принято без учета их опасений.
Происходит ли то же самое в индустрии ИИ?
Коксон боится, что даже если кто-то высказывает возражения, они могут быть „поглощены“ внутри организации:
- Сотрудник говорит: „Эта функция опасна.“
- Менеджер отвечает: „Запишите это и изучите.“
- Исследователь: „Я проверил — проблем нет.“
- Проект продолжается.
В этом процессе никто не виноват, каждый выполняет свои обязанности. Но важная информация не доходит до тех, кому она нужна.
„Право голоса“ может быть лишь утешением:
Компании разрешают высказывать мнения, но это не гарантирует, что они повлияют на решения. Если проект запускается вопреки возражениям, это становится формализмом. Компании кажутся „демократичными“ и „открытыми“, но реальная власть остается в руках немногих, и их решения часто основаны на коммерческих интересах.
Ключевой момент:
Нам не нужно спрашивать, почему никто не выступил против (ведь кто-то все же выступил, например, Коксон). Нам нужно знать: что сделала компания после его предупреждения — прекратила проект? Усилила меры безопасности? Или просто зарегистрировала его и продолжила работу?
---
4. Достаточны ли „политики безопасности“ компаний? — Законность не гарантирует безопасности, правила не всегда соответствуют технологиям
У Anthropic и других компаний есть строгие политики безопасности: есть каналы для жалоб, обязательства по предотвращению мести, надзор совета директоров. Звучит хорошо, не так ли?
Но есть большой пробел:
Эти политики предназначены для предотвращения незаконных действий (например, кражи данных, дискриминации). Однако Коксон боится, что компании могут действовать „законно“, но при этом наносить ущерб человечеству.
Пример:
- Старые правила: скорость движения не должна превышать 120 км/ч.
- Новая ситуация: вы создали автомобиль, способный летать со скоростью 1000 км/ч.
- Вопрос: соблюдаются ли правила? Да. Но безопасен ли такой автомобиль? Очевидно, что нет.
Технологии ИИ развиваются быстро, а законы и регулирование отстают. В 2024 году сотрудники ИИ предложили инициативу о праве на предупреждение о рисках, отметив, что существующие механизмы защиты предназначены только для незаконных действий, а риски ИИ часто еще не определены.
Неловкая реальность:
Если сотрудник утверждает, что компания нарушила правила безопасности, компания может проверить процесс. Если сотрудник говорит, что компания соблюдает все правила, но они недостаточны для обеспечения безопасности, компания может ответить: „Мы соблюдаем закон, вы не имеете права вмешиваться.“
Ключевой момент:
Простое соблюдение существующих правил не гарантирует безопасности. Для технологий, способных изменить мир, нужны динамические, прогностические оценки безопасности, а не статические проверки после факта.
---
5. Что нам делать? — Не нужно обожать героев, нужны механизмы предотвращения рисков
В конце концов, Коксон ушел, и стал „героем“ или „предупреждающим“. Но нам не стоит ограничиваться восхищением его смелостью.
Восхищение герояи — это лень: если мы сосредоточимся только на Коксоне, мы упрощаем сложные системные проблемы до уровня личной морали и ждем следующего более смелого человека с более убедительными доказательствами.
Что действительно нужно изменить:
1. Внешний контроль: правительства должны создать независимые организации с профессиональными квалификациями, имеющие доступ к ключевым данным и право приостанавливать проекты при неясных рисках.
2. Прозрачные процессы принятия решений: компании должны объяснять, при каких условиях они могут приостановить разработки и кто имеет на это право.
3. Снижение стоимости предупреждений: идеально, если сотрудники могли бы безопасно и эффективно сообщать о рисках внутри компании или внешне, не рискуя своей карьерой и не становясь объектами внимания СМИ.
**Заключ