Анализ китайских новостей
I. Краткое содержание
Это весьма важный сигнал для индустрии: Якоб, опытный исследователь, который три года работал над ключевыми задачами предварительной обучения в двух ведущих компаниях в области искусственного интеллекта — OpenAI и Anthropic, недавно уволился из Anthropic, которая считается всей индустрией компанией, уделяющей наибольшее внимание безопасности ИИ, и полностью покинул сферу ИИ. Как человек, хорошо знакомый с передовыми технологиями ИИ, он публично заявил, что ведущие компании ИИ под давлением конкуренции совершенно не заботятся о контроле рисков. Если развитие технологий продолжится в том же темпе, то к концу следующего года ИИ может достичь состояния, когда он будет сам себя совершенствовать и человечество уже не сможет его остановить. В настоящее время в индустрии нет государственного регулирования, и она связана высокими коммерческими интересами; даже компании с наибольшим осознанием важности безопасности не могут сохранить свою независимость. Якоб призывает к глобальному регулированию и координации действий в отрасли, чтобы остановить этот процесс.
II. Подробное толкование
1. **Это не бессмысленные ходы широкой публики: авторитет выступающего невероятно велик**
Многие, увидев сообщения о том, что ИИ может уничтожить человечество, считают это попыткой привлечь внимание. Но на этот раз все иначе. Якоб действительно три года работал на ключевых позициях в области исследований ИИ в двух ведущих компаниях — OpenAI и Anthropic. Более того, он перешел из OpenAI в Anthropic именно из-за ее приверженности безопасности ИИ. Ранее уже несколько сотрудников ведущих лабораторий увольнялись и жаловались на недостаточные меры безопасности, но они переходили из менее безопасных компаний в более безопасные. В этот раз же Якоб ушел из компании, которая считается наиболее ответственной за безопасность ИИ, потому что понял, что даже она не может справиться с проблемами. Его слова имеют больший вес, чем мнения обычных комментаторов.
2. **Чего он боится, говоря, что к концу следующего года ИИ выйдет из-под контроля?**
Многие думают, что он боится, что ИИ станет слишком умным и начнет угрожать человечеству, как в фильмах. На самом деле он боится, что может начаться цикл самосовершенствования ИИ. Раньше улучшения ИИ достигались благодаря труду инженеров, которые писали код, настраивали параметры и подавали данные. Но теперь ИИ может самостоятельно выполнять многие задачи, связанные с разработкой. Если однажды ИИ станет настолько сильным, что сможет создать следующее поколение себя сам, этот цикл будет ускоряться экспоненциально, и человечество не сможет его остановить. По словам Якоба, все компании движутся к этой точке, и если ничего не изменится, к концу следующего года мы достигнем критического момента.
3. **“Безответственность” ведущих компаний обусловлена соревнованием**
Якоб четко видит проблему: большинство сотрудников OpenAI даже не осознают, что потеря контроля над ИИ может привести к катастрофическим последствиям. Они сосредоточены на создании новых функций для привлечения пользователей и увеличения доходов, игнорируя вопросы безопасности. В Anthropic ситуация еще хуже: все понимают риски, но они втянуты в “дилемму заключенного”: если они начнут снижать темпы разработок ради безопасности, конкуренты могут быстрее создать более сильные системы, и тогда они потеряют деньги, рынок и влияние. Поэтому компании предпочитают продолжать двигаться вперед, даже если это опасно. Кроме того, другие страны также ускоряют разработки ИИ, увеличивая давление на индустрию.
4. **Создание сверхмощных ИИ сейчас — это в 10 раз более безумно, чем создание ядерных бомб**
Якоб сравнил современные разработки ИИ с проектом “Манхэттен” во время Второй мировой войны, когда для создания атомной бомбы были мобилизованы все силы страны. Сейчас же разработки ИИ происходят в обычных офисах кремниевой индустрии без государственного контроля и строгих правил безопасности. Такие “соглашения о безопасности” — это лишь добровольные обязательства руководителей компаний, которые могут быть нарушены в любой момент. Это равносильно тому, что права на создание ядерного оружия переданы стартапам; первый, кто это сделает, получит огромные инвестиции.
5. **Загадка оценки в 2 триллиона долларов: обещания по безопасности бессильны перед деньгами**
Самое ироничное то, что в настоящее время Anthropic готовится к IPO, и ее оценка составляет 2 триллиона долларов. Это ставит под сомнение все обещания по безопасности. Чтобы поддерживать такую оценку, компания должна убедить инвесторов, что ее ИИ станет еще сильнее и принесет больше доходов, чем Google и Apple вместе взятые. Но в то же время компания должна обещать остановить разработки, когда ИИ достигнет определенного уровня силы, и вложить большие средства в обеспечение безопасности. Эти обещания противоречивы: инвесторы вкладывают деньги в надежду на больший доход, а компания может потерять все, если решит сосредоточиться на безопасности. Даже если Anthropic действительно стремится к безопасности, она не сможет противостоять давлению инвесторов.
В целом, слова Якоба указывают на серьезные проблемы в развитии ИИ и на необходимость глобального регулирования, чтобы предотвратить катастрофические последствия.