Резюме основного содержания
Источником этого взрывного сообщения совсем не являются обычные интернет-передачи о заговорах ИИ или маркетинговые акции на тему конца света. 27-летний гениальный инженер Джейкоб, который в течение трех лет участвовал в ключевых этапах предварительной обучения двух ведущих мировых моделей ИИ — OpenAI и Anthropic, внезапно уволился со своей должности и опубликовал предупреждение на социальных сетях, которое набрало более 100 миллионов просмотров. Сейчас ведущие компании в области ИИ прилагают все усилия для развития сверхинтеллекта, что равносильно тому, как вся человеческая раса рискует всем. Многие специалисты в области исследований и разработок считают, что вполне возможно, что человечество может вымереть из-за потери контроля над ИИ в течение 10 лет. Что еще более шокирует, так это то, что бывшие коллеги Джейкоба из Anthropic, включая ответственных за обеспечение безопасности ИИ и опытных исследователей, открыто высказались в его поддержку, заявив, что вероятность катастрофы превышает 10%, причем чем выше ранг сотрудника, тем сильнее его опасения. Автор сообщения обнаружил статью о ИИ, которая шокировала весь интернет 11 лет назад и предсказывала, что сверхинтеллект может привести к вечной жизни человечества или к его гибели. Сегодня это предсказание становится реальностью: ИИ уже участвует в создании еще более мощных систем, и инерция развития этой индустрии настолько велика, что никто не может ее остановить.
---
Подробный анализ
1. Не стоит считать это бессмысленными высказываниями непрофессионалов
Многие, скорее всего, подумают, что это очередная попытка маркетинговых акций воспользоваться популярностью темы ИИ, но у Джейкоба настолько впечатляющий опыт, что ему совсем не нужно привлекать внимание с помощью экстремальных заявлений. Он окончил Кембриджский университет по математике и принимал участие в разработке моделей GPT-4o и GPT-4.5; после перехода в Anthropic он продолжал заниматься ключевыми задачами предварительного обучения ИИ-моделей. Его слова не являются бессмысленными предположениями незнакомца с этой областью. Более того, после публикации его сообщения несколько ключевых сотрудников Anthropic, отвечающих за безопасность ИИ, открыто поддержали его мнение, заявив, что вероятность катастрофы превышает 10%, и указали на то, что чем выше ранг сотрудника, тем больше он боится потери контроля над ИИ. Такое поведение сотрудников компании имеет серьезные последствия, поскольку они знают о самых передовых технологиях.
2. Почему создатели ИИ более обеспокоены, чем обычные люди?
Обычные люди воспринимают ИИ как инструмент для написания текстов, создания презентаций или редактирования изображений и не осознают, насколько быстро меняется ситуация. Однако 11 лет назад уже писались статьи о том, что ИИ сможет самостоятельно создавать еще более мощные системы, что приведет к положительным или негативным последствиям. Сегодня мы видим, что ИИ уже способен самостоятельно работать с сложными программами, решать математические проблемы, которые раньше занимали десятилетия, и в процессе обучения новых моделей участвуют предыдущие версии ИИ. Инженеры, работающие в лабораториях, ежедневно наблюдают за прогрессом развития ИИ и понимают, что скорость его развития намного выше, чем у обычных людей.
3. Никто не может остановить этот процесс
Ситуация кажется абсурдной, но на самом деле все компании и страны участвуют в безостановочном развитии ИИ. Более мощные системы создают больше экономической ценности, что позволяет приобретать больше ресурсов для обучения новых моделей. Если компания замедлит свои темпы, ее конкуренты обгонят ее, и она потеряет всю свою долю рынка. Никто не хочет останавливаться, потому что это означает потерю господства в этой области. Вся индустрия попала в порочный круг, из которого невозможно выбраться.
4. Речь идет не о конкуренции за рабочие места
Проблема гораздо серьезнее: человечество стоит перед выбором между вечной жизнью и вымиранием. Предсказания 11-летней статьи о том, что сверхинтеллект может привести к вечной жизни или гибели человечества, до сих пор актуальны. Если мы не сможем контролировать ИИ, его развитие приведет к катастрофе; если же нам удастся направить его в нужное русло, он сможет помочь нам решить самые сложные проблемы, с которыми человечество сталкивается уже миллионы лет.
5. Обычным людям не стоит паниковать сейчас, но нужно переосмыслить взгляды на ИИ
Нет необходимости срочно принимать мер предосторожности, но нам следует перестать рассматривать ИИ как обычный инструмент. Прошлые технологии, такие как паровые машины, интернет и смартфоны, были полностью под контролем человека, но ИИ — это новая технология с экспоненциальными темпами роста, которая уже вышла за рамки традиционных подходов. Мы находимся на перекрестке истории, и, скорее всего, предупреждения инженеров окажутся напрасными. Однако если нам удастся правильно использовать ИИ, он может помочь нам преодолеть те проблемы, которые мешают развитию человечества.