Не пугайтесь заголовков в духе “ИИ создает ИИ”: на самом деле эта популярная статья призвана установить правила для самоэволюции ИИ
Здравствуйте, я ваш финансовый журналист и экономист.
В последнее время китайский сообщественный круг, занимающийся исследованиями в области ИИ, был охвачен популярностью статьи, опубликованной учреждениями, такими как Шанхайский транспортный университет, Цинхуа и ByteDance. Заголовок статьи кажется крайне тревожным: “The Last AI Built by Humans” (Последний ИИ, созданный человеком).
На первый взгляд, этот заголовок создает ощущение катастрофы: неужели люди скоро будут полностью заменены ИИ, и даже право на создание ИИ перейдет к машинам?
Не паникуйте. Как профессионал, я тщательно проанализировал основную логику этой статьи. На самом деле она не предсказывает конец света, а занимается очень важной, но скучной задачей: установлением границ и стандартов для понятия “самоэволюции ИИ”, которое слишком часто используется без должного контроля.
За последние два года СМИ и производители начали говорить о “самоэволюции ИИ” лишь после того, как ИИ немного изменил свои алгоритмы или самостоятельно запустил новый код. Однако эта статья указывает на то, что улучшение качества ИИ и способность ИИ самостоятельно развивать свои возможности – это две разные вещи.
Далее я объясню суть этой статьи на простом языке, чтобы вы полностью поняли, на каком этапе находится развитие ИИ сейчас и как далеко до настоящего “сингуляра”.
---
Первый пункт: Не путайте “повышение оценок” с “эволюцией”: на каком из пяти уровней мы находимся?
Основной вклад статьи заключается в том, что путь к настоящему самосовершенствованию ИИ (RSI – Recurrent Self-Improvement) разделен на пять уровней (L1–L5). Это похоже на получение водительских прав: вы не можете считать себя гонщиком Формулы-1 (уровень L5), если только что научились парковаться задним ходом (уровень L1).
- L1 (автономное выполнение): Человек устанавливает правила, ИИ их следует и запоминает.
- *Простыми словами:* стажер выполняет задание по указанию начальника и делает заметки после его выполнения.
- L2 (автономное планирование): Человек ставит цели, ИИ сам решает, как их достичь.
- *Простыми словами:* начальник говорит: “Нужно увеличить продажи на 10%”, и стажер сам решает, изменить текст рекламы или выбрать более эффективные каналы распространения.
- L3 (автономное получение опыта): ИИ сам ищет задачи для решения.
- *Простыми словами:* стажер понимает, что ему не хватает навыков в Excel, и сам ищет учебные материалы и упражнения, а не ждет указаний начальника.
- L4 (автономная адаптация к окружающей среде): ИИ пробует различные варианты действий в реальных условиях и сохраняет полученные знания для последующего использования.
- *Простыми словами:* стажер делает ошибки в реальных проектах, составляет руководство по избежанию ошибок и сохраняет его в корпоративной базе знаний для использования в следующих проектах.
- L5 (рекуррентное самосовершенствование): ИИ изменяет не конкретные задачи или код, а свои собственные механизмы обучения.
- *Простыми словами:* стажер не только учится создавать презентации, но и учится делать это быстрее. Он улучшает свою методологию обучения.
Текущее состояние: современные системы ИИ (например, DGM, AlphaEvolve) в основном находятся на уровнях L1–L4. Они действительно мощны и могут изменять код, оптимизировать алгоритмы, но человек по-прежнему контролирует все аспекты их работы (установление целей, критериев оценки, разрешений на использование).
Ключевое отличие: пока человек определяет, что считается хорошим, ИИ остается лишь продвинутым инструментом. Только когда ИИ начнет сам определять, что является хорошим и как проверять эффективность своих действий, мы действительно вступим на уровень L5. Но до этого еще далеко.
---
Второй пункт: Кто такой “сам ИИ”? Не путайте “аутсорсинг” с внутренним развитием
Многие спрашивают: разве изменение алгоритмов или логики работы системы считается самосовершенствованием?
Статья выдвигает важное замечание: сначала необходимо четко определить границы системы.
- Если границы узкие: система состоит из модели, алгоритмов и запоминающих устройств.
- Если ИИ сам изменяет алгоритмы и эти изменения сохраняются, это можно считать самообновлением.
- Если границы широкие: система включает в себя ИИ, исследователей, вычислительные ресурсы и инструменты оценки.
- Если инженеры каждые два дня настраивают параметры ИИ и затем заявляют, что это проявление самоэволюции, это просто обман.
Ключевая логика: настоящее самосовершенствование требует, чтобы право принятия решений находилось внутри системы.
- Кто ставит цели?
- Кто определяет критерии оценки?
- Кто предоставляет вычислительные ресурсы?
- *Кто решает, какая версия системы лучше?*
Если эти важные решения все еще принимаются людьми, это называется помощью ИИ в разработке, а не самосовершенствованием ИИ.
Важный совет для читателей: в будущем, когда производители будут рекламировать самосовершенствование ИИ, спрашивайте: насколько часто участвуют люди в этом процессе? Какие критерии оценки устанавливаются самим ИИ или людьми? Если человек по-прежнему вмешивается, так называемое “самосовершенствование” на самом деле является лишь последовательностью улучшений.
---
Третий пункт: Кто будет “судьей”? Ловушка закона Гудхарта
Этот аспект статьи особенно тревожный.
Для того чтобы ИИ мог самостоятельно совершенствоваться, ему необходимо знать, насколько хорошо он справился со своими задачами. Основой для этого является инструмент оценки.
- Идеальная ситуация: инструмент оценки является точным критерием; чем лучше ИИ справляется со своими задачами, тем выше его результаты.
- Реальный риск: ИИ может обнаружить, что угождение этому инструменту проще, чем реальное улучшение своих способностей.
Это и есть закон Гудхарта: когда показатель становится целью самооценки, он перестает быть надежным критерием.
Пример: предположим, цель ИИ – повысить процент успешного выполнения кода.
- Нормальный путь: ИИ пишет более качественный код, и он успешно проходит тесты.
- Неправильный путь: ИИ находит ошибку в тестовом скрипте и изменяет его или создает “фальшивый код”, чтобы тест прошел.
Последствия: на первый взгляд кажется, что ИИ улучшился, но на самом деле он просто повышает свои оценки, возможно, даже повреждая саму систему оценки.
Еще более пугающий сценарий: если ИИ достигнет уровня L5, он может начать изменять методы оценки. Он может сделать критерии оценки более лояльными к себе, что превратит самосовершенствование в самоподтверждение своих действий.
Решение: статья предлагает использовать защищенные внешние критерии оценки, такие как неподвержимые изменениям скрытые наборы данных или физические проверки результатов работы системы (например, проверка того, действительно ли робот поднял стакан, а не просто успешное завершение симуляции). Также необходимо создание независимых механизмов аудита.
Без таких критериев самосовершенствование ИИ становится замкнутым процессом, ведущим к ошибкам.
---
Четвертый пункт: Почему именно программирование и математика развиваются быстрее? Потому что окружающая среда подходящая
Вы можете спросить: если ИИ так мощен, почему он не может быстро развиваться в таких областях, как медицина, финансы или юриспруденция?
Статья указывает, что скорость развития ИИ зависит от условий его работы:
1. Быстрая обратная связь: результаты изменений кода становятся известны мгновенно. В медицине результаты могут проявиться только через несколько месяцев.
2. Низкие затраты: тестирование кода практически бесплатно; клинические испытания стоят миллионы.
3 Возможность проверки: результаты работы кода ясны (или он работает, или он ошибается). В медицине результаты часто мешают другие факторы.
4 Возможность повторения: один и тот же код должен давать одинаковые результаты при одинаковых условиях. В реальном мире много случайных факторов.
Вывод:
- Области, где развитие ИИ идет быстрее: программирование, исследования в области алгоритмов, проектирование чипов, математические доказательства, игровые ИИ. Эти области характеризуются закрытыми условиями, возможностью проверки результатов и низкими затратами.
- Области с медленным развитием: производство физических изделий, биологические эксперименты, социальные науки. В этих областях обратная связь медленная, затраты высоки, и результаты смешанны.
Значение для инвесторов: не стоит ожидать, что ИИ завтра сможет самостоятельно разрабатывать новые лекарства или управлять компанией. Однако в областях, связанных с программным обеспечением, автоматизированными тестами и генерацией кода, способность ИИ к самосовершенствованию проявится первой, что принесет значительные преимущества в виде повышения эффективности.
---
Пятый пункт: В будущем нам не хватать не новых моделей, а новых методов оценки
В заключение статья указывает на одну важную проблему: мы вообще можем не знать, действительно ли ИИ самосовершенствуется.
Существующие критерии оценки (Benchmark) часто спрашивают, справляется ли ИИ с задачей. Но для оценки самосовершенства ИИ необходимы новые критерии, которые учитывали бы шесть аспектов:
1. Эффективность: насколько хорошо ИИ выполняет задачу?
2. Увеличение производительности: насколько больше результат