Краткое содержание статьи
Статья опровергает упрощенные представления о том, что LLM (Large Language Models) являются представителями высокотехнологичного производственного сектора или что искусственный интеллект достиг своего предела в области обработки электрической энергии. Она подчеркивает, что суть соревнований в области LLM заключается в соперничестве между математикой/прикладной математикой и интуитивным пониманием инженерных аспектов. Китайские команды DeepSeek и Kimi с помощью оригинальных технологий (таких как MLA-сжатие и KDA-долгосрочное рассуждение) разрушили стереотип о том, что Китай способен только к инженерным решениям, но не к созданию новых идей, и изменили мировые подходы к ценообразованию активов. В статье также отмечается, что LLM в настоящее время страдают от отсутствия строгих математических основ и множества нерешенных теоретических проблем; в последующей фазе соревнований особое внимание следует уделить математическим знаниям и интуиции участников, иначе возникает риск беспорядочных действий без четкого понимания основ.
Почему LLM не являются представителями высокотехнологичного производственного сектора?
Основой производства является комбинирование ресурсов и стандартизированных процессов — например, у Маска есть достаточно людей, чипов и цепочек поставок, но его модель Grok показывает средние результаты, и ему приходится арендовать сотни тысяч чипов у компании Anthropic. LLM же работают по-другому: их эффективность не зависит от количества оборудования или изменения организационной структуры; ключевым фактором является понимание математических основ. Например, команда DeepSeek обнаружила, что структура KV Cache (хранилища ключевой информации при обработке контекста) кажется сложной, но на самом деле представляет собой двумерную структуру — это пример интуитивного понимания сложных систем, недоступного методами стандартной оптимизации.
Какие оригинальные разработки китайских команд изменили ситуацию?
Ранее считалось, что китайский ИИ может только выполнять инженерные задачи, но технологии DeepSeek и Kimi опровергли это мнение:
- Технология MLA позволила снизить размеры моделей за счет математических методов сжатия; без нее китайские модели, такие как Zhispu, могли бы оставаться ограничены общедоступными открытыми фреймворками.
- Технология KDA решила проблему накопления ошибок при обработке длинных текстов. Эти разработки не только помогли китайским LLM догнать мировой уровень, но и нарушили монополию OpenAI и Anthropic; теперь ситуация на рынке стала более конкурентной. Более того, они изменили подходы к ценообразованию активов.
Насколько важна интуиция для LLM?
Интуиция здесь понимается как способность видеть суть сложных систем. Например, стандартные алгоритмы обработки контекста основаны на высокодименных матрицах, но команда DeepSeek обнаружила, что эти матрицы имеют двумерную структуру. Такое понимание невозможно получить методами стандартной оптимизации; оно требует интуитивного понимания математических закономерностей, недоступного в рамках традиционных производственных процессов.
Какие математические проблемы существуют в LLM и какие они представляют угрозу?
Современные LLM похожи на технологии связи до появления Шеннона: инженеры могут создавать устройства, но не понимают их основ. Многие ключевые аспекты работы LLM не имеют строгих математических обоснований:
- Почему закон масштабирования (чем больше параметров, тем лучше модель) имеет форму двойной степени? Будет ли он справедлив и при использовании триллионов параметров? Это еще не известно; нужно сначала провести эксперименты.
- Алгоритм GRPO, используемый командой DeepSeek, может конвергировать, но у него есть некоторые недостатки.
- Проблемы с генерацией случайных данных связаны с отсутствием математической модели, позволяющей моделям принимать оптимальные решения.
Каковы ключевые шаги на будущем пути развития LLM?
Для дальнейшего прогресса в области LLM необходимо улучшить математические знания участников соревнований. Сейчас у LLM отсутствуют элементарные математические инструменты; их развитие зависит от специалистов в области нелинейной оптимизации, матричных вычислений и дифференциальных уравнений. Также необходимо найти простые формулы, которые позволят лучше понять поведение моделей. Только тогда LLM смогут стать надежными инструментами для решения практических задач.
Советы для молодых людей
Автор призывает талантливых и интуитивно одаренных молодых людей изучать математику и физику; возможно, именно они смогут создать новые технологии, которые изменят мир ИИ. Это настоящий прорыв, недоступный материальным ресурсам.
Суть статьи в том, что LLM — это не просто сбор ресурсов, а соревнование в понимании математических основ; китайские команды уже сделали важный шаг в этом направлении, но перед ними еще много работы.