Краткое содержание анализа
Данный отчет можно рассматривать как холодный душ для актуально популярной индустрии больших моделей: основой всех основных ИИ-продуктов (от GPT до китайского Tongyi Qianwen) является технология Transformer, предложенная Google в 2017 году. За последние 7 лет эта технология довела ИИ-индустрию до беспрецедентных высот, но теперь она достигла своего естественного потолка в производительности. Новые функции, такие как обработка длинных контекстов и ускорение рассуждений, по сути, являются лишь попытками устранения врожденных недостатков старой технологии; они не решают основных проблем, связанных с резким ростом затрат на вычислительные ресурсы, высоким энеропотреблением и невозможностью решать сложные задачи.
В настоящее время ряд стартапов в области ИИ, не обремененных прошлыми ограничениями, разработали четыре совершенно разных подхода к прорыву в технологиях. Эти подходы позволяют увеличить скорость работы больших моделей в несколько раз, снизить затраты до минимума и даже решать сложные задачи, невозможные для существующих Transformer-моделей. Вероятно, именно они станут следующим этапом развития ИИ-индустрии и полностью изменят ее конкурентную ситуацию.
---
Подробное и понятное объяснение
1. Почему когда-то считавшаяся преимуществом технология Transformer теперь стала ее узким местом?
Основное преимущество Transformer заключается в его строгой логике обработки текста: при вводе 10 000 символов система должна сравнивать каждый символ с оставшимися 9999 символами, что эквивалентно тому, что при чтении статьи длиной 10 000 слов необходимо рассмотреть каждую возможную комбинацию символов, прежде чем понять смысл всего текста. Такой подход обеспечивает высокую точность, но требует огромных вычислительных ресурсов. Например, OpenAI тратит ежегодно 50 миллиардов долларов на покупку вычислительных мощностей. Международное агентство по энергетике прогнозирует, что к 2030 году энеропотребление глобальных центров обработки данных удвоится, что соответствует энергопотреблению почти всего Европейского союза.
Более того, задачи, которые решает ИИ, становятся все более сложными: например, анализ целых кодовых библиотек, автономное выполнение научных исследований на протяжении нескольких недель или решение десятков тысяч математических задач. Старый подход Transformer не справляется с этими задачами. Современные решения, основанные на использовании большого количества серверов и патчей, по сути, являются временными решениями, аналогичными попыткам запустить современные игры на старых компьютерах с дополнительными жесткими дисками.
2. Сокращение ненужных вычислений без снижения производительности
Первый подход к решению этой проблемы заключается в устранении ненужных вычислений без изменения основной структуры Transformer. Например, компания Subquadratic разработала динамический механизм отбора ключевой информации, позволяющий ИИ сосредотачиваться только на важных словах и пропускать незначительные детали. Этот подход позволил добиться производительности, сопоставимой с производительностью основных моделей. Другая компания Manifest AI заменила традиционный подход к обработке информации на алгоритм создания сводных отчетов в реальном времени; это существенно сокращает объем вычислений и позволяет использовать старые модели без необходимости их переобучения.
3. Инновационные подходы, не основанные на использовании больших моделей
Компания Liquid AI, основанная в Массачусетском технологическом институте, использует технологии, вдохновленные структурой нервной системы червей. Их модели в несколько раз превосходят по производительности обычные Transformer-модели при значительно меньших размерах. Эти модели обладают способностью к адаптации в процессе работы и могут обновлять свою логику в зависимости от новой информации. Их модели могут работать даже на недорогих устройствах, таких как Raspberry Pi, что снижает порог доступа к ИИ-технологиям для малых предприятий.
4. Улучшение эффективности обработки текста
Компания Inception разработала алгоритм, позволяющий ИИ сразу генерировать целые фрагменты текста без необходимости поочередного обработки каждого символа. Это значительно ускоряет работу ИИ и снижает затраты.
5. Переход к более абстрактному подходу к решению задач
Существующие Transformer-модели работают только с текстовыми данными, что ограничивает их возможности. Компания Pathway заменила традиционный подход к обработке информации на математические алгоритмы, позволяющие ИИ обрабатывать данные в абстрактной форме. Это позволяет моделям решать сложные задачи, для которых нет готовых решений. Такой подход открывает новые возможности для ИИ в области научных исследований и решения сложных проблем.