Краткое содержание статьи
Статья посвящена проблеме высоких затрат на использование алгоритмов искусственного интеллекта (AI) при выполнении логических задач. В настоящее время AI для решения проблем с помощью явных логических цепочек (Explicit Thinking Chains, CoT) выдает множество промежуточных шагов, что приводит к большому потреблению ресурсов и замедлению процесса обработки данных. Новое исследование предлагает оптимизированный подход — использование скрытых логических цепочек (Implicit Thinking Chains, ICoT), основанный на тренировке моделей с помощью древовидной структуры. Этот метод позволяет моделям „интернизировать“ промежуточные шаги в свои скрытые слои, выдавая при выполнении задач только окончательный результат. Впервые была представлена математическая доказательства эффективности данного подхода, что открывает путь к снижению затрат и временных затрат на обработку данных AI.
1. Явные логические цепочки: дорогостоящие „наброски“
При решении математических задач или написании кода AI модели поступают так же, как люди — шаг за шагом, и выдают каждый свой ход в виде отдельных единиц данных (токенов). Однако это имеет следующие недостатки:
- Высокие затраты: количество токенов, необходимых для решения сложной задачи, может в 10 раз превышать количество токенов, используемых в обычном диалоге, что значительно увеличивает расходы на вычислительные ресурсы;
- Медленная работа: шаги выполнения задачи происходят последовательно (сначала нужно выполнить один шаг, затем следующий), что увеличивает время обработки.
Например, при решении простой математической задачи модель может выдавать каждый свой ход отдельно; пользователю приходится ждать завершения всех шагов, чтобы увидеть результат. Такой подход сопоставим с процессом написания решений рукой на бумаге: промежуточные „наброски“ требуют как ресурсов (бумаги), так и времени.
2. Скрытые логические цепочки: попытки заставить AI думать „в уме”
Можно ли заставить AI не выдавать промежуточные шаги и сразу выдавать окончательный результат? Именно это предлагает подход ICoT: промежутивые шаги хранятся в скрытых слоях модели. Ранее уже проводились попытки использования данного подхода, но у них были серьезные недостатки:
- Если логическая цепочка состоит из 16 шагов, необходимо выполнить 15 тренировок (при каждой следующей тренировке удаляется один шаг), что значительно увеличивает затраты;
- Кроме того, никто не мог гарантировать эффективность данного подхода — возможно, модель перестанет работать корректно в процессе тренировки.
3. Log-ICOТ: древовидная структура для повышения эффективности
Основной инновацией нового исследования является использование древовидной структуры при тренировке моделей, что позволяет устранить вышеупомянутые проблемы:
- Логические цепочки можно представить в виде деревьев; например, проверка парности/непарности 16-битного числа может быть реализована с помощью четырех уровней бинарных деревьев (на каждом уровне выполняются операции умножения пар).
- Промежутивные шаги хранятся целиком, а не по отдельности; для тренировки достаточно выполнить всего 4 этапа (log₂16 = 4), что значительно увеличивает эффективность.
- Каждый уровень модели соответствует определенному уровню дерева: первый уровень обрабатывает результаты операций на нижних уровнях, второй уровень — результаты предыдущих уровней и т. д., что позволяет модели работать более эффективно.
4. Математическое обоснование эффективности
Самым важным достижением статьи является представление строгих математических доказательств эффективности подхода ICoT:
- Согласно теореме, модели с использованием алгоритма Log-ICOТ могут быть тренированы с использованием полиномиального количества примеров и за время, эквивалентное log₂k, после чего они будут выдавать правильные результаты без значительных ошибок.
- Были решены две основные проблемы:
- Сжатие данных: многопроводные модели склонны к смещению центральной информации; исследователи ввели механизмы управления активностью слоев, чтобы предотвратить потерю данных;
- Распространение ошибок: небольшие ошибки, возникающие на ранних этапах тренировки, могут усиливаться; исследователи внесли изменения в алгоритм определения весов модулей обработки внимания, чтобы предотвратить их распространение.
5. Экспериментальные результаты
Исследователи провели эксперименты на задаче проверки парности/непарности 16-битных чисел:
- Процесс тренировки включал 4 этапа; на последнем этапе все промежутивные шаги были скрыты, и модель получала только исходные данные для обработки.
- Точность модели составила 100%; результаты анализа активности модулей обработки внимания показали, что модель действительно научилась работать „в уме“ (то есть без использования промежутивных шагов).
Перспективы и вызовы
- Перспективы: если данный подход будет применен в реальных моделях типа LLM (например, GPT), это позволит снизить потребление ресурсов и время обработки данных, что может существенно снизить затраты на использование AI-систем (например, стоимость API для ChatGPT).
- Вызовы: в настоящее время подход ICoT был проверен только на простых задачах; для реальных моделей типа LLM необходимо разработать соответствующие алгоритмы тренировки с учетом особенностей их структуры.
В целом, данное исследование переводит процесс обработки данных AI из области „техник“ в область научных подходов, открывая путь к более эффективным и экономичным решениям.