ملخص المحتوى الرئيسي
تركز هذه الأخبار على “نقاط الضعف في التكلفة” لنماذج التفكير الاستنتاجي باستخدام الذكاء الاصطناعي: حاليًا، عندما تستخدم الآلات الذكية خوارزميات التفكير الظاهري (CoT) لحل المشكلات، فإنها تنتج عددًا كبيرًا من الخطوات الوسيطة (مثل ملاحظات مكتوبة على ورقة المسودات)، مما يؤدي إلى استهلاك كبير للعناصر الرمزية (“tokens”) وبطء في عملية التفكير. لكن تقدم بحث جديد طريقة محسنة تُسمى “خوارزمية التفكير الخفي” (ICoT)، وهي خوارزمية Log-ICOت، التي تستخدم هياكل شجرية في عملية التدريب لتمكين النموذج من “دمج” الخطوات الوسيطة داخل طبقاته الخفية، بحيث يقوم فقط بإظهار الإجابة النهائية أثناء التفكير. ولأول مرة، تم إثبات فعالية هذه الخوارزمية رياضيًا، مما يوفر أساسًا نظريًا لتقليل تكاليف وتأخير عمليات التفكير باستخدام الذكاء الاصطناعي.
1. خوارزمية التفكير الظاهري: “ورقة المسودات” الباهظة الثمن
عندما تحل النماذج الذكية المسائل الرياضية أو تكتب الكود، فإنها تقوم بـ “التفكير” خطوة بخطوة مثل البشر، وتعبر عن هذه العمليات (مثل “حساب الرقم الأول ثم الرقم العاشر”) على شكل عناصر رمزية (“tokens”). لكن هناك مشكلتان رئيسيتان:
- التكلفة العالية: قد تكون تكلفة إنتاج العناصر الرمزية اللازمة لحل مسألة معقدة أكثر بكثير من تكلفة المحادثات العادية، مما يؤدي إلى زيادة كبيرة في استهلاك الموارد الحاسوبية.
- البطء: خطوات التفكير تتم بشكل متسلسلي (يجب إكمال الخطوة السابقة قبل الانتقال إلى الخطوة التالية)، وكلما طالت سلسلة الخطوات، زاد الوقت المستغرق.
على سبيل المثال، عندما تساعد طفلاً في حساب 123 × 45، يجب أن تنتظر حتى ينهي كتابة كل خطوة قبل أن ترى النتيجة؛ وهذا هو ما يحدث في خوارزمية التفكير الظاهري للذكاء الاصطناعي، حيث تستهلك الخطوات الوسيطة (العناصر الرمزية) الموارد والوقت.
2. خوارزمية التفكير الخفي: محاولة جعل الذكاء الاصطناعي يقوم بـ “الحساب الذهني” مباشرة
هل هناك طريقة لجعل الذكاء الاصطناعي يقدم الإجابة مباشرة دون كتابة خطوات وسيطة؟ هذا هو الهدف من خوارزمية ICoT: إخفاء الخطوات الوسيطة داخل طبقات النموج الخفية (“الدماغ”). كانت هناك محاولات سابقة لتطبيق هذه الخوارزمية، حيث يتم أولاً استخدام خوارزمية التفكير الظاهري لحل المسائل، ثم تقليل عدد الخطوات الوسيطة تدريجيًا (إخفاء عنصر رمزي واحد في كل مرة) لتعتاد النماذج على “الحساب الذهني”.
لكن هناك عيوب واضحة: إذا كانت سلسلة التفكير تتكون من 16 خطوة، فسيتعين إجراء 15 جولة من التدريب (إخفاء عنصر واحد في كل مرة)، مما يؤدي إلى زيادة تكاليف التدريب بشكل خطي. الأهم من ذلك أنه لا يوجد دليل قاطع على فعالية هذه الطريقة؛ فهل قد يتسبب ذلك في حدوث مشاكل أثناء التدريب؟
3. خوارزمية Log-ICOت: تحسين كفاءة الحساب الذهني باستخدام هياكل شجرية
الابتكار الرئيسي في هذا البحث يتمثل في إعادة تصميم دورات التدريب باستخدام هياكل شجرية، مما يحل المشاكل السابقة في كفاءة النماذج:
- جوهر عملية التفكير يمكن تمثيله بشكل شجري: على سبيل المثال، عملية التحقق من صحة نتيجة الضرب (مثل ما إذا كانت النتيجة زوجية أم فردية) يمكن تفكيكها إلى 4 طبقات شجرية (كل طبقة تحتوي على عمليات ضرب ثنائية).
- إخفاء جميع الخطوات دفعة واحدة: بدلاً من إخفاء عنصر رمزي واحد في كل مرة، يتم إخفاء طبقة كاملة من الهيكل الشجري دفعة واحدة. على سبيل المثال، لسلسلة تتكون من 16 خطوة، يكفي إجراء 4 جولات من التدريب فقط (log₂16 = 4)، مما يزيد الكفاءة بأكثر من ثلاثة أضعاف.
- تنسيق طبقات النموج: كل طبقة في النموذج تتوافق مع طبقة معينة من الهيكل الشجري؛ حيث تقوم الطبقة الأولى بمعالجة نتائج عمليات الضرب بين العناصر في الطبقة السفلى، والطبقة التالية تعالج نتائج الطبقة السابقة، وهكذا دواليك. هذا يضمن عمل النموذج بشكل منظم ودون حدوث خلط.
4. الإنجاز النظري: إثبات فعالية خوارزمية ICoT رياضيًا لأول مرة
أهم جانب في هذا البحث هو أنه تم إثبات فعالية خوارزمية ICoT رياضيًا بشكل دقيق:
- استنادًا إلى النتائج النظرية، يمكن لطبقات النموذج باستخدام خوارزمية Log-ICOت أن تقدم الإجابة الصحيحة بعد عدد قليل جدًا من العينات وجولات التدريب (log₂k).
- تم حل مشكلتين رئيسيتين:
- انهيار التمثيل: الطبقات المتعددة في النماذج قد تؤدي إلى “توحيد” المعلومات، لكن الفريق استخدم آليات خاصة لضمان عدم فقدان المعلومات (مثل تنشيط العناصر الرمزية المتوافقة مع كل طبقة من الهيكل الشجري فقط).
- انتشار الأخطاء: الأخطاء الصغيرة التي تحدث أثناء التدريب قد تتضخم، لكن الفريق قام بتقريب قيم وزنات عمليات التركيز (“الانتباه”) للحفاظ على الطبقات المدربة بشكل صحيح ومنع انتشار الأخطاء.
5. التجارب العملية: تحسين كفاءة الحساب الذهني بعد 4 جولات من التدريب
قام الفريق باختبار هذه الخوارزمية على مهمة التحقق من صحة نتيجة الضرب لـ 16 بت:
- تم إجراء 4 جولات من التدريب (تمثل 4 طبقات شجرية)، وفي الجولة الأخيرة تم عرض النتائج الصحيحة مباشرة بعد إكمال جميع الخطوات.
هذا يثبت أن خوارزمية ICoT فعالة في تحسين كفاءة الحساب الذهني للذكاء الاصطناعي.
بشكل عام، يُظهر هذا البحث إمكانات جديدة في استخدام الذكاء الاصطناعي لحل المسائل بشكل أسرع وأكثر دقة، مما قد يؤثر إيجابًا على تطبيقات مختلفة مثل الروبوتات والتحليلات البيانية.