العقبات في بنية “ترانسفورمر” تزداد وضوحًا، أربعة مسارات تقنية تخترق الحواجز… من سيكون اللاعب الرئيسي في الجولة القادمة من تطورات الذكاء الاصطناعي؟

ملخص الأساسيات

هذا التقرير يعتبر بمثابة دفعة باردة تُلقى على صناعة النماذج الكبيرة الشائعة حاليًا: جميع المنتجات الرئيسية للذكاء الاصطناعي (من GPT إلى Tongyi Qianwen في الصين) تعتمد في جوهرها على تقنية Transformer التي طرحتها جوجل في عام 2017، والتي دفعت صناعة الذكاء الاصطناعي إلى مستويات غير مسبوقة خلال السبع سنوات الماضية، لكنها وصلت الآن إلى حدود أدائها الطبيعية. الميزات الجديدة مثل “السياق الطويل” وتسريع عمليات التفكير التي رأيناها مؤخرًا هي في الواقع مجرد تصحيحات للعيوب الفطرية في التقنية القديمة، ولا تحل المشاكل الجوهرية مثل ارتفاع تكلفة الحوسبة بشكل جنوني، والاستهلاك الكبير للطاقة، وعدم القدرة على إنجاز المهام المعقدة.

هناك مجموعة من شركات الذكاء الاصطناعي الناشئة التي لا تحمل أعباء تقنية تاريخية، وقد وجدت أربع طرق مختلفة للتقدم التقني؛ كلها قادرة على زيادة سرعة النماذج الكبيرة بعدة أضعاف، وتقليل التكاليف إلى جزء بسيط منها، وحتى إنجاز مهام تفكير معقدة لا يمكن لـ Transformer القيام بها حاليًا. من المحتمل جدًا أن تكون هذه الشركات بمثابة قوة دافعة للجولة القادمة من تطور صناعة الذكاء الاصطناعي، وقد تغير بشكل جذري من نمط المنافسة في الصناعة.

---

تفسير مفصل وسهل الفهم

1. لماذا أصبحت التقنية السابقة “المثالية” عبئًا الآن؟

الميزة الرئيسية لـ Transformer هي في الوقت نفسه أكبر نقطة ضعف لها: طريقتها في معالجة النصوص “جامدة للغاية” – عندما تدخل 10,000 كلمة، يجب عليها مقارنة كل كلمة بالـ 9,999 كلمة المتبقية وحساب العلاقات بينها، وهو ما يعادل قراءة مقال من 10,000 كلمة وتفكير في كل تركيبة من الكلمات قبل أن تتمكن من فهم المعنى الكلي. هذا النموذج دقيق بالفعل، لكن تكلفته مرتفعة للغاية: يتطلب ذلك 50 مليون عملية ضرب، وتنفق OpenAI حوالي 50 مليار دولار سنويًا على شراء القدرات الحاسوبية. تتوقع وكالة الطاقة الدولية أن يتضاعف استهلاك مراكز البيانات العالمية للطاقة بحلول عام 2030، وهو ما يعادل استهلاك نصف الاتحاد الأوروبي تقريبًا. الأمر الأكثر إزعاجًا هو أن المهام التي يجب على الذكاء الاصطناعي القيام بها أصبحت أكثر تعقيدًا: مثل قراءة مكتبة كاملة من الكود، أو تنفيذ مهام بحثية بشكل مستقل لعدة أسابيع، أو التفكير في عشرات الآلاف من المسائل الرياضية، ولا يمكن لطريقة Transformer التعامل مع هذه المهام. الميزات الجديدة التي نراها الآن مجرد حلول مؤقتة لهذه المشاكل.

2. تقليل الاستهلاك الطاقي دون التأثير على الأداء

الطريقة الأولى عملية للغاية: لا تتخلى عن الإطار العام لـ Transformer، بل تركز على تحسين الجزء الأكثر استهلاكًا للطاقة، وهو مقارنة الكلمات واحدة تلو الأخرى، وتقليل العمليات الحسابية غير الضرورية. كانت هناك حلول مماثلة سابقًا مثل “الانتباه الخفيف”， لكن بعد تقليل الحسابات، انخفضت قدرة الذكاء الاصطناعي على فهم المعاني. شركتان ناشئتان حلتا هذه المشكلة تقريبًا: شركة Subquadratic طورت آلية تصفية ديناميكية تحدد في الوقت الفعلي أي الكلمات هي المعلومات الأساسية وأيها هي كلمات غير ضرورية، وتقوم فقط بمقارنة الكلمات المهمة، مما يزيد الأداء إلى مستوى النماذج الكبيرة الرئيسية المتوفرة في السوق، وهناك آلاف الأشخاص ينتظرون لتجربتها. شركة Manifest AI طورت نموذجًا جديدًا يستخدم “ملخصات متدحرجة” بدلاً من الانتباه الكامل التقليدي؛ مثل عندما تقوم بتدوين محضر اجتماع لمدة ثلاث ساعات، لا حاجة لتسجيل كل كلمة يقولها الناس، بل يتم تحديث المحتوى المتعلق بالمناقشة فقط، ويتم حذف المحتوى القديم تلقائيًا، مما يقلل الحسابات بشكل كبير، ويمكن للنماذج المفتوحة الموجودة استخدام هذه الميزة دون الحاجة إلى إعادة التدريب.

3. نماذج أصغر أكثر ذكاءً واستهلاكًا أقل للطاقة

الصناعة تعتقد عمومًا أن “كلما كانت معلمات النموذج الكبير أكبر، كان أكثر ذكاءً”， لكن شركة Liquid AI التي تأسست في معهد ماساتشوستس للتكنولوجيا تتبنى نهجًا معاكسًا: استخدمت “الشبكات العصبية السائلة” المستوحاة من دماغ الديدان مع تقنية Transformer، مما أدى إلى نموذج أصغر بكثير من النماذج الكبيرة العادية ولكن أكثر كفاءة بأربع مرات. النماذج الكبيرة التقليدية بعد التدريب تصبح “أقراص محفورة” ثابتة، ويتطلب إضافة معلمات جديدة لتحسين الأداء؛ لكن هذا النموذج السائل لديه القدرة على التكيف أثناء التشغيل وتعديل منطق التفكير بناءً على المعلومات الجديدة، مما يشبه الإنسان الذي يتعلم معلومات جديدة أثناء القراءة. يمكن تشغيل هذا النموج على لوحة تطوير Raspberry Pi بقيمة 50 دولارًا، وحتى الرقائق المنخفضة المستخدمة في السيارات، ويمكن للشركات ذات الدخل أقل من مليون دولار استخدامه مجانًا، مما يخفض عتبة استخدام النماذج الكبيرة بشكل كبير؛ في المستقبل، لن تحتاج إلى خوادم سحابية لمعظم المهام، ويمكن لهواتفك الذكية تشغيل ذكاء اصطناعي قوي محليًا دون مخاوف من تسرب الخصوصية أو بطء الاستجابة.

4. التخلص من المشاكل القديمة: السماح للذكاء الاصطناعي بإنتاج مقاطع كاملة دفعة واحدة

من يستخدم أدوات الدردشة الذكية يعرف أن الذكاء الاصطناعي ينتج النص كلمة تلو الأخرى، مما يؤدي إلى انتظار طويل للإجابة الكاملة. هذه مشكلة فطرية في تقنية Transformer: يجب عليها حساب كل كلمة قبل الانتقال إلى الكلمة التالية، مما يجعل الكفاءة منخفضة للغاية. الشركات الناشئة استخدمت تقنيات مثل تقنية الانتشار المتقدمة في مجال توليد الصور لتحسين أداء النماذج النصية؛ في السابق، كانت تقنية الانتشار تولد صورة عالية الدقة من نقاط عشوائية، والآن تم تعديل المنطق لتحويل مجموعة من الكلمات غير المرتبة إلى نص متسلسل دفعة واحدة. أحدث نموذج من شركة Inception يتمتع بأداء مماثل لنسخة GPT-4 من عام 2023، وتكلفته عُشرة أضعاف السابقة، وحتى جوجل تتبع هذا الاتجاه لتطوير منتجات تجريبية. في المستقبل، عندما تطرح سؤالًا على الذكاء الاصطناعي، ستحصل على الإجابة فورًا دون الحاجة إلى الانتظار.

5. التفكير خارج النمط التقليدي: تجنب استخدام النصوص واستخدام المنطق المجرد لحل المشكلات

جميع النماذج الكبيرة للذكاء الاصطناعي لديها حدود طبيعية في الأداء؛ يجب تحويل جميع عمليات التفكير إلى سلاسل نصية لإكمال المهام. هذه المشكلة تجعل من الصعب على الذكاء الاصطناعي حل المشكلات المعقدة التي لا يمكن وصفها بالكلمات. شركة Pathway استبدلت آلية الانتباه الأساسية في Transformer بمنطق رياضي يسمح للذكاء الاصطناعي بضغط المعلومات إلى هياكل رياضية مجردة، مما يمكنه من حل 97% من مشكلات السودوكو الصعبة. هذه الشركة تعتقد أن النماذج الكبيرة الحالية يمكنها فقط تعلم المعلومات الموجودة مسبقًا، ولحل المشكلات المعقدة مثل السرطان التي لا توجد لها حلول محددة، يجب التخلي عن الطريقة التقليدية للتفكير بالنصوص؛ هذا هو الشكل النهائي للجيل القادم من الذكاء الاصطناعي.