ملخص المحتوى الرئيسي
أصبح مشروع مجتمعي يُدعى “J-Space Cognition Suite” شائعًا مؤخرًا، حيث يدعي أنه من خلال استخدام أداة مساعدة تُسمى “Harness” بدلاً من تعديل نموذج DeepSeek V4-Pro نفسه، يمكن تحسين أداء النموذج بشكل كبير بحيث يتجاوز أداء نموذج Fable 5. لكن هناك ثلاثة جدالات رئيسية حول هذا الادعاء:
1. عدم وجود نتائج مُكررة من قبل أطراف ثالثة (جميع البيانات تم اختبارها من قبل المشروع نفسه)،
2. الاسم المشابه لـ J-Space الخاص بشركة Anthropic مما أدى إلى سوء فهم (التقنيات مختلفة تمامًا)،
3. زيادة استهلاك الرموز (Tokens) بشكل كبير أثناء الاستخدام الفعلي (مما يؤدي إلى ارتفاع التكاليف).
يعكس هذا الأمر الاتجاهات الحالية في تطوير أدوات مساعدة نماذج الذكاء الاصطناعي: سد الثغرات في المهام وتنوع الطرق (أدوات عامة مقابل أدوات مخصصة لنماذج محددة).
1. الترويج المبالغ فيه، لكن لا أحد يستطيع تكرار النتائج
يدعي المشروع أن استخدام أداة “Harness” أدى إلى تحسين نتائج نموذج DeepSeek V4-Pro بشكل ملحوظ في عدة اختبارات (مثل زيادة الدرجة من 61.5 إلى 73.4 في NL2Repo، ومن 87.9 إلى 90.1 في Terminal-Bench 2.1). لكن هذه البيانات تم اختبارها فقط من قبل المشروع نفسه، وحتى الآن لم يتمكن أي فريق آخر من إعادة إنتاج نفس النتائج باستخدام نفس الشروط (إصدار النموذج، بيئة الاختبار، المعلمات).
لماذا يُعتبر إعادة الإنتاج مهمًا جدًا؟ لأن النتائج قد تكون نتيجة تلاعب داخلي (مثل تعديل شروط الاختبار سرًا أو وجود عوامل عشوائية في البيانات). بدون تحقق من قبل أطراف ثالثة، يمكن اعتبار هذه التحسينات مجرد ادعاءات لا أساس لها من الصحة. حاول بعض المطورين إعادة إنتاج النتائج، لكن دون جدوى، بل كانت النتائج أسوأ.
2. لا تخلطوا بينهما! J-Space لا علاقة له بشركة Anthropic
يعتقد الكثيرون أن “J-Space” مرتبط بشركة Anthropic (المطورة لنموذج Claude)، لكن في الواقع هما منفصلان تمامًا:
- J-Space الخاص بشركة Anthropic: يُستخدم لدراسة آليات عمل نموذج Claude الداخلية (مثل كيفية نقل المعلومات وحفظ الذاكرة)، وهو جزء من بحوث داخلية للشركة،
- مشروع J-Space المجتمعي: يُستخدم كأداة مساعدة خارجية لنموذج DeepSeek، تتعلق بإجراءات تنفيذ المهام (مثل متى يتم إعادة المحاولة، وكيفية تسجيل التقدم، وكيفية تحديد اكتمال المهام).
الاسم المشابه هو مجرد صدفة (أو ربما للاستفادة من شعبية شركة Anthropic)، لكنه أدى إلى سوء فهم كبير.
3. هل الاستخدام يزيد التكاليف؟ زيادة استهلاك الرموز بشكل كبير
الرموز (Tokens) هي وحدات التكلفة في نماذج الذكاء الاصطناعي؛ كلما زاد استهلاكها أثناء تنفيذ المهام، زادت التكاليف. اكتشف بعض المطورين أن استخدام أداة J-Space يؤدي إلى زيادة استهلاك الرموز بمقدار 2 إلى 4 أضعاف (مثل زيادة التكاليف بنسبة 50% إلى 3 أضعاف عند اختبار نسخة V4 Flash). لم يؤد استخدام الأداة إلى تحسين الأداء، بل في بعض الحالات كان أسوأ من غيرها.
هذا يعني أن التحسينات المزعومة قد لا تكون مجدية اقتصاديًا، خاصة بالنظر إلى أن التكلفة تُعد عاملاً رئيسيًا عند استخدام الذكاء الاصطناعي في الشركات.
4. أدوات مساعدة نماذج الذكاء الاصطناعي تحاول سد الثغرات
يهدف هذا المشروع إلى حل مشاكل شائعة عند استخدام نماذج الذكاء الاصطناعي في تنفيذ المهام الطويلة، مثل:
- الانحراف في التمثيل: نسيان الهدف أثناء تنفيذ المهام (مثل تكرار خطوات مكتملة أو الانحراف عن المحتوى الأساسي)،
- الإيقاف المبكر: إعلان اكتمال المهمة قبل إتمامها بشكل صحيح.
تعمل أدوات مساعدة نماذج الذكاء الاصطناعي على تحسين هذه الجوانب، لكن لم يتم العثور بعد على حل مثالي.
تشمل التطورات الحالية تحديثات في أدوات مثل لوحات تتبع تقدم المهام (لمنع الانحراف)، واستخدام طرق لتقليل استهلاك الذاكرة دون فقدان المعلومات، بالإضافة إلى تغيير طرق تحديد اكتمال المهام من قبل النموج نفسها إلى أدوات خارجية.
5. اتجاهان رئيسيان لتطوير أدوات مساعدة نماذج الذكاء الاصطناعي: عامة أم مخصصة؟
هناك اتجاهان رئيسيان في تطوير أدوات مساعدة نماذج الذكاء الاصطناعي:
- الأدوات العامة (مثل OpenCode): تهدف إلى التكيف مع جميع النماذج وتقسيم المهام إلى أجزاء يتولى كل جزء منها وظائف محددة (مثل التخطيط والتنفيذ)، لكن إدارة الصلاحيات قد تكون معقدة.
- الأدوات المخصصة (مثل أداة DSH الخاصة بشركة DeepSeek ومكتبة SDK الخاصة بشركة OpenAI): تُطور من قبل مصنعي النماذج لتلبية احتياجاتهم الخاصة، مما يوفر استقرارًا أفضل، لكنها تُستخدم فقط مع نماذجهم.
كلا الاتجاهين لهما مزايا وعيوب؛ لا يوجد حل “مثالي” بعد.
خلاصة
يبدو أن مشروع J-Space في الأساس محاولة تسويقية، رغم اقتراحه لحلول محتملة لمشاكل تنفيذ المهام الطويلة، إلا أنه يفتقر إلى التحقق العلمي ويؤدي إلى زيادة في التكاليف. يُظهر هذا أن تحسين أداء نماذج الذكاء الاصطناعي لا يعتمد فقط على النموذج نفسه، بل أيضًا على الأدوات المساعدة المستخدمة. في المستقبل، ستركز تطورات هذه الأدوات على إيجاد التوازن بين تحسين الأداء وخفض التكاليف، مع الاستمرار في استكشاف الطرق المختلفة (العامة أو المخصصة).
بالنسبة للمستخدمين العاديين والشركات، يجب عدم الاعتماد بشكل أعمى على الإعلانات التي تدعي تحسينات كبيرة دون تحقق من صحتها، والتأكد من وجود نتائج مُكررة من قبل أطراف ثالثة ومناسبة التكاليف.