虎嗅

العنوان المترجم: وكيل الذكاء الاصطناعي: تظهر كلمة جديدة تتعلق بالأمان: “السلطة” شرح العنوان: تشير العبارة إلى أن استخدامات الذكاء الاصطناعي في المجالات الأمنية تؤدي إلى ظهور مفاهيم جديدة، مثل “السلطة”، التي تعبر عن القدرة على اتخاذ القرارات وتنفيذ الإجراءات اللازمة لحماية الأنظمة والبيانات. هذا التطور يثير اهتمام الصحافة المالية والأعمال، حيث يتم مناقشة تأثيرات الذكاء الاصطناعي على الأمن السيبراني والإداري.

原文:AI Agent 安全正在出现一个新的词:Authority

ملخص المحتوى الرئيسي

تدور هذه المقالة حول مشاكل الأمان المتعلقة بوكلاء الذكاء الاصطناعي (AI Agents) القادرين على تنفيذ المهام تلقائيًا: فإن أساليب التحقق من الهوية التقليدية (معرفة "من أنت") وإدارة الصلاحيات (معرفة "ما الذي يمكنك فعله") لم تعد كافية للتعامل مع سيناريوهات حيث يقوم وكلاء الذكاء الاصطناعي مباشرة بتشغيل الأنظمة (مثل الدفعات، تعديل البيانات، التحكم في الخوادم)، وذلك لأنه حتى مع صحة الهوية والصلاحيات، قد ينحرف تنفيذ معين من قبل الوكيل عن نوايا المستخدم الأصلية. لذلك، بدأت الصناعة في الاهتمام بمفهوم أمني جديد يُعرف بـ "التفويض" (Authority)، وهو يكمل النظام الأمني الحالي ويركز على مسألة "هل يجب أن يحدث هذا التنفيذ بالفعل"، وهو الضمان الأمني الأساسي لتحويل وكلاء الذكاء الاصطناعي من أدوات مساعدة إلى تطبيقات إنتاجية.

أولاً: نقاط الضعف في النماذج الأمنية التقليدية: تعترف فقط بـ "الأهلية" ولا تفحص "صحة الأفعال"

تعمل الأنظمة الأمنية التقليدية كبطاقات الدخول التي تصدرها الشركات لموظفيها: تؤكد أنك موظف في الشركة (الهوية) وتمنحك صلاحية الدخول إلى المنطقة المناسبة (التفويض)، لكنها لا تهتم إذا كنت تستخدم هذه الصلاحية للعمل أو لأمر آخر.

مع ظهور وكلاء الذكاء الاصطناعي، تفاقمت هذه النقاط الضعيفة: على سبيل المثال، قد يقوم وكيل الذكاء الاصطناعي المخول بالدفع بتحويل مبلغ 30 ألف إلى مبلغ 50 ألف للمورد أ بسبب خلل في البرنامج، حيث أن الهوية والصلاحيات صحيحتان، لكن التنفيذ خاطئ. لن تتحقق الأنظمة الأمنية التقليدية سوى من وجود صلاحية الدفع ولا تفحص ما إذا كان الدفع صحيحًا أم لا، مما يؤدي إلى حدوث أخطاء مباشرة.

ثانيًا: التفويض مقابل السلطة: الفرق بين "ما الذي يمكنك فعله" و"هل يمكنك فعله في هذه المرة"

يخلط الكثيرون بين هاتين الكلمتين، لكن جوهرهما مختلف تمامًا:

  • التفويض (Authorization): هو قائمة بالصلاحيات التي لديك لفعل شيء ما (مثل الصلاحية المالية لاستدعاء واجهات الدفع، أو صلاحية المهندسين لتشغيل الخوادم).
  • السلطة (Authority): هي ما إذا كان يُسمح لك بفعل شيء معين في هذه المرة (مثل وكيل الذكاء الاصطناعي المالي لا يمكنه الدفع إلا إذا طلب المستخدم ذلك صراحةً؛ إذا قام بالدفع من تلقاء نفسه، حتى مع وجود الصلاحية، سيتم رفضه).

ببساطة، التفويض هو "شهادة الأهلية"، بينما السلطة هي "تصريح لتنفيذ عملية معينة".

ثالثًا: لماذا يؤدي وكلاء الذكاء الاصطناعي إلى ظهور المشاكل؟ لأنهم يلغون "الحاجز البشري"

في الماضي، كان هناك حاجز بشري بين الصلاحيات والتنفيذ الفعلي: على سبيل المثال، كان الموظفون الماليون يتحققون من الفواتير والمبالغ والمستلمين قبل الدفع، مما يمنع العديد من الأخطاء.

القيمة الأساسية لوكلاء الذكاء الاصطناعي هي "الأتمتة"، حيث يقومون بتجاوز هذه الخطوات البشرية وينتقلون مباشرة من "استلام المهمة" إلى "تنفيذ العملية". مع اختفاء هذا الحاجز، أصبحت الأخطاء التي كانت تتم منعها البشر تتحول إلى خسائر فعلية (مثل تحويل الأموال بشكل خاطئ أو توقف الخدمات).

رابعًا: جوهر السلطة: التحول من "الثقة بالأشخاص" إلى "الثقة بقواعد النظام"

في الماضي، كان يتم اتخاذ قرارات "هل يجب أن يحدث هذا التنفيذ" بناءً على الحكم الشخصي والمنطق السليم؛ الآن، بعد انسحاب البشر من سلسلة التنفيذ، يجب أن تصبح هذه القرارات جزءًا من قواعد يمكن للنظام فهمها:

  • ربط المهام بالمستخدم: يمكن لوكلاء الذكاء الاصطناعي تنفيذ المهام التي يصرح بها المستخدم بوضوح فقط (مثل "معالجة فاتورة المورد أ")، ويتم رفض أي تنفيذ خارج هذا النطاق.
  • التحقق من السياق في الوقت الفعلي: عند الدفع، يجب التحقق من أن المستلم هو المورد المحدد، وأن المبلغ مطابق للفاتورة، وأنها لم تنته صلاحيتها.
  • آلية الإلغاء: إذا اكتشف المستخدم خطأ في المهمة، يمكنه إيقاف تنفيذ وكيل الذكاء الاصطناعي في أي وقت.

هذا يعني أن الإدارة الأمنية تتحول من "الثقة بأن شخصًا ما لن يفعل شيئًا خاطئًا" إلى "الثقة بأن القواعد ستمنع الأفعال الخاطئة".

خامسًا: السلطة كعتبة أساسية لدخول وكلاء الذكاء الاصطناعي إلى البيئات الإنتاجية

معظم وكلاء الذكاء الاصطناعي لا يزالون في مرحلة المساعدة (مثل كتابة التقارير، فحص البيانات)، حيث يمكن إعادة كتابة الأخطاء بسهولة؛ لكن إذا أرادوا القيام بعمليات إنتاجية (مثل الدفعات التلقائية، إدارة الخوادم السحابية، التحكم في الأجهزة الفعلية)، فإن تكلفة الأخطاء قد تكون باهظة للغاية (مثل تحويل مليون بشكل خاطئ، توقف النظام بأكمله).

في هذه الحالة، وجود آلية سلطة متطورة أصبح أمرًا حاسمًا لتحديد ما إذا كان يمكن استخدام وكلاء الذكاء الاصطناعي أم لا؛ يجب على الشركات التأكد من أن كل عملية يقوم بها الوكيل تخضع لفحص دقيق لمعرفة "هل يجب أن تحدث" قبل السماح له بالتحكم في العمليات. لذلك، تمثل السلطة الحد الفاصل بين استخدام وكلاء الذكاء الاصطناعي في "المختبرات" وفي "الأعمال الحقيقية".

خاتمة

قد لا تصبح مصطلح "السلطة" معيارًا صناعيًا، لكن المنطق وراءه مهم للغاية: الهدف النهائي من الأمان ليس "ما هي الصلاحيات التي لديك"، بل "هل يمكن أن يحدث هذا التنفيذ بالفعل". انتشار وكلاء الذكاء الاصطناعي يجبرنا على تحويل تركيزنا على كيفية استخدامهم بطريقة آمنة وفعالة.