في مقال مطول نُشر خلال عطلة نهاية الأسبوع، قدم الرئيس التنفيذي لشركة Anthropic، داريو أمودي، اقتراحًا كانت صناعة الذكاء الاصطناعي سترفضه على الفور حتى قبل عام مضى: تضمين مقيمين خارجيين داخل جميع شركات الذكاء الاصطناعي الحدودية، ومنحهم القدرة على الإبلاغ عن حوادث السلامة، وتقييم ما إذا كانت نماذج الذكاء الاصطناعي متوافقة حقًا، ومشاركة نتائجهم الصريحة مع العالم.
وقال أمودي إن شركة Anthropic ستلتزم بمنح مقيمين مستقلين مثل METR وRedwood Research وصولاً غير مسبوق إلى أنظمة الشركة. وقال الرئيس التنفيذي سام ألتمان إن شركة OpenAI ستلتزم أيضًا بهذه الممارسة، مما يشير إلى تغيير عميق محتمل في كيفية عمل الصناعة مع مجموعات بحثية خارجية.
رحب المقيمون الخارجيون الذين تحدثوا إلى TechCrunch على نطاق واسع بالاقتراح، لكنهم قالوا إنه يجب تسوية التفاصيل – ودعمها بشكل مثالي بالتشريعات – إذا أرادوا معرفة ما إذا كانوا سيعملون كهيئات رقابة مستقلة حقًا أو بائعين يعملون وفقًا لشروط شركات الذكاء الاصطناعي.
لقد أصبح هذا الوصول الأعمق أكثر أهمية مع تحسن النماذج في التعرف على الوقت الذي يتم فيه تقييمها، مما يزيد من خطر تصرفها بشكل جيد أثناء الاختبار مع إخفاء السلوك الإشكالي. يقول الباحثون إن الأدلة على هذا السلوك يمكن تفويتها عند اختبار النموذج النهائي، ولكن يتم اكتشافها من خلال التحقيق في كيفية تصرفها طوال التدريب.
“يجب أن تكون شركات الذكاء الاصطناعي قادرة على الإجابة على بعض الأسئلة الأساسية للغاية حول عملية التدريب الخاصة بها، مثل: هل حاول الذكاء الاصطناعي بشكل فعال تقويض تدريب المواءمة الخاص به أثناء خضوعه للتدريب؟” وقال ألكسندر مينكي، رئيس قسم الأبحاث في شركة أبولو للأبحاث، لـ TechCrunch. “يجب أن تكون الإجابة على هذا السؤال لا لا لبس فيه، ونحن الآن نعتمد بشكل كامل على شركات الذكاء الاصطناعي للتحقق من ذلك بعناية بنفسها ثم الإبلاغ عن ذلك بصدق للجمهور. وقد رأينا من الحوادث الأخيرة أنهم، افتراضيًا، لن يفعلوا أيًا منهما. وباعتبارنا مقيمين مدمجين، يمكننا التحقق بالفعل”.
تاريخيًا، قامت شركات الذكاء الاصطناعي بإحضار مراجعين خارجيين لاختبار النماذج النهائية قبل وقت قصير من إصدارها. الآن، يقترح المقيمون الذين تحدثت معهم TechCrunch منحهم إمكانية الوصول ليس فقط إلى النموذج النهائي، ولكن أيضًا إلى الإصدارات المتوسطة، أو “نقاط التفتيش”، من فترة التدريب. قال آدم جليف، الرئيس التنفيذي لشركة Far.AI، إن المقيمين يمكنهم مقارنة نقاط التفتيش هذه لتحديد متى ظهر السلوك المقلق، وفحص بيئة ما بعد التدريب التي تكافئ النماذج على سلوكيات معينة، والتحقق من نصوص وسجلات التقييم للتحقق من ادعاءات الشركة حول كيفية أداء النموذج.
ومن غير الواضح ما إذا كانت شركتا Anthropic وOpenAI تخططان لتوفير هذا النوع من الوصول ومتى. لم تشارك أي من الشركتين أي من المقيمين سيعملون معهم، ومتى سيتم دمجهم، وعددهم، وما هي الأنظمة والمعلومات التي سيتمكنون من الوصول إليها بالضبط أو ما يمكن الكشف عنه للجمهور، على الرغم من الأسئلة المتكررة من TechCrunch.
إن النظر تحت غطاء المحرك بهذه الطريقة أمر مهم لأن النماذج التي تحقق أداءً جيدًا في اختبارات السلامة ليست بالضرورة آمنة إذا تعلمت على وجه التحديد كيفية اجتياز هذا الاختبار. وأشار ستيدلي إلى مثال على “معيار مقاومة الإغلاق” الذي يقيس ما إذا كان الذكاء الاصطناعي سيقاوم الإغلاق في ظروف معينة.
وقال ستيدلي: “من المهم للغاية أن يتم تدريب الذكاء الاصطناعي خصيصًا لأداء جيد وفقًا لهذا المعيار”، مقارنًا ذلك بفضيحة ديزلجيت من فولكس فاجن، حيث تمت برمجة السيارات للتعرف على اختبارات الانبعاثات والأداء بشكل مختلف في ظل ظروف الاختبار.
وأشار جليف إلى أن الوصول الهادف يمكن أن يمتد إلى ما هو أبعد من النماذج نفسها، مع منح المقيمين إمكانية الوصول إلى مقابلة الموظفين للتحقق مما إذا كانت وثائق الشركة والأوصاف العامة لممارسات السلامة الخاصة بها تتطابق مع ما حدث داخليًا.
لقد أوجز أمودي اقتراحًا شاملاً إلى حدٍ ما قد يمنح المُقيّمين نوع الوصول الذي يعتقدون أنه ضروري، بما في ذلك الحق في “نشر النتائج الرئيسية حول مستويات المخاطر والحوادث والممارسات والوصول الذي تلقوه أو لم يتلقوه – دون سيطرة تحريرية من قبل الأنثروبيك”.
لكن المقيِّمين يقولون إن مثل هذا النظام لن ينجح إلا إذا كانت شركات الذكاء الاصطناعي مستعدة بالفعل للتخلي عن سيطرتها على العملية. وتشير الجهود السابقة في التقييمات المستقلة إلى أن تحقيق هذا الاستسلام سيكون أمراً صعباً، حيث غالباً ما تواجه الأطراف الثالثة توترات بشأن الوصول، والوقت، والسرية، وما يمكنهم قوله علناً.
وقال جليف إن شركة Far.AI اضطرت إلى رفض العقود المبرمة مع العديد من المطورين المبتدئين الذين أرادوا قدرًا كبيرًا من السيطرة على عملية التقييم، مما يهدد استقلال الشركة. بشكل افتراضي، قال إن المُقيّمين يُعاملون مثل المقاولين العاديين: ملزمون باتفاقيات عدم الإفصاح المقيدة والاتفاقيات التي تمنح المطورين سيطرة كبيرة على ما يمكن نشره في النهاية.
الحد الزمني
هناك أيضًا سؤال حول ما إذا كان المراجعون سيحصلون على ما يكفي من الوقت والوصول للقيام بالعمل الذي يُطلب منهم القيام به. عند التحقيق في حادثة Hugging Face، منحت OpenAI شركتي METR وRedwood أسبوعًا تقريبًا في مقر العمل للتحقيق، وقال كلاهما لاحقًا إنهما لم يتمكنا من استخلاص استنتاجات موثوقة، ويرجع ذلك جزئيًا إلى قيود النطاق والتوقيت.
حدثت مشكلة مماثلة أثناء اختبار ما قبل الإصدار لـ GPT-6 Astra، والذي وصفته OpenAI بأنه النموذج الأكثر توافقًا حتى الآن. وفقًا لمساهمة شركة Apollo Research في البطاقة النموذجية، تم منح الشركة ثلاثة أيام فقط لاختبار Astra، مما جعل من الصعب استخلاص استنتاجات قاطعة.
وكتبت الشركة في تقييمها: “تعتقد شركة أبولو أنه، نظرًا لارتفاع معدلات الوعي بالتقييم ونافذة التقييم المحدودة، فإن المعدلات المنخفضة لسوء السلوك هنا لا تقدم دليلاً جوهريًا حول محاذاة النموذج أو عدم محاذاة النموذج”.
يترك هذا السجل للمقيمين سؤالاً أساسيًا: لماذا يجب أن تكون هذه المرة مختلفة؟
قال جليف: “من الممكن بالتأكيد أن يكون داريو وسام قد غيرا رأيهما، وسيكونان منفتحين للغاية بشأن هذا الأمر”. “لكن الملكية الفكرية لهذه الشركات ذات قيمة كبيرة للغاية بالنسبة لهم، وأعتقد أنهم، بشكل افتراضي، سيكونون حذرين للغاية بشأن ما يمكن مشاركته”.
دعا العديد من الباحثين الذين تحدثوا إلى TechCrunch إلى إطار عمل شفاف يتفقون عليه جميعًا علنًا. يقول جون ستيدلي، رئيس قسم الإستراتيجية في شركة Palisades Research، إن جزءًا من الإطار يجب أن يشتمل على معايير لأنواع المدققين الذين يمكن للشركات الاعتماد عليهم، خشية أن يحاولوا تجنب المشكلة عن طريق شراء مقيمين غير مؤهلين أو غير مهتمين بتقييم المخاطر الأكثر إثارة للقلق.
يقول هنري باباداتوس، المدير التنفيذي لشركة Safer AI، إن المشكلة، حتى مع وجود إطار عام، هي أن التدابير الطوعية تعتمد دائمًا على حسن نية الشركة.
قال باباداتوس لـ TechCrunch: “من الناحية المثالية، سيكون لدينا تنظيم جيد يفرض هذا … لأنه عندها لا يمكن للشركات تغيير رأيها غدًا إذا كانت لديها أزمة علاقات عامة كبيرة”، مشيرًا إلى أنها أيضًا وسيلة جيدة لدفع جميع الشركات إلى الالتزام بالقواعد، وليس فقط الشركات الأكثر استعدادًا.
لم يقم الجميع بتسجيل الدخول. وحتى الآن، لم تلتزم ميتا، وسبيس إكس آي، وجوجل ديب مايند بدمج مقيمين من طرف ثالث، على الرغم من أن الرئيس التنفيذي لشركة ديب مايند ديميس هاسابيس اقترح إنشاء هيئة منفصلة للمعايير الصناعية لاختبار النماذج الرائدة بشكل مستقل. كما ناقشت شركات Google وOpenAI وAnthropic بشكل خاص خطط سلامة الذكاء الاصطناعي منذ أسابيع.
لقد تم بالفعل تشكيل بعض القوانين حول فكرة المقيمين من طرف ثالث. يتطلب قانون SB 53 في كاليفورنيا، الذي تم التوقيع عليه ليصبح قانونًا في العام الماضي، من مطوري الذكاء الاصطناعي الكبار نشر أطر السلامة والإبلاغ عن حوادث السلامة الحرجة. ويخلق القانون الجديد، SB 813، الذي تم التوقيع عليه هذا الشهر، إطارًا لـ “منظمات التحقق المستقلة” المعترف بها من قبل الدولة والتي تتمتع بالخبرة في تقييم مخاطر الذكاء الاصطناعي.
في أوروبا، يتطلب قانون الذكاء الاصطناعي للاتحاد الأوروبي من المطورين الحدوديين إجراء وتوثيق تقييمات النماذج واختبارات الخصومة والإبلاغ عن الحوادث الخطيرة. يمكن لمكتب الذكاء الاصطناعي التابع للاتحاد الأوروبي أيضًا إجراء تقييماته الخاصة وتعيين خبراء مستقلين.
في الوقت الحالي، يظل القانون أقل اتساعًا مما يقترحه أمودي، مما يترك المختبرات الحدودية مسؤولة إلى حد كبير عن تحديد مقدار التدقيق المستقل الذي ستخضع له. وقال باباداتوس إن التنظيم الذاتي الطوعي أفضل من لا شيء، ولكن في نهاية المطاف، لا يمكن للشركات أن تطالب بالحرية في التحكم في قواعد السلامة الخاصة بها بينما تطلب أيضًا من الجمهور الثقة في أنهم يتبعونها.
وقال باباداتوس: “لا يمكنك أن تحظى بالأمرين في الاتجاهين، دون أن تخضع للمساءلة خارجياً، ثم تقول: “سأحصل على قواعدي المرنة الخاصة”.
عندما تقوم بالشراء من خلال الروابط الموجودة في مقالاتنا، قد نكسب عمولة صغيرة. هذا لا يؤثر على استقلالنا التحريري.
