تحتاج عمليات تدقيق نموذج الذكاء الاصطناعي إلى نهج “الثقة ، ولكن التحقق” لتعزيز الموثوقية
فيما يلي وظيفة ضيف ورأي صموئيل بيرتون ، CMO في Polyhedra.
تظل الموثوقية ميراجًا في عالم النماذج المتزايدة باستمرار ، مما يؤثر على اعتماد الذكاء الاصطناعي السائد في القطاعات الحرجة مثل الرعاية الصحية والتمويل. تعتبر عمليات التدقيق النموذجية منظمة العفو الدولية ضرورية في استعادة الموثوقية في صناعة الذكاء الاصطناعى ، مما يساعد المنظمين والمطورين والمستخدمين على تعزيز المساءلة والامتثال.
ولكن يمكن أن تكون عمليات تدقيق النماذج منظمة العفو الدولية غير موثوق بها لأن مدققي الحسابات يتعين عليهم مراجعة مراحل المعالجة المسبقة (التدريب) بشكل مستقل ، والمعالجة (الاستدلال) ، وما بعد المعالجة (النشر النموذجي). إن نهج “الثقة ، ولكن التحقق” يحسن الموثوقية في عمليات التدقيق ويساعد المجتمع على إعادة بناء الثقة في الذكاء الاصطناعي.
أنظمة تدقيق نموذج الذكاء الاصطناعى التقليدية غير موثوق بها
تعد عمليات التدقيق النموذجية لمنظمة العفو الدولية مفيدة لفهم كيفية عمل نظام الذكاء الاصطناعى ، وتأثيره المحتمل ، وتقديم تقارير قائمة على الأدلة لأصحاب المصلحة في الصناعة.
على سبيل المثال ، تستخدم الشركات تقارير التدقيق لاكتساب نماذج الذكاء الاصطناعى بناءً على العناية الواجبة والتقييم والفوائد المقارنة بين نماذج البائعين المختلفة. تضمن هذه التقارير كذلك أن المطورين اتخذوا الاحتياطات اللازمة في جميع المراحل وأن النموذج يتوافق مع الأطر التنظيمية الحالية.
لكن عمليات التدقيق النموذجية لمنظمة العفو الدولية عرضة لقضايا الموثوقية بسبب أداءها الإجرائي المتأصل وتحديات الموارد البشرية.
وفقًا لمجلس AI الخاص بمجلس حماية البيانات الأوروبية (EDPB) قائمة المراجعة، تدقيق من أ “تنفيذ وحدة التحكم لمبدأ المساءلة” و “التفتيش/التحقيق التي أجراها سلطة إشرافية” يمكن أن يكون مختلفًا ، مما يخلق ارتباكًا بين وكالات الإنفاذ.
تغطي قائمة مراجعة EDPB آليات التنفيذ ، والتحقق من البيانات ، والتأثير على الموضوعات من خلال عمليات التدقيق الخوارزمية. لكن التقرير يعترف أيضًا بأن عمليات التدقيق تعتمد على الأنظمة الحالية ولا تتساءل “ما إذا كان يجب أن يكون هناك نظام في المقام الأول.”
إلى جانب هذه المشكلات الهيكلية ، تتطلب فرق المدقق معرفة المجال المحدثة لعلوم البيانات والتعلم الآلي. كما أنها تتطلب تدريبًا كاملاً واختبارًا وأخذ عينات من إنتاجات الإنتاج عبر أنظمة متعددة ، مما يخلق سير عمل معقدة وترابط.
يمكن لأي فجوة في المعرفة أو خطأ بين تنسيق أعضاء الفريق أن يؤدي إلى تأثير متتالي وإبطال عملية التدقيق بأكملها. عندما تصبح نماذج الذكاء الاصطناعى أكثر تعقيدًا ، سيكون للمراجعين مسؤوليات إضافية للتحقق من التقارير والتحقق منها بشكل مستقل قبل التوافق التجميعي والفحوصات العلاجية.
تقدم تقدم صناعة الذكاء الاصطناعى بسرعة في تجاوز قدرة المدققين وقدرتهم على إجراء تحليل الطب الشرعي وتقييم نماذج الذكاء الاصطناعى. هذا يترك فراغًا في أساليب التدقيق ، ومجموعات المهارات ، والإنفاذ التنظيمي ، وتعميق أزمة الثقة في عمليات تدقيق نموذج الذكاء الاصطناعي.
تتمثل المهمة الأساسية للمراجع في تعزيز الشفافية من خلال تقييم المخاطر والحوكمة والعمليات الأساسية لنماذج الذكاء الاصطناعي. عندما يفتقر المدققون إلى المعرفة والأدوات اللازمة لتقييم الذكاء الاصطناعي وتنفيذها في البيئات التنظيمية ، يتم تآكل ثقة المستخدم.
تقرير ديلويت الخطوط العريضة الخطوط الثلاثة للدفاع عن الذكاء الاصطناعي. في السطر الأول ، يتحمل أصحاب النماذج والإدارة المسؤولية الرئيسية لإدارة المخاطر. يتبع ذلك السطر الثاني ، حيث يوفر عمال السياسة الرقابة اللازمة للتخفيف من المخاطر.
الخط الثالث للدفاع هو الأهم ، حيث يقوم المدققون بقياس الخطين الأول والثاني لتقييم الفعالية التشغيلية. بعد ذلك ، يقدم المدققون تقريرًا إلى مجلس الإدارة ، وجمع البيانات حول أفضل ممارسات وامتثال نموذج الذكاء الاصطناعي.
لتعزيز الموثوقية في عمليات تدقيق نموذج الذكاء الاصطناعى ، يجب على الناس والتكنولوجيا الأساسية تبني فلسفة “ثقة ولكن تحقق” أثناء إجراءات التدقيق.
نهج “الثقة ، ولكن تحقق” من عمليات تدقيق نموذج الذكاء الاصطناعي
“الثقة ، لكن التحقق” هو المثل الروسي الذي شاعه الرئيس الأمريكي رونالد ريغان خلال معاهدة الأسلحة النووية للاتحاد الأمريكي والولايات المتحدة. ريغان موقف ل “إجراءات التحقق المكثفة التي من شأنها أن تمكن الجانبين من مراقبة الامتثال” مفيد لإعادة الموثوقية في عمليات تدقيق نموذج الذكاء الاصطناعي.
في نظام “الثقة ولكن تحقق من” ، تتطلب عمليات تدقيق نموذج الذكاء الاصطناعي تقييمًا مستمرًا والتحقق قبل الوثوق بنتائج التدقيق. في الواقع ، هذا يعني أنه لا يوجد شيء مثل تدقيق نموذج الذكاء الاصطناعي ، وإعداد تقرير ، وافتراض أنه صحيح.
لذلك ، على الرغم من إجراءات التحقق الصارمة وآليات التحقق من الصحة لجميع المكونات الرئيسية ، فإن مراجعة نموذج الذكاء الاصطناعى ليست آمنة أبدًا. في ورقة بحثية ، قام مهندس ولاية بنسلفانيا فيل لابلانتي وعضو قسم أمن الكمبيوتر NIST مُسَمًّى هذا “الثقة ولكن تحقق باستمرار” بنية الذكاء الاصطناعي.
إن الحاجة إلى التقييم المستمر وتأكيد الذكاء الاصطناعي المستمر من خلال الاستفادة من “الثقة ولكن التحقق من البنية التحتية” بشكل مستمر “أمر بالغ الأهمية لعمليات تدقيق نموذج الذكاء الاصطناعي. على سبيل المثال ، غالبًا ما تتطلب نماذج الذكاء الاصطناعى إعادة تقييم ما بعد الحدث لأن مهمة أو سياق النظام يمكن أن تتغير خلال عمرها.
تساعد طريقة “الثقة ولكن التحقق” أثناء عمليات التدقيق في تحديد تدهور أداء النموذج من خلال تقنيات جديدة للكشف عن الأعطال. يمكن لفرق التدقيق نشر استراتيجيات الاختبار والتخفيف من خلال المراقبة المستمرة ، وتمكين المدققين من تنفيذ خوارزميات قوية وتحسين مرافق المراقبة.
لكل لابلانتي وكون ، “تعد المراقبة المستمرة لنظام الذكاء الاصطناعي جزءًا مهمًا من نموذج عملية ضمان ما بعد النشر.” يمكن أن تكون هذه المراقبة من خلال عمليات تدقيق الذكاء الاصطناعي التلقائي حيث يتم تضمين اختبارات التشخيص الذاتي الروتينية في نظام الذكاء الاصطناعي.
نظرًا لأن التشخيص الداخلي قد يواجه مشاكل ثقة ، يمكن لمصعد الثقة مع مزيج من الأنظمة البشرية والآلي مراقبة الذكاء الاصطناعي. توفر هذه الأنظمة عمليات تدقيق أقوى من الذكاء الاصطناعي عن طريق تسهيل تحليل تسجيل مربعات ما بعد الوفاة والأسود للتحقق من النتائج المستند إلى السياق بأثر رجعي.
يتمثل الدور الأساسي في المدقق في الحكم ومنع نماذج الذكاء الاصطناعي من عبور حدود عتبة الثقة. يتيح نهج “الثقة ولكن التحقق” أعضاء فريق التدقيق التحقق من الجدارة بالثقة بشكل صريح في كل خطوة. هذا يحل عدم وجود موثوقية في عمليات تدقيق نموذج الذكاء الاصطناعي من خلال استعادة الثقة في أنظمة الذكاء الاصطناعي من خلال التدقيق الصارم واتخاذ القرارات الشفافة.
