هل الذكاء الاصطناعي موثوق؟ [فيديو واختبار]

باختصار: الذكاء الاصطناعي ليس موثوقًا به كخاصية ثابتة، فهو يعتمد على المهمة، وآلية الاسترجاع، ووجود عنصر بشري مسؤول. يُقاس وقت التشغيل بمدى استجابة النظام، بينما تُقاس دقة صدقها . استخدمه عندما يكون الخطأ بسيطًا أو يمكن تداركه، وخفف من سرعته عندما يكون الخطأ مكلفًا.

أهم النقاط المستفادة:

المساءلة: حدد من يقوم بالمراجعة، ومن يمكنه إيقافها، ومن يتحمل المسؤولية.

الشفافية: افحص الجزء المسترجع، وإلا ستظل في حالة ضبابية.

إمكانية التدقيق: تسجيل المطالبات، والأجزاء المسترجعة، وعمليات الإرسال بحيث يمكن تتبع حالات عدم التطابق.

مقاومة سوء الاستخدام: الفشل في المسائل المالية؛ عدم اختراع أرقام أو نوافذ أو سياسات.

نتائج توضيحية: تعامل مع اختبار توضيحي مكون من 20 سؤالاً كخريطة، وليس كدليل بنسبة 95٪.

مقالات قد ترغب في قراءتها بعد هذه المقالة:

🔗 كيفية استخدام الذكاء الاصطناعي في الحياة اليومية
اكتشف الطرق العملية التي يمكن للذكاء الاصطناعي من خلالها تبسيط المهام والروتين اليومي.

🔗 كيفية استخدام الذكاء الاصطناعي في العمل:
تعرّف على طرق عملية لتحسين الإنتاجية والكفاءة باستخدام الذكاء الاصطناعي.

🔗 هل ​​يستطيع الذكاء الاصطناعي التفكير بنفسه؟
استكشف ما إذا كان بإمكان الذكاء الاصطناعي التفكير بشكل مستقل والاستدلال حقًا.

🔗 ما هي أنواع الذكاء الاصطناعي؟
تعرف على الأنواع الرئيسية للذكاء الاصطناعي وقدراته والاختلافات الأساسية بينها.

ما معنى "الموثوقية" أصلاً عندما تكون الآلة مجرد ببغاء إحصائي؟

الموثوقية، في الكلام اليومي، تعني أنه يمكنك الاعتماد على شيء ما.

مع الأتمتة الناطقة، تختبئ تحت كلمة واحدة مجموعة من الخصائص المختلفة. الحقيقة. الاتساق. المعايرة - هل تتناسب ثقة النموذج مع احتمالية صحته، أم أنه يبدو واثقًا فحسب؟ الأمان. استمرارية التشغيل. الاستجابة الفورية. السلوك في الحالات الاستثنائية. السلوك بعد تغير التوزيع، عندما لا يكون العالم الحقيقي هو عالم التدريب. لا تفشل أي من هذه الخصائص معًا. هذا هو الجانب الذي يتجاهله الناس.

قد يعمل برنامج الدردشة الآلي طوال الأسبوع، ومع ذلك قد يُخطئ ظهر يوم الثلاثاء. وقد يكون مساعد البرمجة مُتقنًا للبرمجيات الأساسية، ثم يُنشئ واجهة برمجة تطبيقات (API) تُشبه تمامًا الواجهة الأصلية. يلجأ الناس عادةً إلى تشبيهه بـ"زميل مبتدئ". وهو تشبيه غير دقيق - فالمبتدئون يشعرون بالحرج - ولكنه أقرب إلى الحقيقة من تشبيهه بـ"المرجع".

الاختبار المباشر موثوق به في ماذا، ولمن، وبأي طريقة. وإلا فأنت تقيّم برنامجًا حاسوبيًا بناءً على قدرته على حساب الضرائب.

لا يُعدّ وقت التشغيل دليلاً على المصداقية - فهناك نوعان مختلفان من "الموثوقية"

يستخدم العاملون في مجال العمليات والعاملون في مجال الحقيقة نفس الكلمة ويتحدثون وكأنهم لا يفهمون بعضهم البعض.

وقت التشغيل يعني "هل أجاب الجهاز النهائي؟". أما الصدق فيعني "هل كانت الإجابة كذلك؟". تهتم الحوكمة بكليهما، ويقع خطر النموذج في الفجوة القبيحة بينهما. يمكنك امتلاك خدمة تعمل بلا انقطاع، ومع ذلك ترسل كذبة واضحة في تذكرة العميل. موثوقة بالمعنى المقصود في هندسة موثوقية الموقع (SRE). غير موثوقة بالمعنى المقصود في "رجاءً لا تضع سياسة استرداد".

أظن أن هذا واضحٌ عند كتابته. لكنه ليس كذلك في الرابعة مساءً عندما يكون الرد سريعًا والطابور طويلًا جدًا. السرعة تُشعرنا بالكفاءة. البطء كان يدل على أن أحدهم يفكر. أما الآن، فالسرعة هي دليل على أن لا أحد يفكر.

السلامة هي محور آخر. النموذج الذي يرفض اختراقًا خبيثًا يُعتبر "موثوقًا" من منظور تقييم السلامة، ولكنه قد يُشوّه ملخصًا لملاحظاتك الخاصة.

إن الطلاقة مع الخطأ أسوأ من الخرق والصراحة

هذه هي مشكلة الثقة، وهي المشكلة التي تؤذي.

انفصلت الدقة عن الطلاقة، وبقيت الطلاقة هي الأساس. ستمنحك شهادة الماجستير في القانون إيقاعًا، وتحوطًا في المواضع المناسبة، وربما شكلًا أنيقًا للاستشهادات. يقرأ عقلك "هذا الشخص يعرف". إلا أنه ليس شخصًا، وغالبًا ما يكون التقييم سيئًا - ثقة مفرطة، وحقيقة متوسطة، تُلقى كخطاب رئيسي.

الإجابة الخاطئة غير الموفقة تثير الشكوك، أما الإجابة الخاطئة المتقنة فتجعلك تتوقف عن التحقق. هذا ليس فرقاً بسيطاً، بل هو جوهر القصة في جملة واحدة لاذعة بعض الشيء.

يوجد التحيز أيضًا، ليس دائمًا على شكل إهانة، بل كفرضية افتراضية حول هوية الحاضرين وأي نمط من اللغة الإنجليزية يُعتبر محايدًا. ينخدع الناس لأن اللغة هي أقدم واجهة ثقة لدينا. إذا بدت وكأنها موجز، نتعامل معها على هذا الأساس. كنت أنوي أن أكون أكثر تشككًا حيال ذلك. ثم أقرأ ملخصًا واضحًا، فأشعر بالخجل. عند دخولي اجتماعًا، يبدو الملخص مكتملًا. تلك الجملة تُحمّل الكثير من الجهد، ومع ذلك: هكذا تتسلل الأخطاء إلى العرض التقديمي.

الموثوقية تعتمد على الموقف، وليس على العلامة التجارية

العلامات التجارية تشتت الانتباه. المقارنة الحقيقية هي جوهر العمل. ستختلف الآراء فيما بينها، وهذا أمر طبيعي.

على أي حال، إذا كانت أداتك المفضلة بارعة في المسودات، ووجدت نفسك تطلب منها مساعدة قانونية في منتصف الليل، فهذا ليس تحسينًا. بل هو دليل على أنك تخليت عنها.

الهلوسة، والتيه، ونوعٌ هادئٌ من الخطأ

الهلوسة عناوين الأخبار لأنها مثيرة: كتاب غير موجود، ووظيفة لم يتم شحنها مطلقاً، وبند في السياسة يحمل رقماً يبدو رسمياً.

الانجراف أقل سينمائية. العالم يتحرك، وتبقى بقايا النموذج. تطرح سؤالاً يحتاج إلى سياق جديد، فتحصل على إجابة منظمة من أحوال جوية سابقة. كدتُ أكتب "من عصر آخر" هنا، وهو ما يُبالغ فيه هذا الموضوع. إنه ليس عصراً آخر، إنه ليس الآن فحسب.

الخطأ الصامت هو ما يهمني أكثر. ملخص يتجاهل الاستثناء. إعادة صياغة تحوّل الاحتمال إلى ضرورة. قد تكون الحقيقة "جيدة من الناحية الفنية" بينما ينحرف المعنى.

الحساسية المفرطة تزيد الأمر سوءًا. غيّر الغلاف وستبدو "الحقائق" براقة. اسأل كمتشكك، وستحصل على تحفظات. اسأل كمدير مستعجل، وستحصل على مبالغة سريعة. إذا كان تقييمك يعتمد على زي واحد فقط، فهو في الحقيقة غير دقيق. معذرةً.

من السجون محفوفة بالمخاطر، ولا أريد فيلمًا عن السرقة. إذا أمكن إقناع نظام ما بالتخلي عن مبادئه، فإن الموثوقية لا تقتصر على الحقيقة فحسب، بل على ما إذا كانت الضوابط حقيقية أم مجرد شعار.

بقايا التدريب، والمعلومات القديمة، ولماذا لا يُعدّ التأريض عصا سحرية

تُدرَّب النماذج التوليدية على مجموعة بيانات، ثم تُوجَّه إلى يوم الثلاثاء. الاسترجاع هو المحاولة الجادة لربط الحاضر بتلك المجموعة. التأصيل يعني "الإجابة من هذا، لا من الضباب". وعندما تفشل، تفشل بأدب.

فشل كلاسيكي: يسترجع برنامج الاسترجاع مستندًا يكاد يكون مطابقًا. يكتب المُولِّد فيه بهدوء تام. ترى كائنًا على شكل مصدر، فتتوقف غريزتك في التحقق. أنا أفعل هذا. وربما تفعل أنت أيضًا. فكرة الاستشهاد صحيحة؛ لكن جودة التنفيذ تعتمد على مدى دقة النتائج.

المعرفة القديمة هي التسريب الآخر. تتطلب بعض المهام بيانات حية - كالأسعار والمخزون والصياغة الحالية للسياسة. بينما تتطلب مهام أخرى أسلوبًا ثابتًا، مثل كيفية هيكلة مذكرة. يؤدي خلط هذين الأسلوبين إلى الحصول على إجابة دقيقة جدًا حول عالم قد تغير بالفعل. يُعرف هذا بمصطلح "تغير التوزيع": فالتوزيع الحي ليس هو توزيع التدريب، وتوجد حالات استثنائية في هذه الفجوة.

شيء آخر، مع وضع واصلة في غير موضعها لأن هذه هي طريقة كتابة ملاحظاتي: التأريض هو أرضية - وليس هالة. إذا لم تتمكن من فحص الجزء المسترجع، فأنت لا تزال في الضباب، ولكن بإضاءة أفضل.

مسرح التقييم: لماذا يُعد العرض التوضيحي اختبارًا سيئًا

العروض التوضيحية مجرد إضاءة. أما المقارنات المعيارية فهي أكثر صراحة، ومع ذلك فهي ليست من اختصاصك.

إنّ وجود موجه واضح ومهمة مألوفة لدى النموذج أمرٌ بديهي، لذا من الطبيعي أن يبدو التصميم أنيقًا. أما التقييم الذي يقيس ذلك فقط فهو أشبه بتقييم مسرحية. فسير العمل المباشر مليء بالنصوص المتشابكة والملفات المفقودة، ومستخدم سيقبل أول إجابة تُخفف من قلقه.

المعايير مهمة، لكنها لا تُطبّق بنفس فعالية العروض التقديمية. لا يُعدّ ترتيب المتصدرين مؤشراً على دقة النتائج. يكمن جوهر المخاطرة في نموذج الشركة في "ماذا يحدث عند تطبيق هذا النموذج على نطاق واسع؟"، وليس في "اجتيازه اختباراً بسيطاً". الاختبارات المطلوبة بسيطة: التزم بالنص المُسترجع؛ حدّد الشكوك بدلاً من التمويه؛ حافظ على اتساقك عند إعادة الصياغة؛ تعامل مع الفشل بطريقة مغلقة (الرفض، السؤال، التأجيل) بدلاً من الفشل بطريقة مفتوحة (الابتكار).

لقد رأيتُ أشخاصًا يعتبرون إنجازًا واحدًا مُبهرًا دليلًا قاطعًا. هذا أشبه بالحكم على مطعم بأنه "موثوق" لمجرد أن طبق المقبلات كان جميلًا. ربما يكون كذلك. ربما كان المطبخ قد أمضى عشر دقائق جيدة.

قد يبدو الأمر متناقضاً بعض الشيء: ما زلت أستخدم العروض التوضيحية لأكوّن فكرة عامة، لكنني لا أعتمد على هذه الفكرة وحدها.

هل الذكاء الاصطناعي موثوق؟ فقط إذا كان هناك من لا يزال مسؤولاً عنه

"التدخل البشري" التصميم الوحيد الذي يتوافق مع أنماط الفشل.

إذا لم يكن هناك من يُحاسب، فسيُستخدم النظام كما لو كان مُحاسباً. الحوكمة هي الاسم غير الجذاب لـ "من يُراجع، ومن يُمكنه إيقافه، وما يُسجل، وماذا يحدث بعد الخطأ". يُضفي الوكلاء مزيداً من الوضوح على هذا الأمر لأنهم يتخذون إجراءات، لا مجرد عبارات. مسودة لم تُرسلها أمرٌ بسيط، أما استدعاء أداة لم تقصده فليس كذلك.

حدد من يتحمل المسؤولية. إذا كانت الإجابة "العارضة"، فلا يوجد لديك إجابة. العارضات لا يحضرن الاجتماع بعد الحادثة. يحضره شخص، أو مكنسة كهربائية ثم محامٍ.

اختر الفحوصات التي تتناسب مع نطاق التأثير. مراجعة إملائية لمنشور على وسائل التواصل الاجتماعي. تدقيق مصادر لأي معلومة تُنسب إلى حقائق. خبير مختص لأي مجال ذي صلة بالطب، أو القانون، أو الائتمان، أو العمليات الحساسة للسلامة. في هذه الحالات، لا يُعتبر العنصر البشري جزءًا من العملية، بل هو محورها. النموذج مجرد أداة. هذا ليس تشكيكًا شخصيًا، بل هو مسألة ذوق.

الموضة الرائجة الآن هي إخفاء الشيك خلف زر إرسال براق. هذه الأيام، هكذا تُنشر الشائعات تلقائيًا دون قصد. مؤخرًا، أصبحتُ أكثر جدية في هذا الأمر، وتحسّن العمل.

كيف تسأل حتى تتمكن من اصطياد الخاسر

يمكنك استجواب هذه الأنظمة دون أن تصبح خبيرًا في التشكيك في ضوء الشمس.

• اطلب عدم اليقين عن قصد. "ما الذي قد يجعل هذا خطأ؟" أفضل من "اجعله واثقاً".

• افصل عملية الاسترجاع عن عملية التوليد كلما أمكن ذلك. انظر إلى النصوص أولاً. ثم اطلب كتابة التقرير.

• غيّر الأسلوب. أعد الصياغة. اطلب منه أن يجادل بالعكس. حساسية التوجيه أشبه بمصباح يدوي إذا استخدمتها بهذه الطريقة.

• فرض قيود: "فقط من النص الذي قمت بلصقه"، "إذا كان مفقودًا، فاكتب "مفقود"". النماذج تستجيب لهذه القيود بشكلٍ مدهش... إلى أن تخالفها. تحقق على أي حال.

• يُفضّل استخدام أدوات التحقق في المهام. المترجمات، وأدوات فحص الأخطاء، وفحوصات المخططات، ومراجعة ثانية. الموثوقية تتطلب مُقيِّمًا.

• انتبه للعلامة الدالة: دقة زائدة. رقم دقيق المظهر، حالة محددة، جملة مرقمة ومنظمة - هذا هو المكان الذي تحب فيه الهلوسة أن تتزين.

• اجعل خطوة التحقق واضحة. إذا أخفت واجهة المستخدم التحقق، سيتجاهله الناس. هذا مجرد عنصر من عناصر التصميم، وليس عيبًا أخلاقيًا.

لا شيء من هذا يجعل النموذج "صحيحاً". بل يجعل الحلقة أقل سذاجة. وهو، على ما أعتقد، المنتج النهائي.

أين تتركك الخريطة

إذن، سؤال نعم/لا لا يصلح إلا كمدخل.

هل الذكاء الاصطناعي موثوق؟ ليس كصفةٍ بحد ذاته، بل كخاصيةٍ لمهمةٍ ما، أو مجموعة بيانات، أو حلقة استرجاع، أو تقييمٍ ليس مجرد عرضٍ توضيحي، أو حتى كإنسانٍ لا يزال عليه أن يكون صادقًا في كلامه. ستستمر الطلاقة في خداعنا لأننا كائناتٌ لغوية، وهذه الأنظمة آلاتٌ لغوية. سيستمر الخلط بين وقت التشغيل والحقيقة، لأن كليهما يوحي بأن "الأمر قد نجح". سيستمر المساعدون في العمل في المنطقة الرمادية المعقدة - مسودات، وملخصات يمكن تصفحها سريعًا، وشفرة برمجية يمكن تجميعها - وسيكون الأمر غير آمن عندما نوكل الحكم إلى فقرةٍ لا تُبالي.

استخدمها حيث يكون الخطأ رخيصًا أو يمكن تداركه. خفف السرعة حيث يكون الخطأ مكلفًا. هذه هي الإجابة المباشرة، وهي أثمن من مجرد شعار.

إذا أردتَ أن تأخذ بنصيحة واحدة: توقف عن سؤال النموذج عما إذا كان متأكدًا. راقب ما يحدث عندما تسأله كيف يمكن أن يكون مخطئًا. ثم تحقق بنفسك.

مثال واقعي: بناء مساعد ذكاء اصطناعي لسياسة العضوية

سيناريو

تتولى بريا إدارة قسم المعرفة في "هاربور ممبرشيب"، وهي هيئة تجارية بريطانية تضم 70 عضوًا من أعضاء الصالات الرياضية المستقلة. ويجيب ثلاثة أشخاص على استفسارات الأعضاء. المصدر الرئيسي للمعلومات هو دليل من 180 صفحة، يتم تحديثه كل ثلاثة أشهر، بالإضافة إلى ملفات PDF قديمة موجودة على محرك أقراص مشترك لا يجرؤ أحد على حذفها.

اشترت الإدارة بالفعل مساعدًا لنظام الدعم الفني. كان العرض التوضيحي جيدًا، ووقت التشغيل ممتازًا. في الأسبوع الثاني، أخبر أحد الموظفين في مسودة مكتوبة بأسلوب سلس أنه بإمكانه تجميد حسابه لمدة 14 يومًا واسترداد المبلغ كاملًا "كإجراء روتيني". هذا ليس الإجراء المتبع. اكتشف الموظف ذلك لأنه ما زال يراجع دليل المستخدم عند التعامل مع الأموال. سؤال الإدارة، الذي أُرسل وكأنه إجابة بنعم أو لا، هو: هل الذكاء الاصطناعي موثوق؟

ترفض بريا الحكم. فهي تتعامل معه كخريطة. المهمة ليست "تزويد الأعضاء بمعلومات موثوقة"، بل "صياغة إجابة من الدليل الحالي، وتوضيح الفقرة، وإغلاق الملف في حال غيابها". إذا لم يستطع مساعد الطيار القيام بذلك، فهو مجرد أداة صياغة، وليس مكتبًا لوضع السياسات.

ما يحتاجه المساعد

• يُعتبر دليل أبريل 2026 هو المصدر الوحيد المسموح به، مع الحفاظ على أرقام الأقسام كما هي

• تم ترك ملف PDF القديم لعام 2023 في القرص الصلب عمدًا، حتى يتمكنوا من معرفة ما إذا كان استرجاع الملف سينجح في العثور على الملف الذي كاد أن يُكتشف

• قاعدة مكتوبة: لا بيانات شخصية للعملاء في أدوات المستهلك؛ لا إرسال بدون تدخل بشري؛ لا اختلاق أرقام أو نوافذ أو عبارات "كإجراء قياسي"

• إذن لتسجيل المطالبات، والأجزاء المسترجعة، والإرسال النهائي

• مالكة مُسماة (بريا) ستُقيّم مجموعة اختبار وتُوقف مساعد الطيار إذا فشل، وهو أمر أسوأ من رمية عملة معدنية في أسئلة المال

• إذا كانت الأداة تدعم الاسترجاع، فيجب أن يكون الجزء المسترجع مرئيًا بجوار المسودة. وإذا لم تكن تدعم ذلك، فسيتم لصق المقطع يدويًا. إن عدم وجود مسار قابل للفحص لا يزال غير واضح.

مثال على التعليمات

بريا تعبّر عن هذا بلغة عادية، وليس بأسلوب مسرحي:

أجب فقط من فقرات دليل أبريل 2026 التي تم تزويدك بها. اذكر رقم القسم. إذا لم تكن الإجابة موجودة في تلك الفقرات، فاكتب "غير موجودة في الدليل الحالي" وتوقف. لا تُضف شروطًا جديدة لتجميد العضوية، أو قواعد استرداد الأموال، أو الرسوم. لا تُغيّر عبارة "حسب تقدير النادي" إلى "كخدمة قياسية". إذا تعارضت فقرتان، فاعرض كلتيهما وحدد الفقرة الحالية. أنت تُعدّ مسودة لشخص سيطلع على المصدر قبل إرسال أي شيء إلى أي عضو.

ثم تحتفظ بتعليمات ثانية لنفسها، لأن الهدف من المقال هو الحلقة، وليس النموذج:

قبل الإرسال، افتح القسم المذكور. اسأل نفسك: "ما الخطأ في هذا؟" إذا احتوت المسودة على رقم غير موجود في النص، فارفضها. إذا سألتُك بنبرة استعجال، فاسألني مجدداً بنبرة شكّاك وقارن.

المسودة الجيدة تبدو كالتالي: "غير مذكورة في الدليل الحالي (أبريل 2026، القسم 4.2). تجميد العضوية يخضع لتقدير النادي. لا تُردّ المبالغ تلقائيًا. يُرجى تصعيد الأمر." أما المسودة السيئة فتبدو كالتالي: "يمكن للأعضاء تجميد عضويتهم لمدة 14 يومًا واسترداد المبلغ كاملًا كإجراء قياسي. هذا مذكور في الدليل." بنفس النبرة. واحدة فقط من هاتين المسودتين تُعتبر سياسة رسمية.

كيفية اختباره

تكتب بريا عشرين سؤالاً قبل أن تنظر إلى أي مخرجات من مساعد الطيار. هذا الترتيب مهم. العرض التوضيحي سهل للغاية. هذا هو الاختبار العملي.

ليس هذا البرنامج عبارة عن أسئلة تافهة، بل هو برنامج مباشر

• ثمانية أسئلة تقع إجاباتها في قسم واحد حالي (الأسئلة السهلة)

• أربع حالات كادت أن تكون متطابقة، حيث كان ملف PDF لعام 2023 أقرب في الصياغة من نص أبريل

• ثلاثة أسئلة "غير موجودة في الدليل" (نزاعات الفواتير، سؤال طبي ذو صلة "هل هذا التدريب آمن؟"، تعديل عقد ذو صلة قانونية)

• ثلاثة أسئلة مالية (تجميد، استرداد، رسوم الانضمام)

• سؤالان عاديان من الأعضاء (ساعات العمل، تأمين المدربين)

أُعيد طرح سؤالين من أصل عشرين سؤالاً بزيّين مختلفين، أحدهما كمدير متسرع والآخر كمتشكك، وذلك للتحقق من مدى استجابة الطالب للسؤال. وقد سُجّلت هذه الإجابات المُعاد طرحها، ولم تُضَمّن في النتيجة الإجمالية المكونة من عشرين سؤالاً.

معايير التقييم، التي وضعتها بريا مع فتح الدليل: يتطلب النجاح وجود القاعدة الحالية الصحيحة، ورقم قسم حقيقي، وعدم وجود أي عبارة إضافية مُختلقة. الفشل الصامت هو جملة سليمة تقنيًا أسقطت الاستثناء أو حوّلت الاحتمال إلى ضرورة. الفشل الظاهر هو رقم مُختلق أو ملف PDF على وشك الفشل يُعامل على أنه حالي. يُحتسب وقت التشغيل بشكل منفصل، لأن عبارة "أجاب" لا تعني "كان الأمر كذلك".

الموافقة على المتابعة: في المسائل المالية، يُفضّل إغلاق المشكلة بدلاً من فتحها. إذا ابتكر مساعد الطيار نافذة استرداد، فلن يتم إنشاء تذاكر دعم مباشرة. وإذا لم يفتح أحد المصدر، فلن يتم إنشاء تذاكر دعم مباشرة أيضاً.

نتيجة

نتيجة توضيحية، من اختبار وهمي مكون من 20 سؤالاً، وليست رقماً منشوراً لعضوية الميناء.

الافتراضات: مساعد واحد في مكتب المساعدة؛ دليل أبريل 2026 بالإضافة إلى ملف PDF المتبقي لعام 2023؛ تم تقييم بريا وفقًا للمعايير المذكورة أعلاه؛ تم استخدام ساعة توقيت هاتفية من السؤال الملصق إلى "سأرسل هذا"؛ تم تضمين وقت المراجعة في الحالة المتكررة واستبعاده في الحالة غير المحددة، عن قصد، حتى تظل المقارنة متساوية.

في تجربة عملية غير مُدققة، تم الحصول على إجابات وافية لجميع الأسئلة العشرين (مع وقت تشغيل مثالي). استوفى 11 سؤالًا من أصل 20 المعايير المطلوبة. خمسة أسئلة كانت حالات فشل صامتة. أربعة أسئلة كانت حالات فشل علني، بما في ذلك تجميد النظام لمدة 14 يومًا. اثنان من حالات الفشل العلني الأربعة استشهدا بجزء من ملف PDF لعام 2023. بلغ متوسط ​​الوقت اللازم لإعداد مسودة جاهزة للإرسال دقيقة واحدة.

نفس الأسئلة العشرين، مع تعليمات محددة، وجزء النص المُسترجع ظاهرًا: كانت إجابات 15 من أصل 20 صحيحة تمامًا من نص أبريل. أجاب ثلاثة بشكل صحيح بعبارة "غير موجود في الدليل الحالي" (العناصر الطبية والقانونية، بالإضافة إلى نزاع واحد حول الفواتير)، لذا كانت 18 من أصل 20 مقبولة. مع ذلك، لم يُوفق اثنان: أحدهما كتب عبر ملف PDF لعام 2023 الذي كاد أن يُخطئ، والآخر اخترع رقمًا لرسوم الانضمام لم يكن موجودًا في النص. كان متوسط ​​وقت كتابة المسودة حوالي دقيقة واحدة.

نفس الـ 20، بالإضافة إلى قيام بريا بفتح القسم المذكور قبل إرسال محاكاة: كان من الممكن أن يكون 19 من 20 مقبولاً. لقد اكتشفت ملف PDF الذي كاد أن يكون غير مقبول. أما الخطأ المتبقي فكان في قراءة المراجع السريعة لفقرة سلسة وعدم انتباهه إلى رقم رسوم الانضمام المُختلق. كان متوسط ​​الوقت، بما في ذلك المراجعة، 3 دقائق.

العملية القديمة، البحث في الدليل فقط، بدون مساعد طيار: 20 من 20 مقبول. متوسط ​​9 دقائق.

في هذه العينة، كان مساعد الطيار المُدرب أسرع بست دقائق من البحث اليدوي (9 ناقص 3)، أي 120 دقيقة عبر 20 سؤالًا، مع قبول 19 إجابة من أصل 20 بدلًا من 20. أما مساعد الطيار غير المُدقّق فكان أسرع بثماني دقائق (9 ناقص 1) وأخطأ، سواءً بصمت أو بصوت عالٍ، في 9 من أصل 20. هذا ليس توفيرًا للوقت بنسبة 67% الذي توفره حزمة التوجيه، بل هو تسريب تسع أخطاء كان من الممكن أتمتته.

كلا النسختين المتعجلتين من السؤالين المتكررين بالغتا في ادعاءاتهما. أما النسخ المتشككة فكانت مترددة. نفس النموذج، نفس الدليل، لكن بزي مختلف. سجلت بريا ذلك كنتيجة، لا كصفة شخصية.

هذه الأرقام مجرد تقدير تقريبي مبني على الاختبار المذكور، ومجموعة صغيرة من الحالات، وتذاكر كانت أسهل من حل مشكلة أحد الأعضاء الغاضبين، ومراجع واحد كان على دراية مسبقة بالكتاب. لا تُثبت هذه الأرقام أن مساعد الطيار "موثوق بنسبة 95%"، أو أن شركة هاربور يجب أن تستغني عن موظف الاستقبال. إنما تُثبت أن وقت التشغيل لم يكن هو المهم، بل كان المهم هو التحقق من جاهزية النظام.

ما الذي يمكن أن يحدث خطأً؟

• يستشهد القادة بوقت المسودة الذي يبلغ دقيقة واحدة ويتجاهلون الأخطاء التسعة. لا تزال السرعة تُعتبر كفاءة في الساعة الرابعة مساءً.

• يبقى ملف PDF لعام 2023 في الفهرس، ويستمر استرجاعه. يبدو أن عملية التأريض ناضجة، لكنها لا تزال قريبة من النجاح.

• تُخفي واجهة المستخدم الجزء المُسترجع خلف زر إرسال لامع. يتوقف المستخدمون عن فتح الدليل، وهكذا تصل إجابة التجميد إلى العضو.

• لا تُحرز بريا سوى النقاط في الأسئلة الثمانية السهلة لأنها تبدو أجمل في العرض التقديمي. مسرح التقييم، ولكن باستخدام جدول بيانات.

• يُسمح للإجابة الطبية المتعلقة بسؤال "هل هذا التدريب آمن؟" أن تبدو وكأنها موجزة. الخريطة أشارت إلى أنه نادرًا ما يكون آمنًا. لكن النبرة قالت: تفضل.

• تم إيقاف تسجيل البيانات لأن "الأمر بدا وكأنه زائد عن الحاجة". بعد الخطأ، لا يمكن لأحد أن يرى أي مقطع تم استرجاعه.

• يسألون النموذج عما إذا كان متأكدًا. وهو كذلك. لم يكن هذا هو الاختبار أبدًا.

الخلاصة العملية

الموثوقية ليست سمةً من سمات مساعد الطيار الذي اشتراه هاربور. إنها خاصيةٌ تُكتسب من خلال عشرين سؤالاً، ودليل استخدام مُحدّث، ومقطع مرئي، وشخصٍ لا يزال يُراجع المصدر عند التعامل مع الأمور المالية. ستضمن الطلاقة اجتياز اختبار وقت التشغيل. أما الحلقة فهي الشيء الوحيد الذي يجتاز اختبار السياسة.

التعليمات

ماذا تعني كلمة "موثوق" بالنسبة للذكاء الاصطناعي التوليدي؟

الموثوقية اليومية تعني إمكانية الاعتماد على شيء ما. مع أنظمة التشغيل الآلي التفاعلية، تتجسد مجموعة كاملة من الخصائص تحت كلمة واحدة: الدقة، والاتساق، والمعايرة، والسلامة، ووقت التشغيل، والاستجابة السريعة، والتعامل مع الحالات الاستثنائية، والسلوك بعد تغيير التوزيع. لا تفشل أي من هذه الخصائص معًا. الاختبار المباشر موثوق به في ماذا، ولمن، وبأي حلقة تكرارية. وإلا، فأنت تقيّم خلاطًا بناءً على قدرته على حساب الضرائب.

هل الذكاء الاصطناعي موثوق؟

ليس كصفة ثابتة. قد يكون خبير التعلم الآلي متقنًا لعمل ما، ثم ينهار تمامًا في عمل آخر، أحيانًا في نفس الجلسة، وأحيانًا أخرى بسبب خطأ بسيط. الموثوقية خاصيةٌ للمهمة، أو لمجموعة البيانات، أو لحلقة الاسترجاع، أو لتقييم ليس مجرد عرض توضيحي، أو حتى لإنسان صادق. استخدمها حيث يكون الخطأ بسيطًا أو يمكن تداركه. تريّث حيث يكون الخطأ مكلفًا.

هل يُعدّ استمرار عمل الذكاء الاصطناعي مرادفاً للصدق؟

لا. وقت التشغيل يعني استجابة نقطة النهاية. أما المصداقية فتعني صدق الاستجابة. قد تمتلك خدمة تعمل بلا انقطاع، ومع ذلك ترسل معلومات مضللة بوضوح إلى تذكرة العميل. السرعة تبدو كفاءة عندما يكون طابور الانتظار طويلاً للغاية. الأمان جانب آخر مهم: حتى النموذج الذي يرفض الاختراق قد يُشوّه ملخص ملاحظاتك.

لماذا تبدو تقنية الذكاء الاصطناعي السلسة جديرة بالثقة حتى عندما تكون مخطئة؟

انفصلت الدقة عن الطلاقة، وبقيت الطلاقة هي الأساس. تمنحك شهادة الماجستير في القانون إيقاعًا، وتحوطًا، وربما شكلًا أنيقًا للاستشهاد، فيقرأ عقلك "هذا الشخص خبير". غالبًا ما يكون التقييم سيئًا: ثقة مفرطة، وحقيقة متوسطة، تُلقى كخطاب رئيسي. إجابة خاطئة ركيكة تثير الشك. إجابة خاطئة بطلاقة تجعلك تتوقف عن التدقيق. إذا بدت الإجابة وكأنها موجز قانوني، نتعامل معها على هذا الأساس، وهكذا تُدرج الأخطاء في العرض التقديمي.

هل الذكاء الاصطناعي موثوق به في الأعمال الطبية أو القانونية أو دعم العملاء؟

الأمر يعتمد على طبيعة العمل، وليس على العلامة التجارية. نادرًا ما تكون النصائح الطبية والقانونية كافية كمنتج: فالنموذج مجرد فكرة أولية، والشخص هو الخبير. يمكن لفريق دعم العملاء صياغة المسودات ضمن سياسة محددة، ولكن يجب أن يتحمل الشخص مسؤولية الثقة والمصداقية، لأن السياسات المُختلقة والرفض المهذب الخاطئ هما السببان الرئيسيان للفشل. المسودات والملخصات هي بمثابة مراجعة أولية لنص تعرفه مسبقًا. راجع الأسماء والأرقام والعبارات التي قد تُسبب ضررًا.

لماذا يُصاب الذكاء الاصطناعي بالهلوسة، أو الانحراف، أو الخطأ الصامت؟

الهلوسة هي الخطأ الفادح: كتاب غير موجود، أو وظيفة لم تُطرح في الأسواق، أو بند في السياسة يحمل رقمًا يبدو رسميًا. أما الانحراف فهو أقل سينمائية: العالم يتحرك، وتبقى بقايا النموذج، وتحصل على إجابة مُنظمة جيدًا من أحوال الطقس السابقة. الخطأ الهادئ هو ملخص يُسقط الاستثناء. أو إعادة صياغة تُحوّل الاحتمال إلى ضرورة. قد تبدو الحقيقة جيدة من الناحية التقنية بينما تلاشى المعنى. الحساسية الفورية تجعل الحقائق تتألق عند تغيير الغلاف.

هل يجعل التثبيت أو الاسترجاع الذكاء الاصطناعي موثوقًا؟

التأريض يعني الحصول على إجابة من هذا الواقع، لا من الضباب. الاسترجاع يثبت الحاضر في مكانه الصحيح. عندما يفشل، يفشل بأدب: وثيقة كادت أن تفشل، وتقرير مُحكم، ويتوقف حدسك في التحقق. التأريض هو أساس، وليس هالة. إذا لم تتمكن من فحص الجزء المسترجع، فأنت لا تزال في الضباب، ولكن بإضاءة أفضل. امزج مهام الحالة الحية مثل الأسعار أو صياغة السياسات مع مركبة مستقرة، وستحصل على إجابة مؤكدة للغاية حول عالم قد تحرك بالفعل.

لماذا يعتبر العرض التوضيحي اختباراً سيئاً لموثوقية الذكاء الاصطناعي؟

سيبدو النموذج أنيقًا إذا كانت التعليمات واضحة ومهمة مألوفة لديه. أما سير العمل الفعلي، فيتضمن نصوصًا متشابكة وملفات مفقودة، ومستخدمًا يقبل أول إجابة تُخفف من قلقه. لا يُعدّ ترتيب لوحة المتصدرين مؤشرًا على دقة إجاباتك. تكمن مخاطر النموذج في الأخطاء المتكررة، وليس في اجتيازه اختبارًا بسيطًا. الاختبارات المطلوبة بسيطة: التزم بالنص المُسترجع، وحدد الشكوك بدلًا من التمويه، وحافظ على اتساقك عند إعادة الصياغة، وحدد الأخطاء بشكل قاطع بدلًا من الاختلاق.

هل يمكن الاعتماد على الذكاء الاصطناعي إذا لم يكن هناك من يتحمل المسؤولية؟

لا. إذا لم يكن هناك من يتحمل المسؤولية، فسيُستخدم النظام كما لو كان مسؤولاً. وجود عنصر بشري في حلقة التحكم هو التصميم الوحيد الذي يتوافق مع أنماط الفشل: من يراجع، ومن يستطيع إيقافه، وما يتم تسجيله، وماذا يحدث بعد الخطأ. إذا كانت الإجابة "النموذج"، فأنت لا تملك إجابة. النماذج لا تحضر الاجتماع الذي يلي الحادث. في مجالات الطب والقانون والائتمان والعمليات الحساسة للسلامة، يُمثل العنصر البشري حلقة التحكم، بينما يُعد النموذج مجرد أداة.

كيف يمكنني توجيه الذكاء الاصطناعي لاكتشاف الأخطاء؟

اطلب توضيحًا للشكوك عمدًا: "ما الذي يجعل هذا خطأً؟" أفضل من "اجعله مؤكدًا". افصل بين الاسترجاع والتوليد كلما أمكن. انظر إلى النصوص أولًا، ثم اطلب شرحها. غيّر أسلوب العرض: أعد الصياغة، أو اطلب منه تقديم حجة معاكسة. فرض قيودًا مثل "فقط من النص الذي نسخته" أو "إذا كان مفقودًا، فاذكر أنه مفقود"، مع الاستمرار في التحقق. فضّل المهام التي تتضمن مُدقِّقًا، وانتبه للتفاصيل الدقيقة، لأنها غالبًا ما تُخفي أخطاءً.

مراجع

1. المعهد الوطني للمعايير والتكنولوجيا - nvlpubs.nist.gov

2. المعهد الوطني للمعايير والتكنولوجيا - airc.nist.gov

3. المعهد الوطني للمعايير والتكنولوجيا - airc.nist.gov

4. مكتب مفوض المعلومات - ico.org.uk

5. المركز الوطني للأمن السيبراني - www.ncsc.gov.uk

6. المركز الوطني للأمن السيبراني - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

اكتشف أحدث تقنيات الذكاء الاصطناعي في متجر مساعدي الذكاء الاصطناعي الرسمي

معلومات عنا