كيف يكتشف الذكاء الاصطناعي الحالات الشاذة؟

يُعد اكتشاف الحالات الشاذة البطل الصامت لعمليات البيانات - جهاز إنذار الدخان الذي يهمس قبل أن تشتعل الأمور.

ببساطة: يتعلم الذكاء الاصطناعي شكل "الوضع الطبيعي تقريبًا"، ويُعطي الأحداث الجديدة درجة شذوذ ، ثم يقرر ما إذا كان سيستدعي تدخلاً بشريًا (أو سيحظر الأمر تلقائيًا) بناءً على عتبة معينة . تكمن الصعوبة في كيفية تعريفك لـ"الوضع الطبيعي تقريبًا" عندما تكون بياناتك موسمية، وغير منظمة، ومتغيرة، وأحيانًا مضللة. [1]

مقالات قد ترغب في قراءتها بعد هذه المقالة:

🔗 لماذا يمكن أن يكون الذكاء الاصطناعي ضارًا بالمجتمع؟
يتناول هذا المقال المخاطر الأخلاقية والاقتصادية والاجتماعية المترتبة على تبني الذكاء الاصطناعي على نطاق واسع.

🔗 كمية المياه التي تستخدمها أنظمة الذكاء الاصطناعي فعلياً:
شرح لتبريد مراكز البيانات، ومتطلبات التدريب، وتأثيرها على البيئة المائية.

🔗 ما هي مجموعة بيانات الذكاء الاصطناعي ولماذا هي مهمة؟
يُعرّف مجموعات البيانات، والتصنيف، والمصادر، ودورها في أداء النموذج.

🔗 كيف يتنبأ الذكاء الاصطناعي بالاتجاهات من البيانات المعقدة؟
يغطي التعرف على الأنماط، ونماذج التعلم الآلي، واستخدامات التنبؤ في العالم الحقيقي.

"كيف يكتشف الذكاء الاصطناعي الحالات الشاذة؟"

لا يقتصر الجواب الجيد على مجرد سرد الخوارزميات، بل يجب أن يشرح آلياتها وكيفية تطبيقها على بيانات حقيقية غير كاملة. أفضل الشروحات:

اعرض المكونات الأساسية: الميزات ، والخطوط الأساسية ، والدرجات ، والعتبات . [1]
قارن بين العائلات العملية: المسافة، والكثافة، والفئة الواحدة، والعزلة، والاحتمالية، وإعادة البناء. [1]
التعامل مع غرائب السلاسل الزمنية: يعتمد "الوضع الطبيعي" على وقت اليوم، ويوم الأسبوع، ومواعيد الإصدار، والعطلات. [1]
تعامل مع التقييم كقيد حقيقي: فالإنذارات الكاذبة ليست مزعجة فحسب، بل إنها تقوض الثقة. [4]
يجب تضمين قابلية التفسير وإشراك الإنسان في العملية، لأن "الأمر غريب" ليس سببًا جذريًا. [5]

الآليات الأساسية: الخطوط الأساسية، والنتائج، والعتبات 🧠

معظم أنظمة الكشف عن الشذوذ - سواء كانت متطورة أم لا - تتلخص في ثلاثة أجزاء متحركة:

يراه النموذج )

نادراً ما تكفي الإشارات الخام. إما أن تقوم بتصميم الميزات (الإحصائيات المتغيرة، والنسب، والتأخيرات، والفروق الموسمية) أو تتعلم التمثيلات (التضمينات، والفضاءات الفرعية، وإعادة البناء). [1]

2) التقييم (أو ما يُعرف بـ: ما مدى "غرابة" هذا؟)

تتضمن أفكار التقييم الشائعة ما يلي:

بناءً على المسافة : بعيد عن الجيران = مثير للريبة. [1]
بناءً على الكثافة : انخفاض الكثافة المحلية = مثير للريبة (يُعدّ LOF مثالاً واضحاً على ذلك). [1]
حدود الفئة الواحدة : تعلم "الطبيعي"، وحدد ما يقع خارجه. [1]
الاحتمالية : احتمال منخفض في ظل نموذج ملائم = مثير للريبة. [1]
خطأ في إعادة البناء : إذا لم يتمكن نموذج تم تدريبه على بيانات طبيعية من إعادة بنائه، فمن المحتمل أنه غير صحيح. [1]

3) تحديد العتبة (أو: متى يتم دق الجرس)

يمكن أن تكون العتبات ثابتة، أو قائمة على الكميات، أو لكل شريحة، أو حساسة للتكلفة - ولكن يجب معايرتها وفقًا لميزانيات التنبيه والتكاليف اللاحقة، وليس وفقًا للاهتزازات. [4]

إحدى التفاصيل العملية للغاية: تكشف أدوات الكشف عن القيم الشاذة/الجديدة في مكتبة scikit-learn عن الدرجات الخام ثم تطبق عتبة (يتم التحكم فيها غالبًا من خلال افتراض يشبه التلوث) لتحويل الدرجات إلى قرارات داخلية/شاذة. [2]

تعريفات سريعة تمنع الألم لاحقًا 🧯

هناك فرقان يجنبانك الأخطاء الدقيقة:

اكتشاف القيم الشاذة : قد تتضمن بيانات التدريب الخاصة بك بالفعل قيمًا شاذة؛ تحاول الخوارزمية نمذجة "المنطقة الطبيعية الكثيفة" على أي حال.
الكشف عن الحالات الشاذة : يُفترض أن بيانات التدريب نظيفة؛ أنت تحكم فيما إذا كانت الجديدة تتناسب مع النمط الطبيعي المُتعلم. [2]

أيضًا: غالبًا ما يتم تأطير اكتشاف الحالات الشاذة على أنه تصنيف أحادي الفئة - نمذجة الحالات الطبيعية لأن الأمثلة الشاذة نادرة أو غير محددة. [1]

أدوات عمل غير خاضعة للإشراف ستستخدمها بالفعل 🧰

عندما تكون التصنيفات نادرة (وهو ما يحدث دائمًا تقريبًا)، فهذه هي الأدوات التي تظهر في خطوط الإنتاج الحقيقية:

غابة العزل : خيار افتراضي قوي في العديد من الحالات الجدولية، ويستخدم على نطاق واسع في الممارسة العملية ويتم تنفيذه في مكتبة scikit-learn. [2]
SVM أحادي الفئة : يمكن أن يكون فعالاً ولكنه حساس للضبط والافتراضات؛ يشير scikit-learn صراحةً إلى الحاجة إلى ضبط دقيق للمعلمات الفائقة. [2]
عامل الشذوذ المحلي (LOF) : نظام تسجيل كلاسيكي قائم على الكثافة؛ وهو رائع عندما لا يكون "الطبيعي" كتلة مرتبة. [1]

مشكلة عملية تكتشفها الفرق أسبوعيًا: يتصرف خوارزمية LOF بشكل مختلف اعتمادًا على ما إذا كنت تقوم بالكشف عن القيم الشاذة في مجموعة التدريب مقابل الكشف عن القيم الجديدة في البيانات الجديدة - حتى أن مكتبة scikit-learn تتطلب قيمة novelty=True لتسجيل النقاط غير المرئية بأمان. [2]

أساس قوي يظل فعالاً حتى في حال كانت البيانات غير مستقرة 🪓

إذا كنت في وضع "نحن فقط بحاجة إلى شيء لا يدفعنا إلى النسيان"، فإن الإحصائيات القوية لا تحظى بالتقدير الكافي.

تستخدم قيمة z المعدلة الوسيط والانحراف المطلق الوسيطي (MAD) لتقليل الحساسية للقيم المتطرفة. يوثق دليل NIST لتحليل البيانات الاستكشافي (EDA) شكل قيمة z المعدلة، ويشير إلى قاعدة عامة شائعة الاستخدام تُعرف بـ "القيم الشاذة المحتملة" عند قيمة مطلقة أعلى من 3.5 . [3]

لن يحل هذا كل مشكلة شاذة، ولكنه غالباً ما يكون خط دفاع أول قوي، خاصة بالنسبة للمقاييس غير الدقيقة والمراقبة في المراحل المبكرة. [3]

واقع السلاسل الزمنية: "الوضع الطبيعي" يعتمد على التوقيت ⏱️📈

تُعدّ حالات الشذوذ في السلاسل الزمنية معقدة لأن السياق هو الأساس: فارتفاع مفاجئ في وقت الظهيرة قد يكون متوقعًا، بينما قد يشير الارتفاع نفسه في الساعة الثالثة صباحًا إلى وجود حريق. ولذلك، تستخدم العديد من الأنظمة العملية خصائص زمنية (مثل التأخيرات، والفروقات الموسمية، والنوافذ المتحركة) لنمذجة الوضع الطبيعي، وتقيّم انحرافات القيم بالنسبة للنمط المتوقع. [1]

إذا كنت تتذكر قاعدة واحدة فقط: قسّم خط الأساس الخاص بك (الساعة/اليوم/المنطقة/مستوى الخدمة) قبل أن تعلن أن نصف حركة المرور الخاصة بك "شاذة". [1]

التقييم: فخ الأحداث النادرة 🧪

غالباً ما يكون اكتشاف الحالات الشاذة أشبه بالبحث عن إبرة في كومة قش، مما يجعل عملية التقييم غريبة:

قد تبدو منحنيات ROC جيدة بشكل خادع عندما تكون النتائج الإيجابية نادرة.
غالباً ما تكون وجهات نظر الدقة والاستدعاء أكثر إفادة في البيئات غير المتوازنة لأنها تركز على الأداء في الفئة الإيجابية. [4]
من الناحية التشغيلية، أنت بحاجة أيضًا إلى ميزانية للتنبيهات : كم عدد التنبيهات التي يمكن للبشر فرزها في الساعة دون أن يستسلموا غاضبين؟ [4]

يساعدك اختبار الإصدارات السابقة عبر النوافذ المتغيرة على اكتشاف نمط الفشل الكلاسيكي: "إنه يعمل بشكل رائع ... على توزيع الشهر الماضي." [1]

قابلية التفسير والسبب الجذري: أظهر عملك 🪄

التنبيه دون تفسير أشبه بتلقي بطاقة بريدية غامضة. مفيد إلى حد ما، ولكنه محبط.

يمكن لأدوات التفسير أن تساعد في تحديد السمات التي ساهمت بشكل كبير في درجة الشذوذ، أو من خلال تقديم تفسيرات على غرار "ما الذي يجب تغييره ليبدو هذا طبيعيًا؟". التعلم الآلي القابل للتفسير " دليلًا متينًا ونقديًا للأساليب الشائعة (بما في ذلك إسناد SHAP) وقيودها. [5]

الهدف ليس مجرد راحة أصحاب المصلحة - بل هو فرز أسرع وتقليل الحوادث المتكررة.

النشر، والانحراف، وحلقات التغذية الراجعة 🚀

لا توجد النماذج في الشرائح، بل في مسارات العمل.

قصة شائعة عن "الشهر الأول في الإنتاج": يقوم الكاشف في الغالب بالإبلاغ عن عمليات النشر، ووظائف الدفعات، والبيانات المفقودة ... وهو أمر لا يزال مفيدًا لأنه يجبرك على فصل "حوادث جودة البيانات" عن "شذوذات الأعمال".

عملياً:

راقب الانحراف وأعد التدريب/المعايرة مع تغير السلوك. [1]
سجل مدخلات النتيجة + إصدار النموذج حتى تتمكن من إعادة إنتاج سبب تغيير الصفحة. [5]
جمع التعليقات البشرية (التنبيهات المفيدة مقابل التنبيهات غير المفيدة) لضبط العتبات والشرائح بمرور الوقت. [4]

الجانب الأمني: أنظمة كشف التسلل وتحليلات السلوك 🛡️

غالبًا ما تدمج فرق الأمن مفاهيم الشذوذ مع الكشف القائم على القواعد: خطوط أساسية لـ"سلوك المضيف الطبيعي"، بالإضافة إلى التوقيعات والسياسات الخاصة بالأنماط الضارة المعروفة. ولا يزال معيار NIST SP 800-94 (النسخة النهائية) إطارًا يُستشهد به على نطاق واسع لاعتبارات أنظمة كشف ومنع الاختراق؛ كما يشير إلى أن مسودة "المراجعة 1" لعام 2012 لم تصبح نهائية وتم سحبها لاحقًا. [3]

الترجمة: استخدم التعلم الآلي حيثما يكون مفيدًا، ولكن لا تتخلص من القواعد المملة - إنها مملة لأنها فعالة.

جدول مقارنة: نظرة عامة على الطرق الشائعة 📊

الأداة / الطريقة	الأفضل لـ	لماذا ينجح ذلك (عملياً)
درجات z القوية / المعدلة	مقاييس بسيطة، وخطوط أساسية سريعة	محاولة أولى قوية عندما تحتاج إلى "جيد بما فيه الكفاية" وعدد أقل من الإنذارات الكاذبة. [3]
غابة العزلة	ميزات جدولية ومختلطة	[2] تطبيق افتراضي متين ويستخدم على نطاق واسع في الممارسة العملية.
آلة المتجهات الداعمة أحادية الفئة	مناطق "طبيعية" مضغوطة	الكشف عن الحالات الجديدة بناءً على الحدود؛ الضبط مهم للغاية. [2]
عامل الشذوذ المحلي	المتجهات العمودية شبه المتعددة	يُظهر تباين الكثافة مقابل الجيران الغرابة المحلية. [1]
خطأ في إعادة البناء (على سبيل المثال، نمط التشفير التلقائي)	أنماط عالية الأبعاد	التدريب على الوضع الطبيعي؛ يمكن أن تشير أخطاء إعادة البناء الكبيرة إلى وجود انحرافات. [1]

شفرة الغش: ابدأ بخطوط أساسية قوية + طريقة غير خاضعة للإشراف مملة، ثم أضف التعقيد فقط حيث يكون له فائدة.

دليل مصغر: من الصفر إلى التنبيهات 🧭

حدد "الغريب" من الناحية التشغيلية (زمن الاستجابة، خطر الاحتيال، استهلاك وحدة المعالجة المركزية، خطر المخزون).
ابدأ بخط أساسي (إحصائيات قوية أو عتبات مجزأة). [3]
اختر نموذجًا واحدًا غير خاضع للإشراف كخطوة أولى (غابة العزل / LOF / SVM أحادي الفئة). [2]
حدد العتبات بميزانية تنبيه ، وقم بالتقييم بأسلوب العلاقات العامة إذا كانت النتائج الإيجابية نادرة. [4]
أضف شروحات وتسجيلات حتى يكون كل تنبيه قابلاً للتكرار والتصحيح. [5]
اختبر، أطلق، تعلم، أعد المعايرة - الانحراف أمر طبيعي. [1]

بإمكانك فعل ذلك في أسبوع بالتأكيد... بشرط ألا تكون طوابعك الزمنية مثبتة بشريط لاصق وأمل فقط. 😅

ملاحظات ختامية - طويل جدًا، لم أقرأه 🧾

يكشف الذكاء الاصطناعي عن الحالات الشاذة من خلال تعلم صورة عملية لما هو "طبيعي"، وتقييم الانحرافات، وتحديد ما يتجاوز عتبة معينة. لا تفوز أفضل الأنظمة بفضل مظهرها البراق، بل بفضل معايرتها الدقيقة : خطوط أساسية مجزأة، وميزانيات تنبيه محددة، ومخرجات قابلة للتفسير، وحلقة تغذية راجعة تحول الإنذارات غير الدقيقة إلى إشارة موثوقة. [1]

مراجع

بيمينتل وآخرون (2014) - مراجعة لاكتشاف المستجدات (ملف PDF، جامعة أكسفورد) اقرأ المزيد
توثيق مكتبة scikit-learn - اكتشاف الحالات الشاذة والجديدة (اقرأ المزيد)
دليل NIST/SEMATECH الإلكتروني - اكتشاف القيم الشاذة (اقرأ المزيد) ودليل NIST CSRC - SP 800-94 (النسخة النهائية): دليل أنظمة كشف ومنع الاختراقات (IDPS) (اقرأ المزيد)
سايتو وريمسماير (2015) - يُعدّ مخطط الدقة والاستدعاء أكثر إفادة من مخطط ROC عند تقييم المصنفات الثنائية على مجموعات البيانات غير المتوازنة (PLOS ONE) اقرأ المزيد
مولنار - التعلم الآلي القابل للتفسير (كتاب إلكتروني) اقرأ المزيد

اكتشف أحدث تقنيات الذكاء الاصطناعي في متجر مساعدي الذكاء الاصطناعي الرسمي

معلومات عنا

العودة إلى المدونة

البلد/المنطقة