ما هي مجموعة بيانات الذكاء الاصطناعي؟

إذا كنت تقوم ببناء أو شراء أو حتى تقييم أنظمة الذكاء الاصطناعي، فستواجه سؤالاً بسيطاً ظاهرياً: ما هي مجموعة بيانات الذكاء الاصطناعي ولماذا هي مهمة للغاية؟ باختصار: إنها بمثابة الوقود، ودليل العمل، وأحياناً البوصلة لنموذجك.

مقالات قد ترغب في قراءتها بعد هذه المقالة:

🔗 كيف يتنبأ الذكاء الاصطناعي بالاتجاهات؟
يستكشف هذا البحث كيف يقوم الذكاء الاصطناعي بتحليل الأنماط للتنبؤ بالأحداث والسلوكيات المستقبلية.

🔗 كيفية قياس أداء الذكاء الاصطناعي
المقاييس والأساليب لتقييم الدقة والكفاءة وموثوقية النموذج.

🔗 كيفية التحدث إلى الذكاء الاصطناعي
إرشادات حول صياغة تفاعلات أفضل لتحسين الاستجابات التي يولدها الذكاء الاصطناعي.

🔗 ما هو المطالبات بالذكاء الاصطناعي
نظرة عامة على كيفية تأثير المطالبات على مخرجات الذكاء الاصطناعي وجودة الاتصال بشكل عام.

ما هي مجموعة بيانات الذكاء الاصطناعي؟ تعريف سريع 🧩

ما هي مجموعة بيانات الذكاء الاصطناعي؟ هي مجموعة من الأمثلة التي يتعلم منها النموذج أو يتم تقييمه عليها. يحتوي كل مثال على:

المدخلات - الميزات التي يراها النموذج، مثل مقتطفات النصوص والصور والصوت والصفوف الجدولية وقراءات المستشعرات والرسوم البيانية.
الأهداف - التصنيفات أو النتائج التي يجب أن يتنبأ بها النموذج، مثل الفئات أو الأرقام أو نطاقات النصوص أو الإجراءات أو أحيانًا لا شيء على الإطلاق.
البيانات الوصفية - السياق مثل المصدر، وطريقة الجمع، والطوابع الزمنية، والتراخيص، ومعلومات الموافقة، وملاحظات حول الجودة.

تخيل الأمر كعلبة غداء مُجهزة بعناية لعارضتك: المكونات، والملصقات، والقيمة الغذائية، وبالطبع، الملاحظة اللاصقة التي تقول "لا تأكل هذا الجزء". 🍱

في المهام الخاضعة للإشراف، سترى المدخلات مقترنة بتصنيفات واضحة. أما في المهام غير الخاضعة للإشراف، فسترى المدخلات بدون تصنيفات. في التعلم المعزز، غالبًا ما تبدو البيانات كحلقات أو مسارات تتضمن حالات وأفعالًا ومكافآت. في العمل متعدد الوسائط، يمكن أن تجمع الأمثلة بين النص والصورة والصوت في سجل واحد. يبدو الأمر معقدًا، ولكنه في الواقع مجرد بنية أساسية.

مقدمة مفيدة وممارسات: أوراق البيانات لمجموعات البيانات الفرق على شرح ما بداخلها وكيف ينبغي استخدامها [1]، بطاقات النموذج توثيق البيانات على جانب النموذج [2].

ما الذي يجعل مجموعة بيانات الذكاء الاصطناعي جيدة؟ ✅

لنكن صريحين، تنجح العديد من النماذج لأن مجموعة البيانات لم تكن سيئة. مجموعة البيانات "الجيدة" هي:

يمثل هذا حالات استخدام حقيقية، وليس مجرد ظروف مختبرية.
مُصنّفة بدقة ، مع إرشادات واضحة ومراجعة دورية. تساعد مقاييس الاتفاق (مثل مقاييس كابا) في التحقق من صحة الاتساق.
كاملة ومتوازنة بما يكفي لتجنب الفشل الصامت في حالات التذبذب الطويل. عدم التوازن أمر طبيعي، أما الإهمال فليس كذلك.
واضح المصدر ، مع توثيق الموافقة والترخيص والأذونات. تمنع الإجراءات الورقية المملة الدعاوى القضائية المثيرة.
موثقة بشكل جيد باستخدام بطاقات البيانات أو أوراق البيانات التي توضح الاستخدام المقصود والحدود وأنماط الفشل المعروفة [1]
تخضع هذه العملية لإدارة الإصدارات وسجلات التغييرات والموافقات. إذا لم تتمكن من إعادة إنتاج مجموعة البيانات، فلن تتمكن من إعادة إنتاج النموذج. تعتبر إرشادات إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن المعهد الوطني للمعايير والتكنولوجيا (NIST) جودة البيانات والتوثيق من الأولويات القصوى [3].

أنواع مجموعات بيانات الذكاء الاصطناعي، حسب ما تقوم به 🧰

حسب المهمة

التصنيف - على سبيل المثال، البريد العشوائي مقابل غير العشوائي، فئات الصور.
الانحدار - التنبؤ بقيمة متصلة مثل السعر أو درجة الحرارة.
تصنيف التسلسل - الكيانات المسماة، أجزاء الكلام.
الإنتاج - التلخيص، والترجمة، وشرح الصور.
التوصية - المستخدم، العنصر، التفاعلات، السياق.
الكشف عن الحالات الشاذة - الأحداث النادرة في السلاسل الزمنية أو السجلات.
التعلم المعزز - تسلسلات الحالة، والفعل، والمكافأة، والحالة التالية.
الاسترجاع - المستندات، والاستفسارات، وتقييمات الصلة.

حسب النمط

الجداول - أعمدة مثل العمر والدخل ومعدل التوقف عن استخدام الخدمة. فعّالة للغاية، لكنها لا تحظى بالتقدير الكافي.
النصوص - المستندات، المحادثات، التعليمات البرمجية، منشورات المنتديات، أوصاف المنتجات.
الصور - صور فوتوغرافية، وفحوصات طبية، وصور الأقمار الصناعية؛ مع أو بدون أقنعة، وصناديق، ونقاط رئيسية.
الصوت - أشكال الموجات، النصوص المكتوبة، علامات المتحدث.
الفيديو - الإطارات، والتعليقات الزمنية، وتسميات الحركة.
الرسوم البيانية - العقد، والحواف، والخصائص.
السلاسل الزمنية - أجهزة الاستشعار، والتمويل، والقياس عن بعد.

تحت الإشراف

مُصنّف (ذهبي، فضي، مُصنّف تلقائيًا)، مُصنّف بشكل ضعيف ، غير مُصنّف ، صناعي . يمكن أن يكون خليط الكيك الجاهز من المتاجر جيدًا - إذا قرأت المكونات على العلبة.

محتويات العلبة: الهيكل، والتقسيمات، والبيانات الوصفية 📦

تتضمن مجموعة البيانات القوية عادةً ما يلي:

المخطط - الحقول المكتوبة، والوحدات، والقيم المسموح بها، ومعالجة القيم الفارغة.
إلى مجموعات : التدريب، والتحقق، والاختبار. احتفظ ببيانات الاختبار سرية - تعامل معها كما لو كانت آخر قطعة شوكولاتة لديك.
خطة أخذ العينات - كيف اخترت العينات من المجتمع الإحصائي؛ تجنب أخذ عينات ملائمة من منطقة واحدة أو جهاز واحد.
التحسينات - الانعكاسات، والقص، والتشويش، وإعادة الصياغة، والأقنعة. جيدة عندما تكون صادقة؛ ضارة عندما تخترع أنماطًا لا تحدث أبدًا في الواقع.
الترقيم - مجموعة البيانات v0.1، v0.2… مع سجلات التغييرات التي تصف الفروقات.
التراخيص والموافقة - حقوق الاستخدام وإعادة التوزيع وتدفقات الحذف. توفر الهيئات التنظيمية الوطنية لحماية البيانات (مثل مكتب مفوض المعلومات في المملكة المتحدة) قوائم مرجعية عملية وقانونية للمعالجة [4].

دورة حياة مجموعة البيانات، خطوة بخطوة 🔁

حدد القرار - ما الذي سيقرره النموذج، وماذا يحدث إذا كان القرار خاطئًا.
ميزات النطاق وعلاماته - قابلة للقياس، قابلة للملاحظة، أخلاقية في جمعها.
البيانات المصدرية - الأدوات، والسجلات، والاستبيانات، والمجموعات العامة، والشركاء.
الموافقة والجوانب القانونية - إشعارات الخصوصية، وخيارات إلغاء الاشتراك، وتقليل البيانات. راجع إرشادات الجهة التنظيمية لمعرفة "السبب" و"الكيفية" [4].
جمع وتخزين الحساسة - تخزين آمن، وصول قائم على الأدوار، معالجة المعلومات الشخصية الحساسة.
التصنيف - المعلقون الداخليون، التعهيد الجماعي، الخبراء؛ إدارة الجودة من خلال المهام الذهبية، وعمليات التدقيق، ومقاييس الاتفاق.
تنظيف البيانات وتوحيدها - إزالة البيانات المكررة، ومعالجة البيانات المفقودة، وتوحيد الوحدات، وإصلاح الترميز. عمل شاق وممل.
تقسيم البيانات والتحقق منها - منع التسرب؛ والتقسيم الطبقي عند الاقتضاء؛ وتفضيل التقسيمات الزمنية للبيانات الزمنية؛ واستخدام التحقق المتبادل بعناية للحصول على تقديرات قوية [5].
المستند - ورقة البيانات أو بطاقة البيانات؛ الاستخدام المقصود، والتحذيرات، والقيود [1].
المراقبة والتحديث - اكتشاف الانحراف، وتيرة التحديث، خطط الإيقاف. إطار إدارة المخاطر للذكاء الاصطناعي التابع للمعهد الوطني للمعايير والتكنولوجيا (NIST) يؤطر حلقة الحوكمة المستمرة هذه [3].

نصيحة سريعة وعملية: غالبًا ما تفوز الفرق في مرحلة العرض التوضيحي، لكنها تتعثر في مرحلة الإنتاج بسبب تغيرات غير متوقعة في قاعدة البيانات - كإضافة خطوط إنتاج جديدة، أو تغيير اسم حقل، أو تعديل سياسة معينة. يُمكن تجنب معظم هذه المشاكل من خلال سجل تغييرات بسيط وتحديثات دورية.

جودة البيانات وتقييمها - ليس الأمر مملاً كما يبدو 🧪

الجودة متعددة الأبعاد:

الدقة - هل التصنيفات صحيحة؟ استخدم مقاييس الاتفاق والتقييم الدوري.
الشمولية - تغطية المجالات والصفوف التي تحتاجها فعلاً.
الاتساق - تجنب استخدام تسميات متناقضة للمدخلات المتشابهة.
التوقيت المناسب - البيانات القديمة تُجمّد الافتراضات.
العدالة والتحيز - التغطية الشاملة لجميع الفئات الديموغرافية واللغات والأجهزة والبيئات؛ ابدأ بعمليات تدقيق وصفية، ثم اختبارات تحمل الضغط. ممارسات التوثيق أولاً (جداول البيانات، بطاقات النماذج) تجعل هذه الفحوصات مرئية [1]، وتؤكد أطر الحوكمة عليها كضوابط للمخاطر [3].

لتقييم النموذج، استخدم تقسيمات مناسبة وتتبع كلاً من متوسط المقاييس ومقاييس أسوأ مجموعة. قد يخفي المتوسط المُحسّن عيوبًا جوهرية. تُغطى أساسيات التحقق المتبادل بشكل جيد في وثائق أدوات التعلم الآلي القياسية [5].

الأخلاقيات والخصوصية والترخيص - الضوابط 🛡️

البيانات الأخلاقية ليست مجرد شعور، بل هي عملية:

الموافقة وتقييد الغرض - كن صريحًا بشأن الاستخدامات والأسس القانونية [4].
معالجة المعلومات الشخصية - تقليلها، أو إخفاء هويتها، أو جعلها مجهولة الهوية حسب الاقتضاء؛ ضع في اعتبارك استخدام التقنيات المعززة للخصوصية عندما تكون المخاطر عالية.
الإسناد والتراخيص - احترام قيود المشاركة بالمثل والاستخدام التجاري.
التحيز والضرر - تدقيق للارتباطات الزائفة ("ضوء النهار = آمن" سيكون مربكًا للغاية في الليل).
معالجة المشكلة - معرفة كيفية إزالة البيانات عند الطلب وكيفية التراجع عن النماذج المدربة عليها (توثيق ذلك في ورقة البيانات الخاصة بك) [1].

ما هو الحجم الكافي؟ تحديد الحجم ونسبة الإشارة إلى الضوضاء 📏

قاعدة عامة: عادةً ما يكون وجود المزيد من الأمثلة مفيداً إذا كانت ذات صلة وليست مكررة. ولكن في بعض الأحيان يكون من الأفضل استخدام عدد أقل من العينات، وأكثر وضوحاً، وأفضل تصنيفاً، بدلاً من استخدام كميات هائلة من العينات غير المنظمة.

انتبه لما يلي:

منحنيات التعلم - ارسم الأداء مقابل حجم العينة لمعرفة ما إذا كنت مقيدًا بالبيانات أو مقيدًا بالنموذج.
تغطية الذيل الطويل - غالبًا ما تحتاج الفئات النادرة ولكن الهامة إلى جمع مستهدف، وليس مجرد كمية أكبر.
قم بقياس الضوضاء ثم تقليلها؛ القليل منها مقبول، أما الموجة العاتية فلا يمكن تحملها.
تحول التوزيع - قد لا يتم تعميم بيانات التدريب من منطقة أو قناة واحدة على أخرى؛ التحقق من صحة البيانات المستهدفة [5].

عند الشك، قم بتجربة كميات صغيرة ثم قم بالتوسع. الأمر أشبه بالتوابل - أضف، تذوق، عدّل، كرر.

أين يمكن العثور على مجموعات البيانات وإدارتها؟ 🗂️

الموارد والأدوات الشائعة (لا حاجة لحفظ عناوين المواقع الإلكترونية الآن):

مجموعات بيانات الوجوه المحتضنة - التحميل والمعالجة والمشاركة البرمجية.
بحث جوجل عن مجموعات البيانات - بحث شامل عبر الويب.
مستودع UCI ML - مجموعة مختارة من الكلاسيكيات للأساسيات والتعليم.
OpenML - المهام + مجموعات البيانات + عمليات التشغيل مع إمكانية تتبع المصدر.
بيانات AWS المفتوحة / مجموعات بيانات Google Cloud العامة - مجموعات بيانات مستضافة واسعة النطاق.

نصيحة احترافية: لا تقم بالتنزيل فقط. اقرأ الترخيص وورقة البيانات ، ثم قم بتوثيق نسختك الخاصة بأرقام الإصدارات ومصدرها [1].

التصنيف والتعليق - حيث يتم التفاوض على الحقيقة ✍️

تُعدّ عملية إضافة التعليقات التوضيحية هي المرحلة التي يتصارع فيها دليل التصنيف النظري الخاص بك مع الواقع:

تصميم المهمة - كتابة تعليمات واضحة مع أمثلة وأمثلة مضادة.
تدريب المُعلِّق - ابدأ بإجابات ذهبية، وقم بتشغيل جولات المعايرة.
مراقبة الجودة - استخدام مقاييس الاتفاق، وآليات التوافق، وعمليات التدقيق الدورية.
الأدوات - اختر الأدوات التي تفرض التحقق من صحة المخطط وقوائم المراجعة؛ حتى جداول البيانات يمكن أن تعمل مع القواعد والفحوصات.
حلقات التغذية الراجعة - التقاط ملاحظات المعلقين وأخطاء النماذج لتحسين الدليل.

إذا شعرتَ وكأنك تُحرّر قاموسًا مع ثلاثة أصدقاء يختلفون حول استخدام الفواصل... فهذا طبيعي. 🙃

توثيق البيانات - جعل المعرفة الضمنية صريحة 📒

ورقة البيانات أو بطاقة البيانات خفيفة الوزن ما يلي :

من قام بجمعها، وكيف، ولماذا؟
الاستخدامات المقصودة والاستخدامات الخارجة عن النطاق.
الثغرات والتحيزات وأنماط الفشل المعروفة.
بروتوكول وضع العلامات، وخطوات ضمان الجودة، وإحصائيات الاتفاق.
الترخيص، والموافقة، والتواصل في حال وجود مشاكل، وعملية الإزالة.

القوالب والأمثلة: أوراق البيانات لمجموعات البيانات وبطاقات النماذج نقاط انطلاق شائعة الاستخدام [1].

اكتبها أثناء عملية البناء، وليس بعدها. الذاكرة وسيلة تخزين غير مستقرة.

جدول مقارنة - أماكن العثور على مجموعات بيانات الذكاء الاصطناعي أو استضافتها 📊

نعم، هذا رأي شخصي بعض الشيء. والصياغة غير متناسقة قليلاً عن قصد. لا بأس.

أداة / مستودع	جمهور	سعر	لماذا ينجح ذلك عملياً؟
مجموعات بيانات عناق الوجه	باحثون ومهندسون	الطبقة المجانية	تحميل سريع، بث مباشر، نصوص برمجية مجتمعية؛ وثائق ممتازة؛ مجموعات بيانات مُؤرشفة
بحث جوجل عن مجموعات البيانات	الجميع	حر	مساحة سطح واسعة؛ رائعة للاكتشاف؛ لكن البيانات الوصفية غير متناسقة أحيانًا
مستودع UCI للتعلم الآلي	الطلاب والمعلمون	حر	مجموعة مختارة من الكلاسيكيات؛ صغيرة الحجم لكنها مرتبة؛ مناسبة للأساسيات والتدريس
OpenML	باحثو التكاثر	حر	المهام + مجموعات البيانات + عمليات التشغيل معًا؛ مسارات تتبع مصدر البيانات جيدة.
سجل البيانات المفتوحة لخدمات أمازون السحابية	مهندسو البيانات	معظمها مجاني	استضافة على نطاق بيتابايت؛ وصول سحابي أصلي؛ مراقبة تكاليف نقل البيانات الصادرة
مجموعات بيانات كاغل	الممارسون	حر	سهولة المشاركة، والنصوص البرمجية، والمسابقات؛ إشارات المجتمع تساعد في تصفية الضوضاء
مجموعات البيانات العامة في Google Cloud	المحللون، الفرق	مجاني + سحابة	مُستضاف بالقرب من مركز الحوسبة؛ تكامل BigQuery؛ يُرجى توخي الحذر بشأن الفواتير
البوابات الأكاديمية، المختبرات	خبراء متخصصون	يختلف	متخصصة للغاية؛ وأحيانًا لا يتم توثيقها بشكل كافٍ - لكنها لا تزال تستحق البحث.

(إذا بدت الخلية وكأنها تتحدث كثيراً، فهذا مقصود.)

بناء أول جهاز لك - مجموعة أدوات عملية للمبتدئين 🛠️

تريد الانتقال من سؤال "ما هي مجموعة بيانات الذكاء الاصطناعي؟" إلى سؤال "لقد أنشأت واحدة، وهي تعمل". جرّب هذا المسار المختصر:

اكتب القرار والمقياس - على سبيل المثال، تقليل حالات توجيه طلبات الدعم الواردة بشكل خاطئ من خلال التنبؤ بالفريق المناسب. المقياس: ماكرو-F1.
اذكر 5 أمثلة إيجابية و5 أمثلة سلبية - نماذج تذاكر حقيقية؛ لا تقم بتلفيقها.
صياغة دليل الملصقات - صفحة واحدة؛ قواعد إدراج/استبعاد واضحة.
اجمع عينة صغيرة وحقيقية - بضع مئات من التذاكر عبر الفئات؛ قم بإزالة المعلومات الشخصية التي لا تحتاجها.
التقسيم مع فحوصات التسريب - الاحتفاظ بجميع الرسائل من نفس العميل في قسم واحد؛ استخدام التحقق المتبادل لتقدير التباين [5].
التعليق مع ضمان الجودة - معلقان على مجموعة فرعية؛ حل الخلافات؛ تحديث الدليل.
ابدأ بتدريب نموذج أساسي بسيط - ابدأ باللوجستيات أولاً (مثل النماذج الخطية أو المحولات المدمجة). الهدف هو اختبار البيانات، وليس الفوز بجوائز.
مراجعة الأخطاء - أين يكمن الخلل ولماذا؛ تحديث مجموعة البيانات، وليس النموذج فقط.
وثيقة - ورقة بيانات صغيرة: المصدر، رابط دليل التسمية، التقسيمات، الحدود المعروفة، الترخيص [1].
تحديث الخطة - فئات جديدة، مصطلحات عامية جديدة، نطاقات جديدة تصل؛ جدولة تحديثات صغيرة ومتكررة [3].

ستتعلم من هذه التجربة أكثر مما ستتعلمه من ألف رأي متسرع. أيضًا، احتفظ بنسخ احتياطية. من فضلك.

الأخطاء الشائعة التي تتسلل إلى الفرق 🪤

تسريب البيانات - تتسلل الإجابة إلى الخصائص (مثل استخدام حقول ما بعد الحل للتنبؤ بالنتائج). يبدو الأمر وكأنه غش لأنه كذلك بالفعل.
تنوع سطحي - منطقة جغرافية واحدة أو جهاز واحد يتظاهر بأنه عالمي. ستكشف الاختبارات عن المفاجأة.
تغير التصنيفات - تتغير المعايير بمرور الوقت، لكن دليل التصنيفات يبقى ثابتًا. وثّق وحدث بياناتك الأنطولوجية.
الأهداف غير المحددة - إذا لم تتمكن من تحديد التنبؤ السيئ، فلن تتمكن بياناتك من ذلك أيضًا.
التراخيص الفوضوية - إن جمع البيانات الآن والاعتذار لاحقاً ليس استراتيجية.
التضخيم المفرط - بيانات اصطناعية تُعلّم نماذج غير واقعية، مثل تدريب طاهٍ على فاكهة بلاستيكية.

أسئلة وأجوبة سريعة حول العبارة نفسها ❓

هل "ما هي مجموعة بيانات الذكاء الاصطناعي؟" مجرد تعريف؟ في الغالب، ولكنه أيضًا إشارة إلى أنك تهتم بالأجزاء المملة التي تجعل النماذج موثوقة.
هل أحتاج دائمًا إلى تصنيفات؟ لا. غالبًا ما تتخطى الإعدادات غير الخاضعة للإشراف، والإشراف الذاتي، والتعلم المعزز التصنيفات الصريحة، لكن التنسيق لا يزال مهمًا.
هل يمكنني استخدام البيانات العامة لأي غرض؟ لا. يجب احترام التراخيص وشروط المنصة والتزامات الخصوصية [4].
أكبر أم أفضل؟ كلاهما، من الأفضل. إذا كان لا بد من الاختيار، فاختر الأفضل أولاً.

ملاحظات ختامية - ما يمكنك تصويره 📌

إذا سألك أحدهم عن ماهية مجموعة بيانات الذكاء الاصطناعي ، فقل: إنها مجموعة منتقاة وموثقة من الأمثلة التي تُستخدم لتعليم واختبار نموذج، وتُدار وفقًا لضوابط تضمن موثوقية النتائج. أفضل مجموعات البيانات هي تلك التي تمثل الواقع، وتُصنف بدقة، وتلتزم بالمعايير القانونية، وتُحدَّث باستمرار. أما الباقي فهو تفاصيل بالغة الأهمية، تتعلق بالبنية، والتقسيمات، وجميع الضوابط الصغيرة التي تمنع النماذج من الانحراف عن المسار الصحيح. أحيانًا تبدو العملية أشبه بالبستنة باستخدام جداول البيانات، وأحيانًا أخرى أشبه بجمع وحدات البكسل. في كلتا الحالتين، استثمر في البيانات، وستصبح نماذجك أكثر دقة وفعالية. 🌱🤖

مراجع

[1] أوراق بيانات مجموعات البيانات - جبرو وآخرون، arXiv. رابط
[2] بطاقات نماذج لإعداد تقارير النماذج - ميتشل وآخرون، arXiv. رابط
[3] إطار إدارة مخاطر الذكاء الاصطناعي NIST (AI RMF 1.0) . رابط
[4] إرشادات وموارد اللائحة العامة لحماية البيانات في المملكة المتحدة - مكتب مفوض المعلومات (ICO). رابط
[5] التحقق المتبادل: تقييم أداء المُقدِّر - دليل مستخدم scikit-learn. رابط

اكتشف أحدث تقنيات الذكاء الاصطناعي في متجر مساعدي الذكاء الاصطناعي الرسمي

معلومات عنا

العودة إلى المدونة

البلد/المنطقة