رفع مجموعات البيانات

يُعدّ Hub موطنًا لمجموعة واسعة من مجموعات البيانات التي رتّبها المجتمع والباحثون. نشجّعكم على مشاركة مجموعات بياناتكم على Hub للمساعدة في نمو مجتمع تعلّم الآلة وتسريع التقدّم للجميع. جميع المساهمات مرحّب بها؛ فإضافة مجموعة بيانات لا تستغرق سوى سحب وإفلات!

ابدأ بـ إنشاء حساب على Hugging Face Hub إذا لم يكن لديك حساب بعد.

الرفع باستخدام واجهة Hub

تتيح الواجهة الويب الخاصة بالـ Hub للمستخدمين الذين لا يملكون أي خبرة في التطوير رفع مجموعة بيانات.

إنشاء مستودع

يستضيف المستودع جميع ملفات مجموعة البيانات الخاصة بك، بما في ذلك سجل المراجعات، مما يجعل تخزين أكثر من إصدار واحد لمجموعة البيانات ممكنًا.

1. انقر على ملفك الشخصي واختر مجموعة بيانات جديدة لإنشاء مستودع مجموعة بيانات جديد.
2. اختر اسمًا لمجموعتك البيانات، وحدد ما إذا كانت مجموعة بيانات عامة أو خاصة. مجموعة البيانات العامة مرئية لأي شخص، في حين يمكن عرض مجموعة البيانات الخاصة من قِبلك أو من أعضاء مؤسستك فقط.

رفع مجموعة البيانات

1. بمجرد إنشاء مستودع، انتقل إلى علامة التبويب الملفات والإصدارات لإضافة ملف. اختر إضافة ملف لرفع ملفات مجموعة البيانات الخاصة بك. نحن ندعم العديد من امتدادات البيانات النصية والصوتية والصور وغيرها مثل .csv و.mp3 و.jpg (راجع القائمة الكاملة لـصيغ الملفات).

2. اسحب ملفات مجموعة البيانات الخاصة بك وأفلتها.

3. بعد رفع ملفات مجموعة البيانات الخاصة بك، يتم تخزينها في مستودع مجموعة البيانات الخاص بك.

إنشاء بطاقة مجموعة بيانات

إضافة بطاقة مجموعة بيانات لها قيمة كبيرة في مساعدة المستخدمين على العثور على مجموعة بياناتك وفهم كيفية استخدامها بشكل مسؤول.

1. انقر على إنشاء بطاقة مجموعة بيانات لإنشاء بطاقة مجموعة بيانات. يقوم هذا الزر بإنشاء ملف README.md في مستودعك.

2. في الأعلى، ستجد واجهة بيانات الوصف مع عدة حقول للاختيار منها مثل الترخيص واللغة وفئات المهام. هذه هي الوسوم الأكثر أهمية لمساعدة المستخدمين على اكتشاف مجموعة بياناتك على المنصة (عندما ينطبق ذلك). عند اختيار خيار لحقل ما، سيُضاف تلقائيًا إلى أعلى بطاقة مجموعة البيانات.

   يمكنك أيضاً الاطلاع على مواصفات بطاقة مجموعة البيانات، التي تتضمن مجموعة كاملة من الوسوم المسموح بها، بما في ذلك الاختيارية مثل annotations_creators، لمساعدتك على اختيار تلك المفيدة لمجموعتك.

3. اكتب توثيق مجموعة بياناتك في بطاقة مجموعة البيانات (Dataset Card) لتقديمها إلى المجتمع ومساعدة المستخدمين على فهم محتواها: ما هي حالات الاستخدام والقيود، ومن أين تأتي البيانات، وما هي الاعتبارات الأخلاقية المهمة، وأي تفاصيل أخرى ذات صلة.

   يمكنك النقر على رابط Import dataset card template في أعلى المحرر لإنشاء قالب بطاقة مجموعة بيانات تلقائيًا. للحصول على مثال تفصيلي على الشكل الجيد لبطاقة مجموعة بيانات، اطّلع على CNN DailyMail Dataset card.

استخدام مكتبة العملاء huggingface_hub

تتيح لك مجموعة الميزات الغنية في مكتبة huggingface_hub إدارة المستودعات، بما في ذلك إنشاء المستودعات ورفع مجموعات البيانات إلى Hub. قم بزيارة توثيق مكتبة العميل لمعرفة المزيد.

استخدام مكتبات أخرى

يمكن لبعض المكتبات مثل 🤗 Datasets وPandas وPolars وDask وDuckDB أو Daft رفع الملفات إلى Hub. راجع قائمة المكتبات المدعومة في Datasets Hub لمزيد من المعلومات.

استخدام Git

بما أن مستودعات مجموعات البيانات هي مستودعات Git، يمكنك استخدام Git لدفع ملفات بياناتك إلى Hub. اتبع الدليل الخاص بـ البدء باستخدام المستودعات للتعرف على كيفية استخدام سطر الأوامر git لالتزام مجموعات بياناتك ودفعها.

استيعاب مجموعات البيانات

إذا كانت لديك بيانات في قواعد بيانات أو تخزين سحابي أو خلف واجهات برمجة التطبيقات، يمكنك استيرادها إلى Hugging Face كمجموعات بيانات جاهزة للاستخدام.

يمكنك العثور على مزيد من المعلومات في التوثيق الخاص باستهلاك مجموعات البيانات.

صيغ الملفات

يدعم الهاب بشكل أصلي عدة صيغ ملفات:

• باركيت (.parquet)
• ملف CSV (.csv, .tsv)
• JSON Lines، JSON (.jsonl، .json)
• صيغتي Arrow streaming و IPC (.arrow)
• نص (.txt)
• الصور (مثل .png و .jpg)
• الصوت (مثل .wav و .mp3)
• فيديو (.mp4, .mov, .avi, إلخ)
• PDF (.pdf)
• WebDataset (.tar)
• Lance (.lance)

يدعم الملفات المضغوطة باستخدام ZIP (.zip) وGZIP (.gz) وZSTD (.zst) وBZ2 (.bz2) وLZ4 (.lz4) وLZMA (.xz).

يمكن أن تحتوي ملفات الصور والصوت أيضًا على ملفات بيانات وصفية إضافية. راجع إعداد ملفات البيانات الخاصة بمجموعات بيانات الصور والصوت، بالإضافة إلى مجموعات مجموعات البيانات النموذجية لملفات CSV وTSV والصور.

قد ترغب في تحويل ملفاتك إلى هذه الصيغ للاستفادة من جميع ميزات Hub. قد لا يتم التعرف على الصيغ والبنى الأخرى من قِبل Hub.

ما هو تنسيق الملف الذي يجب استخدامه؟

لمعظم أنواع مجموعات البيانات، يُعدّ Parquet هو التنسيق الموصى به نظرًا لضغطه الفعّال، وأنواعه الغنية، ولأنّ مجموعة متنوعة من الأدوات تدعم هذا التنسيق مع عمليات قراءة مُحسّنة وعمليات دفعات. وبديلًا عن ذلك، يمكن استخدام CSV أو JSON Lines/JSON للبيانات الجدولية (يُفضَّل JSON Lines للبيانات المتداخلة). وعلى الرغم من سهولة تحليلها مقارنةً بـ Parquet، إلا أنّه لا يُوصى بهذه التنسيقات للبيانات التي يتجاوز حجمها بضعة غيغابايت. لمجموعات البيانات التي تحتوي على صور وصوت، يُعدّ رفع الملفات الخام هو الخيار الأكثر عملية لمعظم حالات الاستخدام نظرًا لسهولة الوصول إلى الملفات الفردية. أما لمجموعات البيانات الكبيرة من الصور والصوت التي تتطلب بثًّا مستمرًّا، فيُفضَّل استخدام WebDataset على الملفات الخام للصور والصوت لتجنّب العبء الناتج عن الوصول إلى الملفات الفردية. ومع ذلك، لحالات الاستخدام الأكثر عمومًا التي تتضمن التحليلات، أو تصفية البيانات، أو تحليل البيانات الوصفية، فإنّ Parquet هو الخيار الموصى به لمجموعات البيانات الكبيرة من الصور والصوت.

استوديو البيانات

يُفيد Data Studio في معرفة الشكل الفعلي للبيانات قبل تنزيلها. يكون مفعّلًا افتراضيًا لجميع مجموعات البيانات العامة. كما يتوفر أيضًا لمجموعات البيانات الخاصة التي يملكها مستخدم PRO أو منظمة من نوع Team أو Enterprise.

بعد رفع مجموعة البيانات الخاصة بك، تأكد من أن عارض مجموعة البيانات يعرض بياناتك بشكل صحيح، أو قم بإعداد عارض مجموعة البيانات.

مجموعات بيانات كبيرة الحجم

يدعم Hugging Face Hub مجموعات بيانات كبيرة الحجم، تُرفع عادةً بصيغة Parquet (على سبيل المثال عبر push_to_hub() باستخدام 🤗 Datasets) أو بصيغة WebDataset.

استخدم upload_folder() أو hf upload من مكتبة huggingface_hub لرفع المجلدات الكبيرة: فهي تقسم عملية الرفع إلى عدة التزامات وتستأنف تلقائيًا إذا انقطعت.

راجع كيفية رفع مجلد كبير، ونصائح وحيل للرفع الكبير، وحدود تخزين المستودع والتوصيات.

Update on GitHub