# UL2

## نظرة عامة

تم تقديم نموذج T5 في [Unifying Language Learning Paradigms](https://huggingface.co/papers/2205.05131) بواسطة Yi Tay وMostafa Dehghani وVinh Q. Tran وXavier Garcia وDara Bahri وTal Schuster وHuaixiu Steven Zheng وNeil Houlsby وDonald Metzler.

المستخلص من الورقة البحثية هو كالتالي:

*النماذج المُدرَّبة مسبقًا الموجودة حاليًا موجهة بشكل عام نحو فئة معينة من المشكلات. وحتى الآن، لا يبدو أن هناك إجماعًا على ما يجب أن تكون عليه البنية المناسبة وإعداد التدريب المسبق. يقدم هذا الورقة إطارًا موحّدًا لتدريب نماذج فعّالة بشكل شامل عبر مجموعات البيانات والإعدادات المختلفة. نبدأ بفصل الأنماط المعمارية عن أهداف التدريب المسبق، وهما مفهومان يُخلط بينهما عادةً. ثم نقدم منظورًا عامًا وموحّدًا للإشراف الذاتي في معالجة اللغة الطبيعية، ونوضح كيف يمكن صياغة أهداف التدريب المسبق المختلفة على أنها أهداف أخرى، وكيف يمكن أن يكون الاستيفاء بين الأهداف المختلفة فعالًا. بعد ذلك، نقترح مزيج مُزيلات الضوضاء (Mixture-of-Denoisers)، وهو هدف تدريب مسبق يجمع بين أنظمة التدريب المسبق المتنوعة. كما نعرّف مفهوم التبديل بين الأنماط، حيث يرتبط الضبط الدقيق في المهام الثانوية بأنظمة تدريب مسبق محددة. أجرينا تجارب استئصالية موسّعة لمقارنة أهداف تدريب مسبق متعددة، ووجدنا أن منهجيتنا تدفع حدود باريتو إلى الأمام من خلال التفوق على نماذج T5 و/أو نماذج مشابهة لـ GPT عبر إعدادات متنوعة متعددة. أخيرًا، من خلال توسيع نموذجنا ليصل إلى 20 مليار معامل، حققنا أداءً متقدمًا (SOTA) في 50 مهمة إشرافية راسخة في معالجة اللغة الطبيعية، تتراوح بين توليد اللغة (مع التقييم الآلي والبشري)، وفهم اللغة، وتصنيف النصوص، والإجابة عن الأسئلة، والاستدلال الشائع، والاستدلال على النصوص الطويلة، وتثبيت المعرفة المهيكلة، واسترجاع المعلومات. كما حقق نموذجنا نتائج قوية في التعلم ضمن السياق، متفوقًا على GPT-3 بحجم 175 مليار معامل في مهمة SuperGLUE بدون أمثلة، ومضاعفًا أداء T5-XXL ثلاث مرات في مهمة تلخيص بنقرة واحدة.*

تمت مساهمة هذا النموذج من قِبل [DanielHesslow](https://huggingface.co/Seledorn). يمكن العثور على الكود الأصلي [هنا](https://github.com/google-research/google-research/tree/master/ul2).

## نصائح للاستخدام

- UL2 هو نموذج مُرمِّز-مُفكِّك (encoder-decoder) تم تدريبه مسبقًا على خليط من وظائف إزالة الضوضاء، كما تم ضبطه بدقة على مجموعة من المهام الفرعية.
- يتميز UL2 بنفس البنية المعمارية لـ [T5v1.1](t5v1.1) لكنه يستخدم دالة التنشيط Gated-SiLU بدلاً من Gated-GELU.
- ينشر المؤلفون نقاط تفتيش لبنية واحدة يمكن الاطلاع عليها [هنا](https://huggingface.co/google/ul2)

بما أن UL2 يتبنى نفس البنية المعمارية الخاصة بـ T5v1.1، يُرجى الرجوع إلى [صفحة توثيق T5](t5) للاطلاع على مرجع واجهة برمجة التطبيقات (API) والنصائح وأمثلة الأكواد ودفاتر الملاحظات.

