Transformers documentation
T5v1.1
Ce modèle a été publié dans les papiers HF le 2020-02-12 et ajouté à Hugging Face Transformers le 2023-06-20.
T5v1.1
Aperçu
T5v1.1 a été publié dans le dépôt google-research/text-to-text-transfer-transformer par Colin Raffel et al. Il s’agit d’une version améliorée du modèle T5 original. Ce modèle a été contribué par patrickvonplaten. Le code d’origine peut être trouvé ici.
Conseils d'utilisation
On peut directement insérer les poids de T5v1.1 dans un modèle T5, comme suit :
from transformers import T5ForConditionalGeneration
model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")La version 1.1 de T5 inclut les améliorations suivantes par rapport au modèle T5 original :
Activation GEGLU dans la couche cachée du réseau de feed-forward, plutôt que ReLU. Voir cet article.
Le dropout a été désactivé lors de la pré-entraînement (gain en qualité). Le dropout doit être réactivé lors de l'ajustement fin.
Pré-entraîné uniquement sur C4, sans mélange avec les tâches en aval.
Aucun partage de paramètres entre la couche d'incorporation et la couche de classification.
« xl » et « xxl » remplacent « 3B » et « 11B ». Les formes des modèles sont légèrement différentes :
d_modelplus grand etnum_headsetd_ffplus petits.
Note : la version 1.1 de T5 a été pré-entraînée uniquement sur C4, sans aucun entraînement supervisé. Par conséquent, ce modèle doit être affiné avant d’être utilisable sur une tâche en aval, contrairement au modèle T5 original. Comme t5v1.1 a été pré-entraîné de manière non supervisée, il n’y a pas de véritable avantage à utiliser un préfixe de tâche lors d’un affinage sur une seule tâche. Si vous effectuez un affinage multi-tâches, vous devriez utiliser un préfixe.
Google a publié les variantes suivantes :
Update on GitHubReportez-vous à la page de documentation de T5 pour la référence complète de l’API, les conseils, les exemples de code et les notebooks.