# HerBERT

## Aperçu

Le modèle HerBERT a été proposé dans [KLEJ: Comprehensive Benchmark for Polish Language Understanding](https://huggingface.co/papers/2005.00630) par Piotr Rybak, Robert Mroczkowski, Janusz Tracz et Ireneusz Gawlik. Il s'agit d'un Language Model basé sur BERT, entraîné sur des corpus polonais en utilisant uniquement l'objectif MLM avec un masquage dynamique de mots entiers.

L'abstract de l'article est le suivant :

*Ces dernières années, une série de modèles basés sur les Transformers a permis d'obtenir des améliorations majeures sur les tâches générales de compréhension du langage naturel (NLU). Un tel rythme de recherche ne serait pas possible sans des benchmarks NLU généraux, qui permettent une comparaison équitable des méthodes proposées. Toutefois, de tels benchmarks ne sont disponibles que pour un petit nombre de langues. Pour atténuer ce problème, nous introduisons un benchmark multi-tâches complet pour la compréhension de la langue polonaise, accompagné d'un classement en ligne. Il est composé d'un ensemble diversifié de tâches, reprises de jeux de données existants pour la reconnaissance d'entités nommées, la réponse à des questions, l'inférence textuelle et d'autres. Nous introduisons également une nouvelle tâche d'analyse de sentiments pour le domaine du commerce électronique, nommée Allegro Reviews (AR). Afin d'assurer un schéma d'évaluation commun et de promouvoir les modèles qui généralisent à différentes tâches NLU, le benchmark inclut des jeux de données issus de domaines et d'applications variés. En outre, nous publions HerBERT, un modèle basé sur les Transformers entraîné spécifiquement pour la langue polonaise, qui affiche la meilleure performance moyenne et obtient les meilleurs résultats sur trois des neuf tâches. Enfin, nous fournissons une évaluation approfondie, incluant plusieurs lignes de base standard et des modèles multilingues basés sur les Transformers récemment proposés.*

Ce modèle a été contribué par [rmroczkowski](https://huggingface.co/rmroczkowski). Le code d'origine peut être trouvé [ici](https://github.com/allegro/HerBERT).

## Exemple d'utilisation

```python
from transformers import HerbertTokenizer, RobertaModel

tokenizer = HerbertTokenizer.from_pretrained("allegro/herbert-klej-cased-tokenizer-v1")
model = RobertaModel.from_pretrained("allegro/herbert-klej-cased-v1", device_map="auto")

encoded_input = tokenizer.encode("Kto ma lepszą sztukę, ma lepszy rząd – to jasne.", return_tensors="pt").to(model.device)
outputs = model(encoded_input)

# HerBERT can also be loaded using AutoTokenizer and AutoModel:
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("allegro/herbert-klej-cased-tokenizer-v1")
model = AutoModel.from_pretrained("allegro/herbert-klej-cased-v1", device_map="auto")
```

L'implémentation de Herbert est identique à celle de `BERT`, à l'exception de la méthode de tokenisation. Consultez la [documentation de BERT](bert) pour la référence de l'API et des exemples.

## HerbertTokenizer[[transformers.HerbertTokenizer]]

#### transformers.HerbertTokenizer[[transformers.HerbertTokenizer]]

```python
transformers.HerbertTokenizer(vocab: str | dict[str, int] | None = None, merges: str | list[str] | None = None, cls_token: str = '<s>', unk_token: str = '<unk>', pad_token: str = '<pad>', mask_token: str = '<mask>', sep_token: str = '</s>', vocab_file: str | None = None, merges_file: str | None = None, **kwargs)
```

[Source](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/herbert/tokenization_herbert.py#L28)

**Paramètres :**

vocab_file (`str`) : Chemin vers le fichier de vocabulaire.

merges_file (`str`) : Chemin vers le fichier de fusions.

cls_token (`str`, *facultatif*, par défaut `"<s>"`) : Le jeton de classifieur.

unk_token (`str`, *facultatif*, par défaut `"<unk>"`) : Le jeton inconnu.

pad_token (`str`, *facultatif*, par défaut `"<pad>"`) : Le jeton de bourrage.

mask_token (`str`, *facultatif*, par défaut `"<mask>"`) : Le jeton de masque.

sep_token (`str`, *facultatif*, valeur par défaut `"</s>"`) : le jeton séparateur.

vocab (`str`, `dict` ou `list`, *facultatif*) : Dictionnaire de vocabulaire personnalisé.

merges (`str` ou `list[str]`, *facultatif*) : Liste de fusions personnalisées.

Construisez un tokenizer BPE pour HerBERT (basé sur la bibliothèque tokenizers de HuggingFace).

Particularités :

- utilise le pré-tokeniseur de BERT : BertPreTokenizer découpe les jetons sur les espaces, ainsi que sur la ponctuation. Chaque occurrence d'un caractère de ponctuation sera traitée séparément.

Ce tokenizer hérite de [TokenizersBackend](/docs/transformers/v5.23.0/fr/main_classes/tokenizer#transformers.TokenizersBackend), qui contient la plupart des méthodes. Les utilisateurs doivent se reporter à la classe parente pour plus d’informations sur les méthodes.

