LLM Course

0. Einrichtung

1. Transformer-Modelle

3. Fine-tuning von vortrainierten Modellen

Einführung Datenbearbeitung Fine-tuning von Modellen mit der Trainer API oder Keras Komplettes Training Fine-tuning, Check!Quiz am Ende des Kapitels

4. Teilen von Modellen und Tokenizers

Wörterverzeichnis

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Quiz am Ende des Kapitels

Teste, was du in diesem Kapitel gelernt hast!

1. Der Datensatz emotion enthält Twitter-Nachrichten, die mit Emotionen gelabelt sind. Suche im Hub nach dem Datensatz und lies die Datensatzkarte. Welche der folgenden Emotionen gehört nicht zu den grundlegenden Emotionen?

Joy (Freude) Love (Liebe) Confusion (Verwirrung) Surprise (Überraschung)

2. Suche im Hub nach dem Datensatz ar_sarcasm . Welche Aufgabe unterstützt er?

Sentiment classification (Sentiment-Klassifizierung) Machine translation (Maschinelle Übersetzung) Named entity recognition (Eigennamenerkennung ) Question answering (Fragenbeantwortung)

3. Wie erwartet das BERT Modell, dass ein Satzpaar verarbeitet wird?

Satztoken_1 [SEP] Satztoken_2 [CLS] Satztoken_1 Satztoken_2 [CLS] Satztoken_1 [SEP] Satztoken_2 [SEP] [CLS] Satztoken_1 [SEP] Satztoken_2

4. Was sind die Vorteile der Methode Dataset.map() ?

Die Ergebnisse der Funktion werden im Cache zwischengespeichert, sodass es keine Zeit kostet, wenn wir den Code erneut ausführen. Sie kann Multiprocessing anwenden, um schneller zu sein, als die Funktion auf jedes Element des Datensatzes anzuwenden. Es wird nicht der gesamte Datensatz in den Speicher geladen, sondern die Ergebnisse werden gespeichert, sobald ein Element verarbeitet wurde.

5. Was bedeutet dynamisches Padding?

Das ist, wenn du die Eingaben für jeden Batch auf die maximale Länge des gesamten Datensatzes auffüllst. Wenn du deine Eingaben bei der Erstellung des Batches auf die maximale Länge der Sätze in diesem Batch auffüllst. Das ist, wenn du deine Eingaben so auffüllst, dass jeder Satz die gleiche Anzahl von Token hat wie der vorherige im Datensatz.

6. Welchen Zweck hat die Funktion collate?

Sie stellt sicher, dass alle Sequenzen im Datensatz die gleiche Länge haben. Er stellt alle Proben in einem Batch zusammen. Es wird der gesamte Datensatz vorverarbeitet. Sie schneidet die Sequenzen im Datensatz ab.

7. Was passiert, wenn du eine der Klassen AutoModelForXxx mit einem vortrainierten Sprachmodell (z. B. bert-base-uncased ) instanziierst, das einer anderen Aufgabe entspricht als der, für die es trainiert wurde?

Nichts, aber du bekommst eine Warnung. Der Kopf des vorher trainierten Modells wird verworfen und stattdessen ein neuer Kopf eingefügt, der für die Aufgabe geeignet ist. Der Kopf des vorher trainierten Modells wird verworfen. Nichts, da das Modell noch für die andere Aufgabe fein-tunen kann.

8. Was ist der Zweck von TrainingArguments ?

Sie enthält alle Hyperparameter, die für das Training und die Auswertung mit dem Trainer verwendet werden. Hier wird die Größe des Modells angegeben. Sie enthält nur die Hyperparameter, die für die Auswertung verwendet werden. Er enthält nur die Hyperparameter, die für das Training verwendet werden.

9. Warum solltest du die 🤗 Accelerate Bibliothek benutzen?

Sie bietet Zugang zu schnelleren Modellen. Sie bietet eine High-Level-API, damit ich keine eigene Trainingsschleife implementieren muss. Damit funktionieren unsere Trainingsschleifen bei verteilten Strategien. Es bietet mehr Funktionen zur Optimierung.

Update on GitHub

←Fine-tuning, Check!

Next chapter

Quiz am Ende des Kapitels 1. Der Datensatz emotion enthält Twitter-Nachrichten, die mit Emotionen gelabelt sind. Suche im Hub nach dem Datensatz und lies die Datensatzkarte. Welche der folgenden Emotionen gehört nicht zu den grundlegenden Emotionen?2. Suche im Hub nach dem Datensatz ar_sarcasm . Welche Aufgabe unterstützt er?3. Wie erwartet das BERT Modell, dass ein Satzpaar verarbeitet wird?4. Was sind die Vorteile der Methode Dataset.map() ?5. Was bedeutet dynamisches Padding?6. Welchen Zweck hat die Funktion collate?7. Was passiert, wenn du eine der Klassen AutoModelForXxx mit einem vortrainierten Sprachmodell (z. B. bert-base-uncased ) instanziierst, das einer anderen Aufgabe entspricht als der, für die es trainiert wurde?8. Was ist der Zweck von TrainingArguments ?9. Warum solltest du die 🤗 Accelerate Bibliothek benutzen?4. Was passiert, wenn du eine der Klassen TFAutoModelForXxx mit einem vortrainierten Sprachmodell (z. B. bert-base-uncased ) instanziierst, das einer anderen Aufgabe entspricht als der, für die es trainiert wurde?5. Die Tensorflow Modelle von transformers sind bereits Keras Modelle. Welchen Vorteil bietet das?6. Wie kannst du deine eigene benutzerdefinierte Metrik definieren?