LLM Course documentation
Modelli decoder
Modelli decoder
I modelli decoder utilizzano solo il decoder di un modello Transformer. Ad ogni passaggio e per una data parola, gli attention layer hanno accesso solo alle parole che la precedono nella frase. Questi modelli sono spesso detti auto-regressive models.
Il pre-addestramento dei modelli decoder ha spesso a che fare con la previsione della parola successiva in un contesto frasale.
Questi modelli sono particolarmente adatti a compiti di generazione testuale.
Alcuni rappresentanti di questa famiglia includono:
Update on GitHub