LLM Course documentation
总结
0. 安装
1. Transformer 模型
2. 使用 🤗 Transformers
3. 微调一个预训练模型
4. 分享你的模型和标记器
5. 🤗 Datasets库
6. 🤗 Tokenizers库
7. 主要的 NLP 任务
8. 如何寻求帮助
9. 构建并分享你的模型
课程活动
总结
在本章中,你了解了如何使用来自🤗Transformers 的高级函数 pipeline() 处理不同的 NLP 任务。你还了解了如何在模型中心(hub)中搜索和使用模型,以及如何使用推理 API 直接在浏览器中测试模型。
我们从最终的效果的角度讨论了 Transformer 模型的工作方式,并讨论了迁移学习和微调的重要性。一个关键的收获是:你可以使用完整的体系结构,也可以仅使用编码器或解码器,具体取决于你要解决的任务类型。下表总结了这一点:
| 模型 | 示例 | 任务 |
|---|---|---|
| 编码器 | ALBERT,BERT,DistilBERT,ELECTRA,RoBERTa | 句子分类、命名实体识别、抽取式问答(从文本中提取答案) |
| 解码器 | CTRL,GPT,GPT-2,Transformer XL | 文本生成 |
| 编码器-解码器 | BART,T5,Marian,mBART | 文本摘要、翻译、生成式问答(生成问题的回答类似 chatgpt) |