llm-book/JGLUE
Updated • 409 • 15
How to use llm-book/bert-base-japanese-v3-jcommonsenseqa with Transformers:
# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForMultipleChoice
tokenizer = AutoTokenizer.from_pretrained("llm-book/bert-base-japanese-v3-jcommonsenseqa")
model = AutoModelForMultipleChoice.from_pretrained("llm-book/bert-base-japanese-v3-jcommonsenseqa", device_map="auto")「大規模言語モデル入門」の第5章で紹介している(多肢選択式質問応答)のモデルです。 cl-tohoku/bert-base-japanese-v3をJGLUEのJCommonsenseQAデータセットでファインチューニングして構築されています。
Colabノートブック(推論)をご覧ください。