# BertJapanese

## Tổng quan

Các mô hình BERT được huấn luyện trên văn bản tiếng Nhật.

Có các mô hình sử dụng hai phương pháp token hóa khác nhau:

- Tokenize bằng MeCab và WordPiece. Điều này yêu cầu một số phụ thuộc bổ sung, [fugashi](https://github.com/polm/fugashi) là một wrapper bao quanh [MeCab](https://taku910.github.io/mecab/).
- Chia token thành các ký tự.

Để sử dụng *MecabTokenizer*, bạn nên `pip install transformers["ja"]` (hoặc `pip install -e .["ja"]` nếu bạn cài đặt từ mã nguồn) để cài đặt các phụ thuộc.

Xem [chi tiết trong kho lưu trữ cl-tohoku](https://github.com/cl-tohoku/bert-japanese).

Ví dụ về việc sử dụng một mô hình với MeCab và phân từ WordPiece:

```python
import torch
from transformers import AutoModel, AutoTokenizer

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾輩 は 猫 で ある 。 [SEP]

outputs = bertjapanese(**inputs)
```

Ví dụ về việc sử dụng một mô hình với phân tách ký tự:

```python
bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese-char", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-char")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾 輩 は 猫 で あ る 。 [SEP]

outputs = bertjapanese(**inputs)
```

Mô hình này được đóng góp bởi [cl-tohoku](https://huggingface.co/cl-tohoku).

Cài đặt này giống với BERT, ngoại trừ phương pháp phân tách token. Tham khảo [tài liệu BERT](bert) để biết thông tin tham chiếu API.

## BertJapaneseTokenizer[[transformers.BertJapaneseTokenizer]]

#### transformers.BertJapaneseTokenizer[[transformers.BertJapaneseTokenizer]]

```python
transformers.BertJapaneseTokenizer(vocab_file, spm_file = None, do_lower_case = False, do_word_tokenize = True, do_subword_tokenize = True, word_tokenizer_type = 'basic', subword_tokenizer_type = 'wordpiece', never_split = None, unk_token = '[UNK]', sep_token = '[SEP]', pad_token = '[PAD]', cls_token = '[CLS]', mask_token = '[MASK]', mecab_kwargs = None, sudachi_kwargs = None, jumanpp_kwargs = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bert_japanese/tokenization_bert_japanese.py#L58)

**Tham số:**

vocab_file (`str`) : Đường dẫn đến tệp từ vựng có một từ mỗi dòng.

spm_file (`str`, *tùy chọn*) : Đường dẫn đến tệp [SentencePiece](https://github.com/google/sentencepiece) (thường có phần mở rộng .spm hoặc .model) chứa từ vựng.

do_lower_case (`bool`, *tùy chọn*, mặc định là `True`) : Có nên chuyển đầu vào sang chữ thường hay không. Chỉ có hiệu lực khi do_basic_tokenize=True.

do_word_tokenize (`bool`, *tùy chọn*, mặc định là `True`) : Có thực hiện phân tách từ (word tokenization) hay không.

do_subword_tokenize (`bool`, *tùy chọn*, mặc định là `True`) : Có thực hiện phân tách token con (subword tokenization) hay không.

word_tokenizer_type (`str`, *tùy chọn*, mặc định là `"basic"`) : Kiểu bộ phân tách từ. Chọn từ ["basic", "mecab", "sudachi", "jumanpp"].

subword_tokenizer_type (`str`, *tùy chọn*, mặc định là `"wordpiece"`) : Loại bộ phân tách từ con. Chọn từ ["wordpiece", "character", "sentencepiece",].

mecab_kwargs (`dict`, *tùy chọn*) : Từ điển được truyền vào bộ dựng `MecabTokenizer`.

sudachi_kwargs (`dict`, *tùy chọn*) : Từ điển được truyền vào bộ dựng `SudachiTokenizer`.

jumanpp_kwargs (`dict`, *tùy chọn*) : Từ điển được truyền vào bộ dựng `JumanppTokenizer`.

Xây dựng một tokenizer BERT cho văn bản tiếng Nhật.

Tokenizer này kế thừa từ [PreTrainedTokenizer](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.PythonBackend), bao gồm hầu hết các phương thức chính. Người dùng nên tham khảo: siêu lớp này để biết thêm thông tin về các phương thức đó.

#### convert_tokens_to_string[[transformers.BertJapaneseTokenizer.convert_tokens_to_string]]

```python
convert_tokens_to_string(tokens)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bert_japanese/tokenization_bert_japanese.py#L256)

Chuyển đổi một chuỗi các token (chuỗi ký tự) trong một chuỗi duy nhất.

