# Higgs Audio V2 Tokenizer

## Tổng quan

- Tần số khung hình thấp: Ở mức 25 fps, bộ phân từ của chúng tôi giảm một nửa tần số khung hình so với nhiều phương pháp cơ sở trong khi vẫn duy trì chất lượng âm thanh cao.
- Đào tạo thống nhất ở 24 kHz: Chúng tôi trộn các đoạn ghi âm giọng nói, nhạc và sự kiện âm thanh trong một mô hình duy nhất, nắm bắt cả chi tiết ngữ nghĩa lẫn chi tiết âm học, hỗ trợ rất lớn cho việc đào tạo các mô hình ngôn ngữ âm thanh.
- Suy luận nhanh: Bằng cách tránh các bước khuếch tán, bộ mã hóa/giải mã của chúng tôi xử lý các lô dữ liệu nhanh chóng, giúp việc áp dụng cho các tác vụ thời gian thực hoặc quy mô lớn trở nên khả thi.

**Kiến trúc mô hình:**

    

## Cách sử dụng

```python
from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel

# load model and feature extractor
model_id = "eustlb/higgs-audio-v2-tokenizer"
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = HiggsAudioV2TokenizerModel.from_pretrained(model_id, device_map="auto")

# load audio sample
dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values
```

## HiggsAudioV2TokenizerConfig[[transformers.HiggsAudioV2TokenizerConfig]]

#### transformers.HiggsAudioV2TokenizerConfig[[transformers.HiggsAudioV2TokenizerConfig]]

```python
transformers.HiggsAudioV2TokenizerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, target_bandwidths: list[int | float] | tuple[int | float, ...] = (0.5, 1, 1.5, 2, 4), sample_rate: int = 24000, kernel_size: int = 3, channel_ratios: list[int] | tuple[int, ...] = (1, 1), strides: list[int] | tuple[int, ...] = (1, 1), block_dilations: list[int] | tuple[int, ...] = (1, 1), unit_kernel_size: int = 3, codebook_size: int = 1024, codebook_dim: int = 64, initializer_range: float = 0.02, acoustic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, semantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, semantic_sample_rate: int = 16000, downsample_factor: int = 320)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/higgs_audio_v2_tokenizer/configuration_higgs_audio_v2_tokenizer.py#L34)

**Tham số:**

target_bandwidths (`List[float]`, *tuỳ chọn*, mặc định là `[0.5, 1, 1.5, 2]`) : Phạm vi của các băng thông khác nhau (tính bằng kbps) mà mô hình có thể dùng để mã hóa âm thanh.

sample_rate (`int`, *optional*, mặc định là `24000`) : Tần số lấy mẫu (sampling rate) mà các tệp âm thanh nên được số hóa, được biểu diễn bằng hertz (Hz).

kernel_size (`int`, *tuỳ chọn*, mặc định là 3) : Kích thước kernel cho phép tích chập ngữ nghĩa ban đầu.

channel_ratios (`List[float]`, *tùy chọn*, mặc định là `[1, 1]`) : Các hệ số mở rộng cho số kênh đầu ra trong mỗi khối ngữ nghĩa.

strides (`List[int]`, *tùy chọn*, mặc định là `[1, 1]`) : Strides cho mỗi khối semantic encoder.

block_dilations (`List[int]`, *tùy chọn*, mặc định là `[1, 1]`) : Các hệ số giãn nở cho các đơn vị dư trong các khối ngữ nghĩa.

unit_kernel_size (`int`, *tuỳ chọn*, mặc định là 3) : Kích thước kernel bên trong mỗi ResidualUnit trong các khối ngữ nghĩa.

codebook_size (`int`, *tuỳ chọn*, mặc định là `1024`) : Số lượng codebook song song được mô hình sử dụng.

codebook_dim (`int`, *optional*, mặc định là `64`) : Độ chiều của mỗi vector nhúng trong codebook.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

acoustic_model_config (`Union[Dict, AutoConfig]`, *tùy chọn*) : Một instance của cấu hình cho mô hình âm thanh (DAC).

semantic_model_config (`Union[Dict, AutoConfig]`, *tùy chọn*) : Một instance của đối tượng cấu hình cho mô hình ngữ nghĩa (HuBERT).

semantic_sample_rate (`int`, *optional*, mặc định là 16000) : Tốc độ lấy mẫu mà mô hình ngữ nghĩa mong đợi đầu vào âm thanh, tính bằng hertz (Hz).

downsample_factor (`int`, *tuỳ chọn*, mặc định là 320) : Hệ số hạ mẫu cho các đặc trưng ngữ nghĩa.

Đây là lớp cấu hình để lưu trữ cấu hình của một HiggsAudioV2TokenizerModel. Nó được sử dụng để khởi tạo một mô hình Higgs Audio V2 Tokenizer theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [bosonai/higgs-audio-v2-tokenizer](https://huggingface.co/bosonai/higgs-audio-v2-tokenizer)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import HiggsAudioV2TokenizerModel, HiggsAudioV2TokenizerConfig

>>> # Initializing configuration
>>> configuration = HiggsAudioV2TokenizerConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = HiggsAudioV2TokenizerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## HiggsAudioV2TokenizerModel[[transformers.HiggsAudioV2TokenizerModel]]

#### transformers.HiggsAudioV2TokenizerModel[[transformers.HiggsAudioV2TokenizerModel]]

```python
transformers.HiggsAudioV2TokenizerModel(config: HiggsAudioV2TokenizerConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/higgs_audio_v2_tokenizer/modeling_higgs_audio_v2_tokenizer.py#L456)

**Tham số:**

config ([HiggsAudioV2TokenizerConfig](/docs/transformers/v5.23.0/vi/model_doc/higgs_audio_v2_tokenizer#transformers.HiggsAudioV2TokenizerConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình mã hóa âm thanh neural HiggsAudioV2Tokenizer.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### decode[[transformers.HiggsAudioV2TokenizerModel.decode]]

```python
decode(audio_codes: Tensor, return_dict: bool | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/higgs_audio_v2_tokenizer/modeling_higgs_audio_v2_tokenizer.py#L564)

**Tham số:**

audio_codes (`torch.LongTensor` có hình dạng `(batch_size, num_quantizers, codes_length)`) : Các chỉ số mã rời rạc được tính toán bằng `model.encode`.

return_dict (`bool`, *tùy chọn*) : Có trả về một [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) hay không

**Trả về:**

Giá trị âm thanh đã giải mã có hình dạng `(batch_size, channels, num_samples)` thu được bằng cách sử dụng phần giải mã của HiggsAudioV2Tokenizer.

#### encode[[transformers.HiggsAudioV2TokenizerModel.encode]]

```python
encode(input_values: Tensor, bandwidth: float | None = None, return_dict: bool | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/higgs_audio_v2_tokenizer/modeling_higgs_audio_v2_tokenizer.py#L512)

**Tham số:**

input_values (`torch.Tensor` có hình dạng `(batch_size, channels, num_samples)`) : Các giá trị Float của dạng sóng âm thanh đầu vào.

bandwidth (`float`, *optional*) : Băng thông mục tiêu (kbps) chỉ hỗ trợ các giá trị trong `config.target_bandwidths`. Mặc định là băng thông cao nhất khả dụng `4.0` kbps.

return_dict (`bool`, *tùy chọn*) : Có trả về một [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) hay không.

**Trả về:**

`torch.LongTensor` có hình dạng `(batch_size, num_quantizers, codes_length)` chứa các mã âm thanh mã hóa rời rạc.

#### forward[[transformers.HiggsAudioV2TokenizerModel.forward]]

```python
forward(input_values: Tensor, audio_codes: typing.Optional[torch.Tensor] = None, bandwidth: float | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/higgs_audio_v2_tokenizer/modeling_higgs_audio_v2_tokenizer.py#L592)

**Tham số:**

input_values (`torch.Tensor` có hình dạng `(batch_size, channels, num_samples)`) : Các giá trị float thô của dạng sóng âm thanh đầu vào.

audio_codes (`torch.LongTensor` có hình dạng `(batch_size, num_quantizers, codes_length)` : Các chỉ số mã rời rạc được tính toán bằng `model.encode`.

bandwidth (`float`, *optional*) : Băng thông mục tiêu tính bằng kbps. Phải là một trong các giá trị của `config.target_bandwidths`. Mặc định là băng thông cao nhất có sẵn.

bandwidth (`float`, *optional*) : Băng thông mục tiêu tính bằng kbps. Phải là một trong các giá trị của `config.target_bandwidths`. Mặc định là băng thông cao nhất có sẵn.

**Trả về:** `HiggsAudioV2TokenizerOutput` hoặc tuple `(audio_codes, audio_values)`

- `audio_codes` có hình dạng `(batch_size, num_quantizers, codes_length)`: các mã rời rạc đã lượng tử hóa.
- `audio_values` có hình dạng `(batch_size, channels, num_samples)`: dạng sóng âm thanh được tái tạo từ các mã.

Phương thức forward của [HiggsAudioV2TokenizerModel](/docs/transformers/v5.23.0/vi/model_doc/higgs_audio_v2_tokenizer#transformers.HiggsAudioV2TokenizerModel) ghi đè phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

Ví dụ:

```python
>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel

>>> model_id = "hf-audio/higgs_audio_v2_tokenizer-hubert-librispeech"
>>> model = HiggsAudioV2TokenizerModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values
```

