# Wav2Vec2-BERT

## Обзор

Модель [Wav2Vec2-BERT](https://huggingface.co/papers/2312.05187) была предложена командой Seamless Communication из Meta AI в работе [Seamless: Multilingual Expressive and Streaming Speech Translation](https://ai.meta.com/research/publications/seamless-multilingual-expressive-and-streaming-speech-translation/).

Эта модель была предварительно обучена на 4,5 млн часов немаркированных аудиоданных, охватывающих более 143 языков. Для использования в задачах нижнего уровня, таких как автоматическое распознавание речи (ASR) или классификация аудио, требуется дообучение.

Официальные результаты модели приведены в разделе 3.2.1 статьи.

Аннотация из статьи следующая:

*Недавние достижения в области автоматического перевода речи значительно расширили охват языков, улучшили мультимодальные возможности и обеспечили широкий спектр задач и функций. Тем не менее, современные системы крупномасштабного автоматического перевода речи по-прежнему лишены ключевых функций, которые делают машинно-опосредованное общение бесшовным по сравнению с диалогом между людьми. В данной работе мы представляем семейство моделей, обеспечивающих сквозной выразительный и многоязычный перевод в потоковом режиме. Во-первых, мы вносим вклад в виде улучшенной версии массово-многоязыковой и мультимодальной модели SeamlessM4T — SeamlessM4T v2. Эта новая модель, использующая обновленную фреймворк UnitY2, была обучена на большем объеме данных для языков с низким ресурсом. Расширенная версия SeamlessAlign добавляет 114 800 часов автоматически выровненных данных, что в сумме составляет 76 языков. SeamlessM4T v2 служит основой, на которой запускаются наши две новейшие модели: SeamlessExpressive и SeamlessStreaming. SeamlessExpressive обеспечивает перевод, сохраняющий вокальные стили и просодию. По сравнению с предыдущими работами в области выразительной речи, наша работа затрагивает определенные недостаточно изученные аспекты просодии, такие как скорость речи и паузы, одновременно сохраняя стиль голоса говорящего. Что касается SeamlessStreaming, наша модель использует механизм Efficient Monotonic Multihead Attention (EMMA) для генерации целевых переводов с низкой задержкой, не дожидаясь завершения исходного высказывания. Будучи первой моделью такого рода, SeamlessStreaming обеспечивает одновременный перевод речи в речь/текст для нескольких исходных и целевых языков. Чтобы оценить производительность этих моделей, мы объединили новые и модифицированные версии существующих автоматических метрик для оценки просодии, задержки и устойчивости. Для оценки человеком мы адаптировали существующие протоколы, нацеленные на измерение наиболее релевантных атрибутов сохранения смысла, естественности и выразительности. Чтобы гарантировать безопасное и ответственное использование наших моделей, мы реализовали первое известное red-teaming для мультимодального машинного перевода, систему обнаружения и смягчения добавленной токсичности, систематическую оценку гендерных предубеждений и механизм неслышимой локализованной водяной метки, предназначенный для снижения влияния дипфейков. Таким образом, мы объединяем ключевые компоненты SeamlessExpressive и SeamlessStreaming, чтобы сформировать Seamless — первую общедоступную систему, открывающую выразительное межъязыковое общение в реальном времени. В целом, Seamless дает нам ключевой взгляд на техническую основу, необходимую для превращения Универсального переводчика речи из концепции научной фантастики в реальную технологию. Наконец, вклады в данной работе — включая модели, код и детектор водяных знаков — публично выпущены и доступны по ссылке ниже.*

Эта модель была предоставлена пользователем [ylacombe](https://huggingface.co/ylacombe). Исходный код можно найти [здесь](https://github.com/facebookresearch/seamless_communication).

## Советы по использованию

- Wav2Vec2-BERT следует той же архитектуре, что и Wav2Vec2-Conformer, но использует каузальный глубинный свёрточный слой и в качестве входных данных принимает представление аудио в виде мел-спектрограммы, а не исходную звуковую волну.
- Wav2Vec2-BERT может использовать относительные векторы позиций, векторы позиций в стиле Shaw, векторы позиций в стиле Transformer-XL или вращательные векторы позиций, задав правильное значение `config.position_embeddings_type`.
- Wav2Vec2-BERT также вводит адаптерную сеть на основе Conformer вместо простой свёрточной сети.

## Ресурсы

- Вы также можете адаптировать эти ноутбуки о том, [как дообучить модель распознавания речи на английском языке](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/speech_recognition.ipynb) и [как дообучить модель распознавания речи на любом языке](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/multi_lingual_speech_recognition.ipynb).

- См. также: [Руководство по задаче классификации аудио](../tasks/audio_classification)

## Wav2Vec2BertConfig[[transformers.Wav2Vec2BertConfig]]

#### transformers.Wav2Vec2BertConfig[[transformers.Wav2Vec2BertConfig]]

```python
transformers.Wav2Vec2BertConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int | None = None, hidden_size: int = 1024, num_hidden_layers: int = 24, num_attention_heads: int = 16, intermediate_size: int = 4096, feature_projection_input_dim: int = 160, hidden_act: str = 'swish', hidden_dropout: float | int = 0.0, activation_dropout: float | int = 0.0, attention_dropout: float | int = 0.0, feat_proj_dropout: float | int = 0.0, final_dropout: float | int = 0.1, layerdrop: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, apply_spec_augment: bool = True, mask_time_prob: float | int = 0.05, mask_time_length: int = 10, mask_time_min_masks: int = 2, mask_feature_prob: float | int = 0.0, mask_feature_length: int = 10, mask_feature_min_masks: int = 0, ctc_loss_reduction: str = 'sum', ctc_zero_infinity: bool = False, use_weighted_layer_sum: bool = False, classifier_proj_size: int = 768, tdnn_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 1500), tdnn_kernel: list[int] | tuple[int, ...] = (5, 3, 3, 1, 1), tdnn_dilation: list[int] | tuple[int, ...] = (1, 2, 3, 1, 1), xvector_output_dim: int = 512, pad_token_id: int | None = 0, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, add_adapter: bool = False, adapter_kernel_size: int = 3, adapter_stride: int = 2, num_adapter_layers: int = 1, adapter_act: str = 'relu', use_intermediate_ffn_before_adapter: bool = False, output_hidden_size: int | None = None, position_embeddings_type: typing.Optional[typing.Literal['rotary', 'relative', 'relative_key']] = 'relative_key', rotary_embedding_base: int = 10000, max_source_positions: int = 5000, left_max_position_embeddings: int = 64, right_max_position_embeddings: int = 8, conv_depthwise_kernel_size: int = 31, conformer_conv_dropout: float | int = 0.1)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/configuration_wav2vec2_bert.py#L26)

**Параметры:**

vocab_size (`int`, *необязательный*) : Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в `input_ids`.

hidden_size (`int`, *необязательный*, по умолчанию `1024`) : Размерность скрытых представлений.

num_hidden_layers (`int`, *необязательный*, по умолчанию `24`) : Количество скрытых слоев в декодере Transformer.

num_attention_heads (`int`, *необязательный*, по умолчанию `16`) : Количество головок внимания для каждого слоя внимания в декодере Transformer.

intermediate_size (`int`, *необязательный*, по умолчанию `4096`) : Размерность представлений MLP.

feature_projection_input_dim (`int`, *необязательный*, по умолчанию 160) : Входное измерение этой модели, то есть размерность после обработки входных аудиоданных с помощью [SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor) или [Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor).

hidden_act (`str`, *необязательный*, по умолчанию `swish`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д.

hidden_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Вероятность dropout для всех полносвязных слоёв в эмбеддингах, энкодере и пулере.

activation_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для активаций внутри полносвязного слоя.

attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для вероятностей внимания.

feat_proj_dropout (`float`, *необязательный*, по умолчанию 0.0) : Вероятность dropout для проекции признаков.

final_dropout (`float`, *необязательный*, по умолчанию 0.1) : Вероятность dropout для финального проекционного слоя [Wav2Vec2BertForCTC](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForCTC).

layerdrop (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Вероятность LayerDrop. Подробнее см. в [статье о LayerDrop](see https://huggingface.co/papers/1909.11556).

initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

layer_norm_eps (`float`, *необязательный*, по умолчанию `1e-05`) : Значение epsilon, используемое слоями нормализации.

apply_spec_augment (`bool`, *необязательный*, по умолчанию `True`) : Применяется ли аугментация данных *SpecAugment* к выводам кодировщика признаков. Для справки см. [SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition](https://huggingface.co/papers/1904.08779).

mask_time_prob (`float`, *optional*, defaults to 0.05) : Percentage (between 0 and 1) of all feature vectors along the time axis which will be masked. The masking procedure generates `mask_time_prob*len(time_axis)/mask_time_length ``independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, *mask_time_prob* should be `prob_vector_start*mask_time_length`. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant if `apply_spec_augment is True`.

mask_time_length (`int`, *optional*, по умолчанию 10) : Длина векторного охвата вдоль временной оси.

mask_time_min_masks (`int`, *optional*, по умолчанию 2) : минимальное количество масок длины `mask_feature_length`, генерируемых вдоль временной оси для каждого шага времени, независимо от `mask_feature_prob`. Актуально только если `mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks`.

mask_feature_prob (`float`, *optional*, по умолчанию 0.0) : Доля (от 0 до 1) всех векторов признаков вдоль оси признаков, которые будут замаскированы. Процедура маскирования генерирует `mask_feature_prob*len(feature_axis)/mask_time_length` независимых масок вдоль оси. Если рассуждать с точки зрения вероятности того, что каждый вектор признаков будет выбран в качестве начала векторного диапазона для маскирования, *mask_feature_prob* должно быть равно `prob_vector_start*mask_feature_length`. Обратите внимание, что перекрытие может уменьшить фактическую долю замаскированных векторов. Это имеет значение только в том случае, если `apply_spec_augment is True`.

mask_feature_length (`int`, *optional*, по умолчанию 10) : Длина векторного охвата вдоль оси признаков.

mask_feature_min_masks (`int`, *optional*, по умолчанию 0) : минимальное количество масок длины `mask_feature_length`, генерируемых вдоль оси признаков на каждом шаге времени, независимо от `mask_feature_prob`. Актуально только если `mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks`.

ctc_loss_reduction (`str`, *необязательный*, по умолчанию `sum`) : Указывает тип редукции, применяемой к выходу `torch.nn.CTCLoss`. Актуально только при обучении.

ctc_zero_infinity (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли обнулять бесконечные потери и связанные с ними градиенты `torch.nn.CTCLoss`. Бесконечные потери возникают в основном, когда входные данные слишком короткие для выравнивания с целевыми. Актуально только при обучении экземпляра [Wav2Vec2BertForCTC](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForCTC).

use_weighted_layer_sum (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли взвешенное среднее выходов слоёв с обучаемыми весами. Актуально только при использовании экземпляра [Wav2Vec2BertForSequenceClassification](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForSequenceClassification).

classifier_proj_size (`int`, *optional*, по умолчанию 768) : Размерность проекции перед усреднением токенов для классификации.

tdnn_dim (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(512, 512, 512, 512, 1500)`) : Кортеж целых чисел, определяющий количество выходных каналов каждого одномерного свёрточного слоя в модуле *TDNN* модели *XVector*. Длина *tdnn_dim* определяет количество слоёв *TDNN*.

tdnn_kernel (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(5, 3, 3, 1, 1)`) : Кортеж целых чисел, определяющий размер ядра каждого одномерного свёрточного слоя в модуле *TDNN* модели *XVector*. Длина *tdnn_kernel* должна совпадать с длиной *tdnn_dim*.

tdnn_dilation (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(1, 2, 3, 1, 1)`) : Кортеж целых чисел, определяющий коэффициент дилатации каждого одномерного свёрточного слоя в модуле *TDNN* модели *XVector*. Длина *tdnn_dilation* должна совпадать с длиной *tdnn_dim*.

xvector_output_dim (`int`, *необязательный*, по умолчанию 512) : Размерность векторов встраивания *XVector*.

pad_token_id (`int`, *необязательный*, по умолчанию `0`) : Идентификатор токена, используемый для выравнивания в словаре.

bos_token_id (`int`, *необязательный*, по умолчанию `1`) : Идентификатор токена, используемый для обозначения начала потока в словаре.

eos_token_id (`Union[int, list[int]]`, *необязательный*, по умолчанию `2`) : Идентификатор токена, используемого для обозначения конца потока в словаре.

add_adapter (`bool`, *необязательный*, по умолчанию `False`) : Следует ли добавить свёрточное внимание поверх кодировщика Wav2Vec2Bert. Может быть очень полезно для предварительного обучения Wav2Vec2Bert для моделей SpeechEncoderDecoder.

adapter_kernel_size (`int`, *optional*, по умолчанию 3) : Размер ядра свёрточных слоёв в сети адаптера. Актуально только если `add_adapter is True`.

adapter_stride (`int`, *optional*, по умолчанию 2) : Шаг свёрточных слоёв в сети адаптера. Актуально только если `add_adapter is True`.

num_adapter_layers (`int`, *optional*, по умолчанию 1) : Количество свёрточных слоёв, которые должны использоваться в сети адаптера. Актуально только если `add_adapter is True`.

adapter_act (`str` или `function`, *необязательный*, по умолчанию `"relu"`) : Нелинейная функция активации (функция или строка) в слоях адаптера. Если передана строка, поддерживаются `"gelu"`, `"relu"`, `"selu"`, `"swish"` и `"gelu_new"`.

use_intermediate_ffn_before_adapter (`bool`, *необязательный*, по умолчанию `False`) : Следует ли добавить промежуточный блок feed-forward поверх кодировщика Wav2Vec2Bert и перед адаптерной сетью. Актуально только если `add_adapter is True`.

output_hidden_size (`int`, *optional*) : Размерность выходного слоя кодировщика. Если не задано, по умолчанию используется *hidden-size*. Актуально только если `add_adapter is True`.

position_embeddings_type (`str`, *необязательный*, по умолчанию `"relative_key"`) : Можно указать: - `rotary`, для вращательных позиционных эмбеддингов. - `relative`, для относительных позиционных эмбеддингов. - `relative_key`, для относительных позиционных эмбеддингов, как определено Шоу в [Self-Attention with Relative Position Representations (Shaw et al.)](https://huggingface.co/papers/1803.02155). Если оставить `None`, относительные позиционные эмбеддинги не применяются.

rotary_embedding_base (`int`, *optional*, по умолчанию 10000) : Если используются позиционные эмбеддинги `"rotary"`, определяет размер базы эмбеддингов.

max_source_positions (`int`, *optional*, по умолчанию 5000) : если используются позиционные эмбеддинги `"relative"`, определяет максимальные позиции входных данных источника.

left_max_position_embeddings (`int`, *optional*, по умолчанию 64) : Если используются позиционные эмбеддинги `"relative_key"` (также известные как Shaw), определяет значение левого обрезания для относительных позиций.

right_max_position_embeddings (`int`, *optional*, по умолчанию 8) : Если используются позиционные эмбеддинги `"relative_key"` (также известные как Shaw), определяет значение правого обрезания для относительных позиций.

conv_depthwise_kernel_size (`int`, *optional*, по умолчанию 31) : Размер ядра свёрточного depthwise 1D слоя в блоках Conformer.

conformer_conv_dropout (`float`, *optional*, по умолчанию 0.1) : Вероятность dropout для всех свёрточных слоёв в блоках Conformer.

Это класс конфигурации для хранения настроек модели Wav2Vec2 BertModel. Он используется для создания модели Wav2Vec2 Bert в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [facebook/w2v-bert-2.0](https://huggingface.co/facebook/w2v-bert-2.0)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

Пример:

```python
>>> from transformers import Wav2Vec2BertConfig, Wav2Vec2BertModel

>>> # Initializing a Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large style configuration
>>> configuration = Wav2Vec2BertConfig()

>>> # Initializing a model (with random weights) from the facebook/wav2vec2-bert-rel-pos-large style configuration
>>> model = Wav2Vec2BertModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Wav2Vec2BertProcessor[[transformers.Wav2Vec2BertProcessor]]

#### transformers.Wav2Vec2BertProcessor[[transformers.Wav2Vec2BertProcessor]]

```python
transformers.Wav2Vec2BertProcessor(feature_extractor, tokenizer)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/processing_wav2vec2_bert.py#L25)

**Параметры:**

feature_extractor (`Wav2Vec2FeatureExtractor`) : Извлекатель признаков является обязательным входом.

tokenizer (`Wav2Vec2CTCTokenizer`) : Токенизатор является обязательным входным параметром.

Создаёт Wav2Vec2BertProcessor, который объединяет экстрактор признаков и токенизатор в единый процессор.

[Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) предоставляет все возможности [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) и [Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer). Подробнее см. в [~Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) и [~Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer).

#### __call__[[transformers.Wav2Vec2BertProcessor.__call__]]

```python
__call__(audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, text: str | list[str] | None = None, **kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/processing_wav2vec2_bert.py#L29)

**Параметры:**

audio (`Union[numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor]]`, *необязательный*) : Аудио или пакет аудио, подлежащий подготовке. Каждое аудио может быть массивом NumPy или тензором PyTorch. В случае массива NumPy/тензора PyTorch каждое аудио должно иметь форму (C, T), где C — количество каналов, а T — длина выборки аудио.

text (`Union[str, list[str]]`, *необязательный*) : Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если вы передаете предтокенизированный вход, установите `is_split_into_words=True`, чтобы избежать неоднозначности с батчированными входами.

return_mm_token_type_ids (`bool`, *kwargs*) : Нужно ли возвращать идентификаторы типов мультимодальных токенов, указывающие на позиции мультимодальных плейсхолдер-токенов.

return_text_replacement_offsets (`bool`, *kwargs*) : Нужно ли возвращать смещения символов для каждого мультимодального плейсхолдера и его замены.

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:  - `'pt'`: возвращает объекты `torch.Tensor` PyTorch. - `'np'`: возвращает объекты `np.ndarray` NumPy.

- ****kwargs** ([ProcessingKwargs](/docs/transformers/v5.23.0/ru/main_classes/processors#transformers.ProcessingKwargs), *optional*) : Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict.

**Возвращает:** [BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding)

[BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding) со следующими полями:
- **input_features** -- Аудиовходные признаки, передаваемые в модель. Возвращается, если `audio` не равно `None`.
- **attention_mask** -- список индексов, указывающих, к каким временным меткам модель должна обращать внимание, когда `audio` не равно `None`.
Если указан только `text`, возвращает маску внимания для токенов.
- **labels** -- Список идентификаторов токенов, передаваемых в модель. Возвращается, когда и `text`, и `audio` не равны `None`.
- **input_ids** -- Список идентификаторов токенов, передаваемых в модель. Возвращается, если `text` не равен `None`, а `audio` равен `None`.

#### pad[[transformers.Wav2Vec2BertProcessor.pad]]

```python
pad(input_features = None, labels = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/processing_wav2vec2_bert.py#L66)

Если `input_features` не равно `None`, этот метод передаёт аргументы `input_features` и `kwargs` в метод [pad()](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.SequenceFeatureExtractor.pad) класса SeamlessM4TFeatureExtractor для выравнивания входных признаков. Если `labels` не равно `None`, этот метод передаёт аргументы `labels` и `kwargs` в метод [pad()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.pad) класса PreTrainedTokenizer для выравнивания меток. Подробную информацию см. в документации (docstring) указанных выше методов.

#### from_pretrained[[transformers.Wav2Vec2BertProcessor.from_pretrained]]

```python
from_pretrained(pretrained_model_name_or_path: str | os.PathLike, cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1799)

**Параметры:**

pretrained_model_name_or_path (`str` или `os.PathLike`) : Может быть одним из следующих:  - строка, *model id* предобученного feature_extractor, размещенного в репозитории моделей на huggingface.co. - путь к *каталогу*, содержащему файл feature extractor, сохраненный с помощью метода [save_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained), например, `./my_model_directory/`. - путь к сохраненному JSON-*файлу* feature extractor, например, `./my_model_directory/preprocessor_config.json`.

- ****kwargs** : Дополнительные именованные аргументы, передаваемые как в [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained), так и в `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained`.

Создайте экземпляр процессора, связанного с предобученной моделью.

Этот метод класса просто вызывает метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) экстрактора признаков, метод [ImageProcessingMixin](/docs/transformers/v5.23.0/ru/internal/image_processing_utils#transformers.ImageProcessingMixin) процессора изображений и метод `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained` токенизатора. Более подробную информацию см. в строках документации указанных методов.

#### save_pretrained[[transformers.Wav2Vec2BertProcessor.save_pretrained]]

```python
save_pretrained(save_directory, push_to_hub: bool = False, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1182)

**Параметры:**

save_directory (`str` или `os.PathLike`) : Каталог, в котором будут сохранены JSON-файл экстрактора признаков и файлы токенизатора (каталог будет создан, если он не существует).

push_to_hub (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли после сохранения модели загрузить её в Hugging Face model hub. Репозиторий, в который нужно загрузить модель, можно указать с помощью `repo_id` (по умолчанию используется имя `save_directory` в вашем пространстве имён).

kwargs (`dict[str, Any]`, *необязательный*) : Дополнительные именованные аргументы, передаваемые в метод [push_to_hub()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub).

Сохраняет атрибуты этого процессора (извлекатель признаков, токенизатор и т. д.) в указанную директорию, чтобы его можно было загрузить снова с помощью метода [from_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained).

Этот метод класса просто вызывает [save_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained) и [save_pretrained()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained). Подробности см. в строках документации указанных выше методов.

#### batch_decode[[transformers.Wav2Vec2BertProcessor.batch_decode]]

```python
batch_decode(*args, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2054)

Этот метод передаёт все свои аргументы в [batch_decode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.batch_decode) класса PreTrainedTokenizer. Подробности см. в docstring этого метода.

#### decode[[transformers.Wav2Vec2BertProcessor.decode]]

```python
decode(*args, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2063)

Этот метод передаёт все свои аргументы в [decode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.decode) класса PreTrainedTokenizer. Подробности см. в docstring этого метода.

## Wav2Vec2BertModel[[transformers.Wav2Vec2BertModel]]

#### transformers.Wav2Vec2BertModel[[transformers.Wav2Vec2BertModel]]

```python
transformers.Wav2Vec2BertModel(config: Wav2Vec2BertConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L945)

**Параметры:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Wav2Vec2 Bert, выводящая необработанные скрытые состояния без какого-либо специализированного слоя на выходе.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.Wav2Vec2BertModel.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, mask_time_indices: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1012)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). Подробности см. в [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) использует [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) для обработки аудио).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

mask_time_indices (`torch.BoolTensor` формы `(batch_size, sequence_length)`, *необязательный*) : Индексы для маскирования извлечённых признаков для контрастивной функции потерь. В режиме обучения модель учится предсказывать замаскированные извлечённые признаки в пространстве *config.proj_codevector_dim*.

**Возвращает:** [Wav2Vec2BaseModelOutput](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) или `tuple(torch.Tensor)`

Объект [Wav2Vec2BaseModelOutput](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) и входных данных.

Метод forward модели [Wav2Vec2BertModel](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели.
- **extract_features** (`torch.Tensor` формы `(batch_size, sequence_length, conv_dim[-1])`) -- Последовательность векторов признаков, извлечённых из последнего свёрточного слоя модели.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

## Wav2Vec2BertForCTC[[transformers.Wav2Vec2BertForCTC]]

#### transformers.Wav2Vec2BertForCTC[[transformers.Wav2Vec2BertForCTC]]

```python
transformers.Wav2Vec2BertForCTC(config: Wav2Vec2BertConfig, target_lang: str | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1058)

**Параметры:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

target_lang (`str`, *необязательный*) : Идентификатор языка весов адаптера. Веса адаптера хранятся в формате adapter..safetensors или adapter..bin. Актуально только при использовании экземпляра [UniSpeechSatForCTC](/docs/transformers/v5.23.0/ru/model_doc/unispeech-sat#transformers.UniSpeechSatForCTC) с адаптерами. По умолчанию используется 'eng'.

Модель Wav2Vec2Bert с головкой `language modeling` для Connectionist Temporal Classification (CTC).

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.Wav2Vec2BertForCTC.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1088)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). Подробности см. в [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) использует [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) для обработки аудио).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size, target_length)`, *необязательный*) : Метки для связного временного классификационного метода (CTC). Обратите внимание, что `target_length` должен быть меньше или равен длине последовательности выходных логитов. Индексы выбираются из диапазона `[-100, 0, ..., config.vocab_size - 1]`. Все метки, установленные в `-100`, игнорируются (маскируются); функция потерь вычисляется только для меток из диапазона `[0, ..., config.vocab_size - 1]`.

**Возвращает:** [CausalLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.CausalLMOutput) или `tuple(torch.Tensor)`

[CausalLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.CausalLMOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) и входных данных.

Метод forward класса [Wav2Vec2BertForCTC](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForCTC) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели (для предсказания следующего токена).
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoProcessor, Wav2Vec2BertForCTC
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForCTC.from_pretrained("facebook/w2v-bert-2.0")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...
```

## Wav2Vec2BertForSequenceClassification[[transformers.Wav2Vec2BertForSequenceClassification]]

#### transformers.Wav2Vec2BertForSequenceClassification[[transformers.Wav2Vec2BertForSequenceClassification]]

```python
transformers.Wav2Vec2BertForSequenceClassification(config: Wav2Vec2BertConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1148)

**Параметры:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Wav2Vec2Bert с головой для классификации последовательностей (линейный слой поверх агрегированного вывода) для задач, таких как SUPERB Keyword Spotting.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.Wav2Vec2BertForSequenceClassification.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1174)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). Подробности см. в [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) использует [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) для обработки аудио).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size,)`, *необязательный*) : Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне `[0, ..., config.num_labels - 1]`. Если `config.num_labels == 1`, вычисляется функция потерь регрессии (среднеквадратичная ошибка), если `config.num_labels > 1` — функция потерь классификации (кросс-энтропия).

**Возвращает:** [SequenceClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) или `tuple(torch.Tensor)`

Объект [SequenceClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) и входных данных.

Метод forward класса [Wav2Vec2BertForSequenceClassification](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForSequenceClassification) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потери классификации (или регрессии, если config.num_labels==1).
- **logits** (`torch.Tensor` формы `(batch_size, config.num_labels)`) — Оценки классификации (или регрессии, если config.num_labels==1) до применения SoftMax.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример классификации с одной меткой:

```python
>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2BertForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

Пример многоклассовой классификации:

```python
>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2BertForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained(
...     "facebook/w2v-bert-2.0", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## Wav2Vec2BertForAudioFrameClassification[[transformers.Wav2Vec2BertForAudioFrameClassification]]

#### transformers.Wav2Vec2BertForAudioFrameClassification[[transformers.Wav2Vec2BertForAudioFrameClassification]]

```python
transformers.Wav2Vec2BertForAudioFrameClassification(config: Wav2Vec2BertConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1232)

**Параметры:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Wav2Vec2 Bert с головкой для классификации кадров, предназначенной для таких задач, как диаризация говорящих.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.Wav2Vec2BertForAudioFrameClassification.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1257)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). Подробности см. в [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) использует [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) для обработки аудио).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size,)`, *необязательный*) : Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне `[0, ..., config.num_labels - 1]`. Если `config.num_labels == 1`, вычисляется функция потерь регрессии (среднеквадратичная ошибка), если `config.num_labels > 1` — функция потерь классификации (кросс-энтропия).

**Возвращает:** [TokenClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) или `tuple(torch.Tensor)`

Объект [TokenClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) и входных данных.

Метод forward класса [Wav2Vec2BertForAudioFrameClassification](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForAudioFrameClassification) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потери классификации.
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.num_labels)`) — Оценки классификации (до SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForAudioFrameClassification.from_pretrained("facebook/w2v-bert-2.0")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()
>>> labels[0].tolist()
...
```

## Wav2Vec2BertForXVector[[transformers.Wav2Vec2BertForXVector]]

#### transformers.Wav2Vec2BertForXVector[[transformers.Wav2Vec2BertForXVector]]

```python
transformers.Wav2Vec2BertForXVector(config: Wav2Vec2BertConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1367)

**Параметры:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Wav2Vec2Bert с головой извлечения признаков XVector для задач, таких как верификация говорящего.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.Wav2Vec2BertForXVector.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1410)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). Подробности см. в [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) использует [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) для обработки аудио).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size,)`, *необязательный*) : Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне `[0, ..., config.num_labels - 1]`. Если `config.num_labels == 1`, вычисляется функция потерь регрессии (среднеквадратичная ошибка), если `config.num_labels > 1` — функция потерь классификации (кросс-энтропия).

**Возвращает:** [XVectorOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.XVectorOutput) или `tuple(torch.Tensor)`

[XVectorOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.XVectorOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) и входных данных.

Метод forward класса [Wav2Vec2BertForXVector](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForXVector) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потери классификации.
- **logits** (`torch.Tensor` формы `(batch_size, config.xvector_output_dim)`) -- Скрытые состояния классификации до AMSoftmax.
- **embeddings** (`torch.Tensor` формы `(batch_size, config.xvector_output_dim)`) -- Векторы высказываний, используемые для поиска на основе векторного сходства.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForXVector
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForXVector.from_pretrained("facebook/w2v-bert-2.0")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
...     [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
...     embeddings = model(**inputs).embeddings

>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()

>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7  # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
...     print("Speakers are not the same!")
>>> round(similarity.item(), 2)
...
```

