# MobileViTV2

## Tổng quan

Mô hình MobileViTV2 được đề xuất trong [Separable Self-attention for Mobile Vision Transformers](https://huggingface.co/papers/2206.02680) bởi Sachin Mehta và Mohammad Rastegari.

MobileViTV2 là phiên bản thứ hai của MobileViT, được xây dựng bằng cách thay thế self-attention đa đầu trong MobileViT bằng separable self-attention.

Tóm tắt từ bài báo như sau:

*Mobile vision transformers (MobileViT) có thể đạt hiệu suất tiên tiến (state-of-the-art) trên nhiều tác vụ thị giác di động, bao gồm phân loại và phát hiện. Mặc dù các mô hình này có ít tham số hơn, chúng có độ trễ cao so với các mô hình dựa trên mạng nơ-ron tích chập. Nút thắt hiệu suất chính trong MobileViT là cơ chế tự chú ý đa đầu (multi-headed self-attention - MHA) trong transformers, đòi hỏi độ phức tạp thời gian O(k2) theo số lượng token (hoặc patch) k. Hơn nữa, MHA yêu cầu các phép toán tốn kém (ví dụ: nhân ma trận theo lô) để tính toán tự chú ý, ảnh hưởng đến độ trễ trên các thiết bị có tài nguyên hạn chế. Bài báo này giới thiệu một phương pháp tự chú ý tách rời (separable self-attention) với độ phức tạp tuyến tính, tức là O(k). Một đặc điểm đơn giản nhưng hiệu quả của phương pháp đề xuất là nó sử dụng các phép toán theo phần tử (element-wise) để tính toán tự chú ý, khiến nó trở thành lựa chọn tốt cho các thiết bị có tài nguyên hạn chế. Mô hình cải tiến, MobileViTV2, đạt hiệu suất tiên tiến trên một số tác vụ thị giác di động, bao gồm phân loại đối tượng ImageNet và phát hiện đối tượng MS-COCO. Với khoảng ba triệu tham số, MobileViTV2 đạt độ chính xác top-1 là 75,6% trên bộ dữ liệu ImageNet, vượt trội hơn MobileViT khoảng 1% trong khi chạy nhanh hơn 3,2 lần trên thiết bị di động.*

Mô hình này được đóng góp bởi [shehan97](https://huggingface.co/shehan97). Mã gốc có thể được tìm thấy [tại đây](https://github.com/apple/ml-cvnets).

## Mẹo sử dụng

- MobileViTV2 giống một CNN hơn là một mô hình Transformer. Nó không hoạt động trên dữ liệu chuỗi mà trên các lô ảnh. Khác với ViT, không có các embedding. Mô hình backbone xuất ra một bản đồ đặc trưng.
- Bạn có thể sử dụng [MobileViTImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/mobilevit#transformers.MobileViTImageProcessor) để chuẩn bị ảnh cho mô hình. Lưu ý rằng nếu bạn tự thực hiện tiền xử lý, các checkpoint được huấn luyện trước kỳ vọng ảnh phải ở thứ tự pixel BGR (không phải RGB).
- Các checkpoint phân loại hình ảnh khả dụng được huấn luyện trước trên [ImageNet-1k](https://huggingface.co/datasets/ILSVRC/imagenet-1k) (còn được gọi là ILSVRC 2012, một bộ sưu tập gồm 1,3 triệu hình ảnh và 1.000 lớp).
- Mô hình phân đoạn sử dụng đầu [DeepLabV3](https://huggingface.co/papers/1706.05587). Các checkpoint phân đoạn ngữ nghĩa khả dụng được huấn luyện trước trên [PASCAL VOC](http://host.robots.ox.ac.uk/pascal/VOC/).

## MobileViTV2Config[[transformers.MobileViTV2Config]]

#### transformers.MobileViTV2Config[[transformers.MobileViTV2Config]]

```python
transformers.MobileViTV2Config(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, num_channels: int = 3, image_size: int | list[int] | tuple[int, int] = 256, patch_size: int | list[int] | tuple[int, int] = 2, expand_ratio: float = 2.0, hidden_act: str = 'swish', conv_kernel_size: int = 3, output_stride: int = 32, classifier_dropout_prob: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, aspp_out_channels: int = 512, atrous_rates: list[int] | tuple[int, ...] = (6, 12, 18), aspp_dropout_prob: float | int = 0.1, semantic_loss_ignore_index: int = 255, n_attn_blocks: list[int] | tuple[int, ...] = (2, 4, 3), base_attn_unit_dims: list[int] | tuple[int, ...] = (128, 192, 256), width_multiplier: float | int = 1.0, ffn_multiplier: int = 2, attn_dropout: float | int = 0.0, ffn_dropout: float | int = 0.0)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mobilevitv2/configuration_mobilevitv2.py#L24)

**Tham số:**

num_channels (`int`, *tuỳ chọn*, mặc định là `3`) : Số lượng kênh đầu vào.

image_size (`Union[int, list[int], tuple[int, int]]`, *tùy chọn*, mặc định là `256`) : Kích thước (độ phân giải) của mỗi hình ảnh.

patch_size (`Union[int, list[int], tuple[int, int]]`, *tùy chọn*, mặc định là `2`) : Kích thước (độ phân giải) của mỗi patch.

expand_ratio (`float`, *tuỳ chọn*, mặc định là `2.0`) : Tỉ lệ mở rộng để thiết lập các chiều đầu ra cho phép mở rộng

hidden_act (`str`, *tùy chọn*, mặc định là `swish`) : Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

conv_kernel_size (`int`, *optional*, mặc định là `3`) : Kích thước của nhân tích chập.

output_stride (`int`, *tuỳ chọn*, mặc định là `32`) : Tỷ lệ giữa độ phân giải không gian của bản đồ đặc trưng đầu vào và đầu ra.

classifier_dropout_prob (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Tỷ lệ dropout cho bộ phân loại.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

layer_norm_eps (`float`, *tuỳ chọn*, mặc định là `1e-05`) : Epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).

aspp_out_channels (`int`, *tuỳ chọn*, mặc định là 512) : Số lượng kênh đầu ra được sử dụng trong lớp ASPP cho phân đoạn ngữ nghĩa.

atrous_rates (`list[int]`, *optional*, mặc định là `[6, 12, 18]`) : Các hệ số giãn nở (atrous) được sử dụng trong lớp ASPP cho phân đoạn ngữ nghĩa.

aspp_dropout_prob (`float`, *optional*, mặc định là 0.1) : Tỷ lệ dropout cho lớp ASPP dùng cho phân đoạn ngữ nghĩa.

semantic_loss_ignore_index (`int`, *tuỳ chọn*, mặc định là `255`) : Chỉ số bị bỏ qua bởi hàm loss của mô hình phân đoạn ngữ nghĩa.

n_attn_blocks (`list[int]`, *tùy chọn*, mặc định là `[2, 4, 3]`) : Số lượng khối chú ý trong mỗi MobileViTV2Layer

base_attn_unit_dims (`list[int]`, *tuỳ chọn*, mặc định là `[128, 192, 256]`) : Hệ số nhân cơ bản cho các chiều của các khối chú ý trong mỗi MobileViTV2Layer

width_multiplier (`float`, *tuỳ chọn*, mặc định là 1.0) : Hệ số nhân chiều rộng cho MobileViTV2.

ffn_multiplier (`int`, *tuỳ chọn*, mặc định là 2) : Hệ số nhân FFN cho MobileViTV2.

attn_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý.

ffn_dropout (`float`, *optional*, mặc định là 0.0) : Dropout giữa các lớp FFN.

Đây là lớp cấu hình để lưu trữ cấu hình của một MobileViTV2Model. Nó được sử dụng để khởi tạo một mô hình Mobilevitv2 theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [apple/mobilevitv2-1.0](https://huggingface.co/apple/mobilevitv2-1.0)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import MobileViTV2Config, MobileViTV2Model

>>> # Initializing a mobilevitv2-small style configuration
>>> configuration = MobileViTV2Config()

>>> # Initializing a model from the mobilevitv2-small style configuration
>>> model = MobileViTV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## MobileViTV2Model[[transformers.MobileViTV2Model]]

#### transformers.MobileViTV2Model[[transformers.MobileViTV2Model]]

```python
transformers.MobileViTV2Model(config: MobileViTV2Config, expand_output: bool = True)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mobilevitv2/modeling_mobilevitv2.py#L590)

**Tham số:**

config ([MobileViTV2Config](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

expand_output (`bool`, *tuỳ chọn*, mặc định là `True`) : Xác định có mở rộng đầu ra của mô hình hay không. Nếu `True`, mô hình sẽ xuất các đặc trưng đã gộp (pooled features) bên cạnh các trạng thái ẩn (hidden states). Nếu `False`, chỉ các trạng thái ẩn sẽ được trả về.

Mô hình Mobilevitv2 cơ bản, xuất ra các hidden-states thô mà không có head cụ thể nào ở phía trên.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.MobileViTV2Model.forward]]

```python
forward(pixel_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mobilevitv2/modeling_mobilevitv2.py#L619)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`, *tùy chọn*) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [MobileViTImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/mobilevit#transformers.MobileViTImageProcessor). Xem [MobileViTImageProcessor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [MobileViTImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/mobilevit#transformers.MobileViTImageProcessor) để xử lý ảnh).

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** `BaseModelOutputWithPoolingAndNoAttention` hoặc `tuple(torch.Tensor)`

Một `BaseModelOutputWithPoolingAndNoAttention` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([MobileViTV2Config](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2Config)) và đầu vào.

Phương thức forward của [MobileViTV2Model](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2Model) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, num_channels, height, width)`) -- Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của mô hình.
- **pooler_output** (`torch.Tensor` có hình dạng `(batch_size, hidden_size)`) -- Trạng thái ẩn của lớp cuối cùng sau khi thực hiện phép pooling trên các chiều không gian.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, num_channels, height, width)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

Ví dụ:

```python
```

## MobileViTV2ForImageClassification[[transformers.MobileViTV2ForImageClassification]]

#### transformers.MobileViTV2ForImageClassification[[transformers.MobileViTV2ForImageClassification]]

```python
transformers.MobileViTV2ForImageClassification(config: MobileViTV2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mobilevitv2/modeling_mobilevitv2.py#L669)

**Tham số:**

config ([MobileViTV2Config](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình MobileViTV2 với đầu phân loại hình ảnh phía trên (một lớp tuyến tính phía trên các đặc trưng đã được gom), ví dụ cho ImageNet.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.MobileViTV2ForImageClassification.forward]]

```python
forward(pixel_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, labels: typing.Optional[torch.Tensor] = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mobilevitv2/modeling_mobilevitv2.py#L687)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`, *tùy chọn*) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [MobileViTImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/mobilevit#transformers.MobileViTImageProcessor). Xem [MobileViTImageProcessor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [MobileViTImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/mobilevit#transformers.MobileViTImageProcessor) để xử lý ảnh).

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

labels (`torch.LongTensor` có hình dạng `(batch_size,)`, *tùy chọn*) : Nhãn để tính toán tổn thất phân loại/hồi quy hình ảnh. Chỉ số phải nằm trong `[0, ..., config.num_labels - 1]`. Nếu `config.num_labels == 1`, tổn thất hồi quy sẽ được tính toán (tổn thất Mean-Square). Nếu `config.num_labels > 1`, tổn thất phân loại sẽ được tính toán (Cross-Entropy).

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [ImageClassifierOutputWithNoAttention](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.ImageClassifierOutputWithNoAttention) hoặc `tuple(torch.Tensor)`

Một [ImageClassifierOutputWithNoAttention](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.ImageClassifierOutputWithNoAttention) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([MobileViTV2Config](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2Config)) và đầu vào.

Phương thức forward của [MobileViTV2ForImageClassification](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2ForImageClassification) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss phân loại (hoặc hồi quy nếu config.num_labels==1).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, config.num_labels)`) -- Điểm phân loại (hoặc hồi quy nếu config.num_labels==1) (trước SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Tuple của `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi giai đoạn) có hình dạng `(batch_size, num_channels, height, width)`. Hidden-states (còn gọi là feature maps) của mô hình tại đầu ra của mỗi giai đoạn.

Ví dụ:

```python
>>> from transformers import AutoImageProcessor, MobileViTV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("apple/mobilevitv2-1.0")
>>> model = MobileViTV2ForImageClassification.from_pretrained("apple/mobilevitv2-1.0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...
```

## MobileViTV2ForSemanticSegmentation[[transformers.MobileViTV2ForSemanticSegmentation]]

#### transformers.MobileViTV2ForSemanticSegmentation[[transformers.MobileViTV2ForSemanticSegmentation]]

```python
transformers.MobileViTV2ForSemanticSegmentation(config: MobileViTV2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mobilevitv2/modeling_mobilevitv2.py#L838)

**Tham số:**

config ([MobileViTV2Config](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình MobileViTV2 với đầu phân đoạn ngữ nghĩa phía trên, ví dụ cho Pascal VOC.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.MobileViTV2ForSemanticSegmentation.forward]]

```python
forward(pixel_values: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mobilevitv2/modeling_mobilevitv2.py#L849)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`, *tùy chọn*) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [MobileViTImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/mobilevit#transformers.MobileViTImageProcessor). Xem [MobileViTImageProcessor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [MobileViTImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/mobilevit#transformers.MobileViTImageProcessor) để xử lý ảnh).

labels (`torch.LongTensor` có shape `(batch_size, height, width)`, *tùy chọn*) : Bản đồ phân đoạn ngữ nghĩa ground truth để tính toán loss. Các chỉ số nên nằm trong `[0, ..., config.num_labels - 1]`. Nếu `config.num_labels > 1`, một loss phân loại sẽ được tính toán (Cross-Entropy).

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [SemanticSegmenterOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.SemanticSegmenterOutput) hoặc `tuple(torch.Tensor)`

Một [SemanticSegmenterOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.SemanticSegmenterOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([MobileViTV2Config](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2Config)) và đầu vào.

Phương thức forward của [MobileViTV2ForSemanticSegmentation](/docs/transformers/v5.23.0/vi/model_doc/mobilevitv2#transformers.MobileViTV2ForSemanticSegmentation) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss phân loại (hoặc hồi quy nếu config.num_labels==1).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, config.num_labels, logits_height, logits_width)`) -- Điểm phân loại cho từng pixel.

  

  Các logits được trả về không nhất thiết có cùng kích thước với `pixel_values` được truyền vào. Điều này nhằm tránh thực hiện hai lần nội suy và mất một phần chất lượng khi người dùng cần điều chỉnh kích thước logits về kích thước ảnh gốc như một bước xử lý hậu kỳ. Bạn luôn nên kiểm tra hình dạng của logits và điều chỉnh kích thước khi cần.

  
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, patch_size, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, patch_size, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch
>>> from PIL import Image
>>> from transformers import AutoImageProcessor, MobileViTV2ForSemanticSegmentation

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> model = MobileViTV2ForSemanticSegmentation.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # logits are of shape (batch_size, num_labels, height, width)
>>> logits = outputs.logits
```

