Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

このモデルは2024年3月20日にHugging Face Transformersに貢献されました。

LLaVA-NeXT

LLaVA‑NeXTは、入力画像の解像度を4倍のピクセル数に向上させ、3つのアスペクト比（最大672x672、336x1344、1344x336）をサポートすることで視覚的な詳細をより正確に把握できるようにし、Llavaを改善しています。また、OCRや常識推論を向上させるため、より多くのシナリオやアプリケーションをカバーした改善された視覚的インストラクションチューニングデータセットで学習されています。

すべてのオリジナルのLLaVA-NeXTチェックポイントは、LLaVA-NeXTコレクション内で確認できます。

このモデルは nielsr によって提供されました。

右側のサイドバーにあるLLaVA-NeXTモデルをクリックすると、Llava-NeXTをさまざまなマルチモーダルタスクに適用する方法の追加例を確認できます。

以下の例では、PipelineまたはAutoModelクラスを使用して、画像に基づいてテキストを生成する方法を示しています。

パイプライン

AutoModel

Quantization は、重みを低精度で表現することで、大規模モデルのメモリ負荷を軽減します。利用可能な Quantization バックエンドの詳細については、Quantization の概要を参照してください。

以下の例では、bitsandbytesを使用して、重みを int4 にのみ量子化します。

import requests
import torch
from PIL import Image

from transformers import AutoModelForImageTextToText, AutoProcessor, BitsAndBytesConfig


quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4"
)

processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = AutoModelForImageTextToText.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf", quantization_config=quant_config, device_map="auto")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What does this chart show?"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

注記

異なるチェックポイント（Mistral、Vicuna など）は、基盤となる LLM によって特定のプロンプト形式を必要とします。正しい形式を保証するために、常に apply_chat_template() を使用してください。詳細については、テンプレートガイドを参照してください。
バッチ生成時には、より正確な結果を得るためにpadding_side="left"を設定してください。

processor.tokenizer.padding_side = "left"

LLaVA-NeXT は、画像に対して異なる数のパッチを使用し、処理時にパディングが行われない場合を除き、モデリングコード内で入力をパディングします。デフォルトの設定は、モデルが eval() モードにある場合は left-padding、それ以外の場合は right-padding です。
v4.46 以降の LLaVA モデルでは、processor.patch_size = {{patch_size}}、processor.num_additional_image_tokens = {{num_additional_image_tokens}}、および processor.vision_feature_select_strategy = {{vision_feature_select_strategy}} を追加することに関する警告が表示されます。モデルのチェックポイントを所有している場合は、これらの属性をプロセッサーに追加することを強く推奨します。所有していない場合は、プルリクエストを開いてください。

これらの属性を追加すると、LLaVA は各画像に必要な画像トークンの数を推定し、同じ数の<image>トークンプレースホルダーでテキストを拡張しようとします。通常、1 画像あたり約 500 トークン必要になるため、埋め込みをマージする際に失敗を招くことになるため、テキストが切り捨てられないようにしてください。これらの属性はmodel.config.vision_config.patch_sizeまたはmodel.config.vision_feature_select_strategyで確認できます。

ビジョンバックボーンがCLSトークンを追加する場合はnum_additional_image_tokensは1、何も追加されない場合は0に設定してください。
以下の例は、複数の入力画像を用いた推論を示しています。

import requests
from PIL import Image

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor


processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf", device_map="auto"
)

# Load multiple images
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_comparison.png"

image1 = Image.open(requests.get(url1, stream=True).raw)
image2 = Image.open(requests.get(url2, stream=True).raw)

conversation = [
    {"role": "user", "content": [{"type": "image"}, {"type": "image"}, {"type": "text", "text": "Compare these two images and describe the differences."}]}
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor([image1, image2], prompt, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

LLaVA-NeXT

注記

LlavaNextConfig

class transformers.LlavaNextConfig

LlavaNextImageProcessor

class transformers.LlavaNextImageProcessor

preprocess

LlavaNextImageProcessorPil

クラス transformers.LlavaNextImageProcessorPil

preprocess

LlavaNextProcessor

class transformers.LlavaNextProcessor

__call__

LlavaNextModel

クラス transformers.LlavaNextModel

forward

get_image_features

get_placeholder_mask

pack_image_features

LlavaNextForConditionalGeneration

クラス transformers.LlavaNextForConditionalGeneration

forward

get_image_features

call