ExportConfigに基づいて、適切なHfExporterに自動的にインスタンス化を行うAuto-HFエクスポートクラスです。

辞書に保存されたエクスポート設定に基づいて、正しいエクスポート設定へ自動的にディスパッチする処理を担当するAuto-HFエクスポート設定クラスです。

config_class を持つエクスポートアを、その export_format 配下およびエクスポートを実行するランナーとともに登録し、auto クラスがそれらを発見できるようにします。

すべての Transformers エクスポート用の抽象基底クラス。

バックエンドを追加するには、~HfExporter.export_program を実装して1つのグラフをトレースし、~HfExporter.save_program / ~HfExporter.load_program を実装して書き出しと読み戻しを行うようにサブクラスを作成します。パブリックな ~HfExporter.export と ~HfExporter.export_for_generation は、これらを基にして ExportedModel を構築します。

エクスポートされたモデル: そのグラフ(components、{name: ExportedComponent})と、それらがトレースされた設定。呼び出し方は、そのモデルが由来する元のモデルを呼び出すのと同じです。

~HfExporter.export は単一の"model"コンポーネントを生成し、そのプログラムは.programです。~HfExporter.export_for_generation は、生成ステージごとに1つのコンポーネントを生成します。

>>> exported = OnnxExporter().export(model, inputs, OnnxConfig(dynamic=True))
>>> exported.save_pretrained("exported")
>>> outputs = ExportedModel.from_pretrained("exported", device="cuda")(**inputs)
>>> outputs.last_hidden_state

エクスポートされたグラフは1つ: バックエンドのプログラムと、エクスポートツールがそれについて記録した情報です。

エクスポートが1つのグラフについて記録した内容(build_export_metadata())。

バックエンドでエクスポートされたプログラムを1つ実行します: runner(**kwargs) は、ソースモデルが返すものを返します。

ExportedProgram に変換する PreTrainedModel のエクスポートツールです。

>>> from transformers.exporters.exporter_dynamo import DynamoExporter, DynamoConfig

>>> exporter = DynamoExporter()
>>> exported = exporter.export(model, inputs, config=DynamoConfig(dynamic=True))
>>> outputs = exported(**inputs)
>>> exported.save_pretrained("exported")  # `model.pt2`, its metadata and the model config

onnx_ir.Model（ONNXグラフ）へPreTrainedModelを変換するエクスポートツール。

>>> from transformers.exporters.exporter_onnx import OnnxExporter, OnnxConfig

>>> exporter = OnnxExporter()
>>> exported = exporter.export(model, inputs, config=OnnxConfig(dynamic=True))
>>> outputs = exported(**inputs)  # on ONNX Runtime
>>> onnx_model = exported.program  # an `onnx_ir.Model`
>>> exported.save_pretrained("exported")  # `model.onnx`, its metadata and the model config

PreTrainedModel を ExecuTorch の ExecutorchProgramManager に変換する Exporter です。

>>> from transformers.exporters.exporter_executorch import ExecutorchExporter, ExecutorchConfig

>>> exporter = ExecutorchExporter()
>>> exported = exporter.export(model, inputs, config=ExecutorchConfig(backend="xnnpack"))
>>> outputs = exported(**inputs)  # on the ExecuTorch runtime
>>> exported.save_pretrained("exported")  # `model.pte`, its metadata and the model config

torch.export 経由でモデルをエクスポートするための設定クラスです。

torch.onnx.export を介してモデルを ONNX にエクスポートするための設定クラスです。

DynamoConfig（dynamic、strict、dynamic_shapes、prefer_deferred_runtime_asserts_over_guards）のすべてのフィールドを継承します。

ExecuTorch形式へモデルをエクスポートするための設定クラスです。

DynamoConfig（dynamic、strict、dynamic_shapes、prefer_deferred_runtime_asserts_over_guards）のすべてのフィールドを継承します。

openvino.convert_model を介してモデルを OpenVINO IR にエクスポートするための設定クラスです。

[DynamoConfig] (dynamic、strict、dynamic_shapes、prefer_deferred_runtime_asserts_over_guards) のすべてのフィールドを継承します。

エクスポート時に適用されるポストトレーニング量子化器の基底クラスです。

Quantizer は、エクスポート形式のサポート状況と、必要なパッケージ（exporter と同様に、テストで検証したバージョンを含む）を宣言します。また、torch.export FX グラフを、変換を行う前に量子化するか（その場合、すべてのバックエンドが結果を受け取ります）、それともバックエンドが変換したモデル（onnx_ir.Model、openvino.Model）を量子化するかを指定します。exporter は、エクスポートに対して事前に検証を行い、その後、そのモデルとエクスポートのサンプル入力引数を引数として ~ExportQuantizer.quantize を呼び出します。新しい量子化手法を追加するには、このクラスをサブクラス化し、quantize を実装します。CalibrationSet は、キャリブレーションサンプルをモデル自身の入力引数にマッピングします。

モデル入力としてのキャリブレーションサンプルの再イテラブルビュー。

サンプルは、クオンタイザーのcalibration_dataset、またはそれが存在しない場合はエクスポート自身のsample_inputs（読み込まれた時点で警告が表示されます）です。トークナイザーのBatchEncodingのような、任意のマッピングであっても構いません。transformは、各パスにおいて1サンプルずつ遅延評価で、各フォワード引数のサンプルを、クオンタイズ済みモデルが受け取る形式（トレースされた引数、ONNXのフィード、OpenVINOのポートフィード）に変換します。

PyTorch 2 Export (PT2E) 量子化で FX グラフを量子化します: prepare_pt2eがオブザーバーを挿入し、キャリブレーションセットがそれらを駆動し、convert_pt2eがそれらを量子化/量子化解除オペレーションに置き換えます。すべてのエクスポートバックエンドで動作します。

>>> from torchao.quantization.pt2e.quantizer.x86_inductor_quantizer import (
...     X86InductorQuantizer,
...     get_default_x86_inductor_quantization_config,
... )
>>> from transformers.exporters import DynamoConfig, PT2EQuantizer

>>> x86 = X86InductorQuantizer().set_global(get_default_x86_inductor_quantization_config())
>>> DynamoConfig(quantizer=PT2EQuantizer(x86, calibration_dataset=samples))

変換した ONNX モデルを、ONNX Runtime 独自のツール (onnxruntime.quantization) で量子化します: OnnxRuntimeStaticConfig (デフォルト) を使用した quantize_static、または OnnxRuntimeDynamicConfig を使用した quantize_dynamic。

>>> from transformers.exporters import (
...     OnnxConfig,
...     OnnxRuntimeDynamicConfig,
...     OnnxRuntimeQuantizer,
...     OnnxRuntimeStaticConfig,
... )

>>> static = OnnxRuntimeStaticConfig(per_channel=True)
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(static, calibration_dataset=samples))
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(OnnxRuntimeDynamicConfig()))

onnxruntime.quantization.quantize_static の引数: int8 アクティベーションと重み(デフォルトでは QDQ)、クオンタイザーの calibration_dataset でキャリブレーションされます。None のままのフィールドは ONNX Runtime のデフォルトが維持されます。各引数については quantize_static を参照してください。

onnxruntime.quantization.quantize_dynamic の引数: int8 重み、実行時に量子化される活性化値、キャリブレーションなし。None に設定されたフィールドは、ONNX Runtime のデフォルトが維持されます。各引数については、quantize_dynamic を参照してください。

変換済みの OpenVINO モデルを NNCF で量子化します: nncf.quantize に NNCFQuantizationConfig (デフォルト) を指定するか、nncf.compress_weights に NNCFWeightCompressionConfig を指定します。

>>> import nncf
>>> from transformers.exporters import NNCFOpenVINOQuantizer, NNCFWeightCompressionConfig, OpenVINOConfig

>>> OpenVINOConfig(quantizer=NNCFOpenVINOQuantizer(calibration_dataset=samples))
>>> OpenVINOConfig(
...     quantizer=NNCFOpenVINOQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM))
... )

変換済みの ONNX モデルを、NNCF の ONNX バックエンドを通じて量子化します: nncf.quantize に NNCFQuantizationConfig (デフォルトの int8 QDQ) を指定するか、nncf.compress_weights に NNCFWeightCompressionConfig (ONNX Runtime の MatMulNBits による int4) を指定します。

>>> import nncf
>>> from transformers.exporters import NNCFOnnxQuantizer, NNCFWeightCompressionConfig, OnnxConfig

>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(calibration_dataset=samples))
>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM)))

torch.export FX グラフを、NNCF の TorchFX バックエンドを通じて量子化します: nncf.quantize に NNCFQuantizationConfig を渡す（デフォルトの quantize/dequantize オペレーションを使用）か、nncf.compress_weights に NNCFWeightCompressionConfig を渡します。PT2EQuantizer と同様に、変換の実行前に処理されるため、すべてのバックエンドがその結果を受け取ります。ExecuTorch は、weight-only の結果のみをローワーします。XNNPACK は quantize/dequantize オペレーションを委譲せず、ExecuTorch にはそれらのカーネルが存在しないためです。

>>> from transformers.exporters import DynamoConfig, NNCFTorchFXQuantizer

>>> DynamoConfig(quantizer=NNCFTorchFXQuantizer(calibration_dataset=samples))

nncf.quantize の引数: クォンタイザーの calibration_dataset でキャリブレーションされた int8 アクティベーションと重み。 None のままのフィールドは NNCF のデフォルトが維持されますが、model_type はデフォルトが nncf.ModelType.TRANSFORMER です。 各引数については nncf.quantize を参照してください。

nncf.compress_weights の引数: データ認識型手法 (AWQ、スケール推定、GPTQ) を用いた weight-only の int8 または int4。int8 モードはデータ不要ですが、その他のモードはクオンタイザーの calibration_dataset でキャリブレーションを行います。gptq と lora_correction は OpenVINO 専用です。None に設定されたフィールドは NNCF のデフォルトを維持します。各引数については nncf.compress_weights を参照してください。

ネストされた構造から、再帰的にすべてのリーフテンソルを取得します。

エクスポート用にモデルと入力を設定します。model と inputs の両方をインプレースで変更し、(model, inputs, output_flags) を返します。output_flags には、inputs から use_cache や return_dict などの値がポップされたものが格納されます（トレース中に patch_model_config によって model.config に可逆的に適用されます）。

• ラベル入力(labels、future_values)を除去します。損失の計算はサポートされていません。
• inputs から出力フラグ（use_cache、return_dict など）を取り除き、トレースされた kwargs として表示されないようにします。値は返され、トレースブロックによって model.config に適用されます。
• @register_export_input_preparer によって登録されたデータ依存の vision/audio kwargs を事前計算し、inputs に書き込みます。
• モデルのdtype / deviceに合わせて、入力テンソルをキャストします。

model.generate() を実行し、prefill と decode の入力を取得します。

完全な生成機構を再利用することで、すべてのアーキテクチャ（decoder-only、SSM、encoder-decoder、マルチモーダルなど）が、ループを再実装することなく正しい入力を受け取ります。

generation_config は generate() に転送されます（デフォルトではモデル自身の設定が使用されます）。そのため、キャプチャされる入力には、generate() が構築するキャッシュがそのまま使用されます。cache_implementation="static" と max_cache_len=N を指定して渡すことで、デコード入力に静的にサイズ指定されたキャッシュをキャプチャできます。これが static-cache エクスポートの基盤となります。max_cache_len はキャプチャとは独立してキャッシュのサイズを決定するため、エクスポートされたデコードは増加するキャッシュではなく、固定の [..., N, ...] キャッシュを使用します。

multi_token_decode が設定されている場合、decode コンポーネントはマルチトークンデコードとしてキャプチャされます。これは2つの連続するデコードステップをマージしたものです（_merge_decode_calls を参照）。これにより、クエリシーケンス軸がシンボリックな状態（単一トークンのデコードでは、この軸が 1 に特殊化されてしまうため）に保たれます。その後、1 トークン（通常のデコード）と複数トークン（過去からの継続、またはキャッシュが空の場合の通常のプリフィル）の両方を処理します。それ以外の場合、decode は従来の単一トークンデコードです。

単一の forward passで、各マルチモーダルサブモジュールへの入力をキャプチャします。

アトリビュート名（ビジョンタワー、プロジェクター、言語モデル、lm_head など）から既知のマルチモーダルサブモジュールをすべて検出し、model(**inputs) の呼び出し 1 回でそれらの forward kwargs を取得します。

各サブモジュールは、独立したエクスポートのために、name: (module, inputs) のエントリとして個別に返されます。トークンマージのステップ（マルチモーダルモデルにおける masked_scatter など）は、意図的にエクスポートされたグラフの外に置かれています。デコーダーを実行する前にエンコーダーの出力から inputs_embeds を組み立てることは、呼び出し側の責任です。

生成モデルを、独立してエクスポート可能な(model, forward_inputs)のペアに分解します。

decompose_prefill_decode を実行し、実際の model.generate(**inputs, max_new_tokens=2) から prefill と decode の forward kwargs を取得します。prefill がマルチモーダルである場合(is_multimodal による)、decompose_multimodal を介して、サブモジュール(ビジョン/オーディオエンコーダー、プロジェクター、言語モデル、lm_head)ごとに1エントリずつに分割します。

モデルがマルチモーダルであり、モーダルエンコーダーと言語モデルを備えている場合はTrueを返します。

PreTrainedModel ではないモデル（例：素の nn.Module）には、正規の get_encoder/get_decoder アクセサーが存在せず、マルチモーダルではないことは自明であるため、False にショートサーキットします。