Intel® Donanımı ile TEI Konteynerini Kullanma

Bu kılavuz, Intel® donanımları (CPU, XPU ve HPU dahil) için optimize edilmiş text-embeddings-inference konteynerlerinin nasıl oluşturulacağı ve dağıtılacağını açıklar.

CPU

Docker Görüntüsü Oluştur

Intel® CPU'lar için optimize edilmiş bir konteyner oluşturmak için aşağıdaki komutu çalıştırın:

platform="cpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_cpu_ipex

Docker Konteynerini Dağıt

Modelinizi bir Intel® CPU üzerinde dağıtmak için aşağıdaki komutu kullanın:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data tei_cpu_ipex --model-id $model

XPU

Docker Görüntüsü Oluştur

Intel® XPU'lar için optimize edilmiş bir konteyner oluşturmak için aşağıdaki komutu çalıştırın:

platform="xpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_xpu_ipex

Docker Konteynerini Dağıt

Modelinizi bir Intel® XPU üzerinde dağıtmak için aşağıdaki komutu kullanın:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --device=/dev/dri -v /dev/dri/by-path:/dev/dri/by-path tei_xpu_ipex --model-id $model --dtype float16

HPU

TEI yalnızca Gaudi 2 ve Gaudi 3'te desteklenir. Gaudi 1 desteklenmez.

Docker Görüntüsü Oluştur

Intel® HPU (Gaudi) için optimize edilmiş bir konteyner oluşturmak için aşağıdaki komutu çalıştırın:

platform="hpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_hpu

Docker Konteynerini Dağıt

Modelinizi bir Intel® HPU (Gaudi) üzerinde dağıtmak için aşağıdaki komutu kullanın:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e MAX_WARMUP_SEQUENCE_LENGTH=512 tei_hpu --model-id $model --dtype bfloat16

Hazır Docker Görselleri

Kolaylık sağlamak amacıyla, önceden derlenmiş Docker görüntüleri GitHub Container Registry (GHCR) üzerinde mevcuttur. Bu görüntüleri manuel olarak derleme ihtiyacı duymadan doğrudan çekebilirsiniz:

CPU

Intel® CPU'lar için optimize edilmiş hazır görüntüyü kullanmak için şunu çalıştırın:

docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-ipex-latest

XPU

Intel® XPU'lar için optimize edilmiş hazır görüntüyü kullanmak için şunu çalıştırın:

docker pull ghcr.io/huggingface/text-embeddings-inference:xpu-ipex-latest

HPU

TEI yalnızca Gaudi 2 ve Gaudi 3'te desteklenir. Gaudi 1 desteklenmez.

Intel® HPU (Gaudi) için optimize edilmiş hazır görüntüyü kullanmak için şunu çalıştırın:

docker pull ghcr.io/huggingface/text-embeddings-inference:hpu-latest