Utilisation du conteneur TEI avec le matériel Intel®

Ce guide explique comment construire et déployer des conteneurs text-embeddings-inference optimisés pour le matériel Intel®, y compris les CPU, les XPU et les HPU.

CPU

Construire l’image Docker

Pour construire un conteneur optimisé pour les processeurs Intel®, exécutez la commande suivante :

platform="cpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_cpu_ipex

Déployer un conteneur Docker

Pour déployer votre modèle sur un processeur Intel®, utilisez la commande suivante :

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data tei_cpu_ipex --model-id $model

XPU

Construire l’image Docker

Pour construire un conteneur optimisé pour les Intel® XPU, exécutez la commande suivante :

platform="xpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_xpu_ipex

Déployer un conteneur Docker

Pour déployer votre modèle sur un Intel® XPU, utilisez la commande suivante :

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --device=/dev/dri -v /dev/dri/by-path:/dev/dri/by-path tei_xpu_ipex --model-id $model --dtype float16

HPU

TEI est pris en charge uniquement sur Gaudi 2 et Gaudi 3. Gaudi 1 n'est pas pris en charge.

Construire l’image Docker

Pour construire un conteneur optimisé pour les Intel® HPU (Gaudi), exécutez la commande suivante :

platform="hpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_hpu

Déployer un conteneur Docker

Pour déployer votre modèle sur un Intel® HPU (Gaudi), utilisez la commande suivante :

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e MAX_WARMUP_SEQUENCE_LENGTH=512 tei_hpu --model-id $model --dtype bfloat16

Images Docker préconstruites

Pour votre confort, des images Docker préconstruites sont disponibles sur le GitHub Container Registry (GHCR). Vous pouvez les récupérer directement sans avoir à les construire manuellement :

CPU

Pour utiliser l'image préconstruite optimisée pour les processeurs Intel®, exécutez :

docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-ipex-latest

XPU

Pour utiliser l’image préconstruite optimisée pour les Intel® XPU, exécutez :

docker pull ghcr.io/huggingface/text-embeddings-inference:xpu-ipex-latest

HPU

TEI est pris en charge uniquement sur Gaudi 2 et Gaudi 3. Gaudi 1 n'est pas pris en charge.

Pour utiliser l’image préconstruite optimisée pour les Intel® HPU (Gaudi), exécutez :

docker pull ghcr.io/huggingface/text-embeddings-inference:hpu-latest