Intel® 하드웨어와 함께 TEI 컨테이너 사용

이 가이드에서는 CPU, XPU, HPU를 포함한 Intel® 하드웨어에 최적화된 text-embeddings-inference 컨테이너를 빌드하고 배포하는 방법을 설명합니다.

CPU

Docker 이미지 빌드

Intel® CPU에 최적화된 컨테이너를 빌드하려면 다음 명령을 실행하세요:

platform="cpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_cpu_ipex

Docker 컨테이너 배포

Intel® CPU에 모델을 배포하려면 다음 명령을 사용하세요:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data tei_cpu_ipex --model-id $model

XPU

Docker 이미지 빌드

Intel® XPU에 최적화된 컨테이너를 빌드하려면 다음 명령을 실행하세요:

platform="xpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_xpu_ipex

Docker 컨테이너 배포

Intel® XPU에 모델을 배포하려면 다음 명령을 사용하세요:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --device=/dev/dri -v /dev/dri/by-path:/dev/dri/by-path tei_xpu_ipex --model-id $model --dtype float16

HPU

TEI는 Gaudi 2와 Gaudi 3에서만 지원됩니다. Gaudi 1은 지원되지 않습니다.

Docker 이미지 빌드

Intel® HPU(Gaudi)에 최적화된 컨테이너를 빌드하려면 다음 명령을 실행하세요:

platform="hpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_hpu

Docker 컨테이너 배포

Intel® HPU(Gaudi)에 모델을 배포하려면 다음 명령을 사용하세요:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e MAX_WARMUP_SEQUENCE_LENGTH=512 tei_hpu --model-id $model --dtype bfloat16

Prebuilt Docker Images

편의성을 위해 미리 빌드된 Docker 이미지가 GitHub Container Registry(GHCR)에 있습니다. 이 이미지들은 수동으로 빌드할 필요 없이 직접 가져올 수 있습니다:

CPU

Intel® CPU에 최적화된 사전 구축된 이미지를 사용하려면 다음을 실행하세요:

docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-ipex-latest

XPU

Intel® XPU용으로 최적화된 사전 구축 이미지를 사용하려면 다음을 실행하세요:

docker pull ghcr.io/huggingface/text-embeddings-inference:xpu-ipex-latest

HPU

TEI는 Gaudi 2와 Gaudi 3에서만 지원됩니다. Gaudi 1은 지원되지 않습니다.

Intel® HPU(Gaudi)용으로 최적화된 사전 구축 이미지를 사용하려면 다음을 실행하세요:

docker pull ghcr.io/huggingface/text-embeddings-inference:hpu-latest

Update on GitHub