استخدام حاوية TEI مع أجهزة Intel®

يشرح هذا الدليل كيفية بناء ونشر حاويات text-embeddings-inference مُحسَّنة لأجهزة Intel®، بما في ذلك وحدات المعالجة المركزية (CPUs) ووحدات المعالجة الرسومية (XPUs) ووحدات المعالجة عالية الأداء (HPUs).

وحدة المعالجة المركزية

بناء صورة Docker

لبناء حاوية مُحسَّنة لمعالجات Intel®، نفّذ الأمر التالي:

platform="cpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_cpu_ipex

نشر حاوية Docker

لنشر نموذجك على معالج Intel®، استخدم الأمر التالي:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data tei_cpu_ipex --model-id $model

XPU

بناء صورة Docker

لبناء حاوية مُحسَّنة لـ Intel® XPUs، نفّذ الأمر التالي:

platform="xpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_xpu_ipex

نشر حاوية Docker

لنشر نموذجك على وحدة معالجة Intel® XPU، استخدم الأمر التالي:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --device=/dev/dri -v /dev/dri/by-path:/dev/dri/by-path tei_xpu_ipex --model-id $model --dtype float16

HPU

يُؤيَّد TEI فقط على Gaudi 2 و Gaudi 3. لا يُؤيَّد Gaudi 1 على الإطلاق.

بناء صورة Docker

لبناء حاوية مُحسَّنة لوحدة المعالجة Intel® HPU (Gaudi)، نفّذ الأمر التالي:

platform="hpu"

docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_hpu

نشر حاوية Docker

لنشر نموذجك على وحدة Intel® HPU (Gaudi)، استخدم الأمر التالي:

model='Qwen/Qwen3-Embedding-0.6B'
volume=$PWD/data

docker run -p 8080:80 -v $volume:/data --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e MAX_WARMUP_SEQUENCE_LENGTH=512 tei_hpu --model-id $model --dtype bfloat16

صور Docker الجاهزة

للتسهيل، تتوفر صور Docker جاهزة على GitHub Container Registry (GHCR). يمكنك سحب هذه الصور مباشرة دون الحاجة إلى بنائها يدويًا:

وحدة المعالجة المركزية

للاستخدام الصورة الجاهزة المُحسّنة لمعالجات Intel®، نفّذ:

docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-ipex-latest

XPU

للاستخدام من الصورة الجاهزة المُحسّنة لـ Intel® XPUs، نفّذ:

docker pull ghcr.io/huggingface/text-embeddings-inference:xpu-ipex-latest

HPU

يُؤيَّد TEI فقط على Gaudi 2 و Gaudi 3. لا يُؤيَّد Gaudi 1 على الإطلاق.

للاستخدام من الصورة الجاهزة المُحسّنة لوحات Intel® HPU (Gaudi)، نفّذ:

docker pull ghcr.io/huggingface/text-embeddings-inference:hpu-latest