استخدام TEI محليًا مع GPU

يمكنك تثبيت text-embeddings-inference محليًا لتشغيله على جهازك الخاص المزود بوحدة معالجة رسومية (GPU). للتأكد من أن عتادك مدعوم، راجع صفحة النماذج والأجهزة المدعومة.

الخطوة 1: CUDA ومُحَرِّكات NVIDIA

تأكد من تثبيت CUDA وسائق NVIDIA - يجب أن تكون سائق NVIDIA على جهازك متوافقة مع إصدار CUDA 12.2 أو أحدث.

أضف ثنائيات NVIDIA إلى المسار الخاص بك:

export PATH=$PATH:/usr/local/cuda/bin

الخطوة 2: تثبيت Rust

تثبيت Rust على جهازك من خلال تنفيذ ما يلي في الطرفية، ثم اتباع التعليمات:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

الخطوة 3: تثبيت الحزم اللازمة

قد يستغرق هذا الإجراء بعض الوقت نظرًا إلى الحاجة إلى تجميع عدد كبير من نواة CUDA.

لوحات Turing الرسومية (T4، سلسلة RTX 2000 … )

cargo install --path router -F candle-cuda-turing

لأجهزة Ampere وAda Lovelace وHopper وBlackwell

cargo install --path router -F candle-cuda

الخطوة 4: إطلاق الاستدلال على تضمينات النص

يمكنك الآن تشغيل Text Embeddings Inference على GPU باستخدام:

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --dtype float16 --port 8080