استخدام TEI محليًا مع وحدة المعالجة المركزية

يمكنك تثبيت text-embeddings-inference محليًا لتشغيله على جهازك الخاص. فيما يلي تعليمات التثبيت خطوة بخطوة:

الخطوة 0: استنساخ المستودع

نحتاج إلى الشيفرة المصدرية لخزينة text-embeddings-inference لتثبيتها لاحقًا. انسخها باستخدام الأمر التالي:

git clone https://github.com/huggingface/text-embeddings-inference.git
cd text-embeddings-inference

الخطوة 1: تثبيت Rust

تثبيت Rust على جهازك من خلال تنفيذ ما يلي في الطرفية، ثم اتباع التعليمات:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

الخطوة 2: تثبيت الحزم اللازمة

يفترض ما يلي أنك داخل مجلد المستودع الذي قمت بتنزيله في الخطوة 0. اعتمادًا على معمارية جهازك، نفّذ أحد الأوامر التالية:

لأجهزة x86

cargo install --path router -F mkl

لأجهزة M1 أو M2

cargo install --path router -F metal

تستخدم عمليات البناء من المصدر تحسينات وحدة المعالجة المركزية الأصلية افتراضيًا. قم بالبناء على الجهاز الذي سيعمل عليه TEI، أو على وحدة معالجة مركزية تحتوي على مجموعات تعليمات متوافقة. لتعطيل أعلام وحدة المعالجة المركزية الأصلية المستودع عند البناء لوحدات معالجة مركزية أخرى من نفس معمارية الهدف، ضع RUSTFLAGS='' قبل أمر التثبيت. على سبيل المثال، مع وحدة الخلفية ONNX CPU.

RUSTFLAGS='' cargo install --path router -F ort

لا يؤدي هذا إلى تجميع التطبيق عبر المنصات أو تغيير متطلبات مكتبات الخلفية المُجمّعة مسبقًا.

الخطوة 3: تشغيل الاستدلال على التضمينات النصية

بمجرد اكتمال التثبيت بنجاح، يمكنك تشغيل Text Embeddings Inference على المعالج المركزي (CPU) باستخدام الأمر التالي:

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

في بعض الحالات، قد تحتاج أيضًا إلى تثبيت مكتبات OpenSSL و gcc. على أجهزة Linux، نفّذ الأمر التالي:

تم النسخ

sudo apt-get install libssl-dev gcc -y

الآن أنت مستعد لاستخدام text-embeddings-inference محليًا على جهازك. إذا كنت ترغب في تشغيل TEI محليًا باستخدام وحدة معالجة رسومية (GPU)، فاطّلع على صفحة استخدام TEI محليًا مع GPU.