text-embeddings-inference documentation
استضافة النماذج الخاصة والمقيّدة
البدء
الدروس التعليمية
استخدام TEI محليًا مع وحدة المعالجة المركزيةاستخدام TEI محليًا مع Metalاستخدام TEI محليًا مع GPUاستضافة النماذج الخاصة والمقيّدةبناء حاوية مخصصة لـ TEIاستخدام حاوية TEI مع أجهزة Intelاستخدام TEI على معالجات AMD Instinct الرسومية (ROCm)أمثلة على الاستخدام
نشر TEI على Google Cloud
مرجع
استضافة النماذج الخاصة والمقيّدة
إذا كان النموذج الذي ترغب في تقديمه محميًا بوصول مقيد أو موجود في مستودع نماذج خاص على Hugging Face Hub، فستحتاج إلى امتلاك صلاحية الوصول إلى النموذج من أجل تقديمه.
بمجرد أن تتأكد من أنك تملك صلاحية الوصول إلى النموذج:
- انتقل إلى صفحة الملف الشخصي | الإعدادات | رموز الوصول في حسابك.
- أنشئ رمز قراءة وانسخه.
إذا كنتَ الطرف المسؤول عن سطر الأوامر، فاضبط متغير البيئة HF_TOKEN. على سبيل المثال:
export HF_TOKEN=<YOUR READ TOKEN>
بديلًا عن ذلك، يمكنك تقديم الرمز عند نشر النموذج باستخدام Docker:
model=<your private model> volume=$PWD/data token=<your cli Hugging Face Hub token> docker run --gpus all -e HF_TOKEN=$token -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model