text-embeddings-inference documentation
Desteklenen modeller ve donanımlar
Desteklenen modeller ve donanımlar
Diğer model türleri için desteğimizi sürekli olarak genişletiyoruz ve bunları gelecekteki güncellemelerde dahil etmeyi planlıyoruz.
Desteklenen gömme modelleri
Text Embeddings Inference şu anda mutlak konumlarla Nomic, BERT, CamemBERT, XLM-RoBERTa modellerini, Alibi konumlarıyla JinaBERT modelini, Rope konumlarıyla Mistral, Alibaba GTE, Qwen2 modellerini, ayrıca MPNet, ModernBERT, Qwen3 ve Gemma3 modellerini desteklemektedir.
Aşağıda, şu anda desteklenen modellerin bazı örnekleri yer almaktadır:
En iyi performans gösteren metin gömme modellerinin listesini incelemek için Massive Text Embedding Benchmark (MTEB) Liderlik Tablosu'nu ziyaret edin.
Desteklenen yeniden sıralayıcılar ve dizi sınıflandırma modelleri
Text Embeddings Inference şu anda mutlak konumlarla CamemBERT ve XLM-RoBERTa Sınıflandırma modellerini desteklemektedir.
Aşağıda, şu anda desteklenen modellerin bazı örnekleri yer almaktadır:
| Görev | Model Türü | Model Kimliği |
|---|---|---|
| Yeniden Sıralama | XLM-RoBERTa | BAAI/bge-reranker-large |
| Yeniden Sıralama | XLM-RoBERTa | BAAI/bge-reranker-base |
| Yeniden Sıralama | GTE | Alibaba-NLP/gte-multilingual-reranker-base |
| Yeniden Sıralama | ModernBert | Alibaba-NLP/gte-reranker-modernbert-base |
| Duygu Analizi | RoBERTa | SamLowe/roberta-base-go_emotions |
Desteklenen donanımlar
Text Embeddings Inference, CPU, Turing (T4, RTX 2000 serisi, …), Ampere 80 (A100, A30), Ampere 86 (A10, A40, …), Ada Lovelace (RTX 4000 serisi, …), Hopper (H100) ve Blackwell (B200, RTX 5090, DGX Spark, …) mimarilerinde kullanılabilir. ARM64 (aarch64), hem yalnızca CPU hem de CUDA (Blackwell 12.1) iş yükleri için desteklenmektedir.
Kütüphane, CUDA hesaplama yetenekleri < 7.5 olan cihazları desteklemez; bu, V100, Titan V, GTX 1000 serisi gibi kartların desteklenmediği anlamına gelir.
GPU'larınızı kullanmak için NVIDIA Container Toolkit'in yüklü olduğundan ve CUDA sürümü 12.2 veya daha yüksek olan NVIDIA sürücülerini kullandığınızdan emin olun.
Donanımınıza uygun Docker görüntüsünü aşağıdaki tabloda bulun:
| Mimari | Platform | Görsel |
|---|---|---|
| CPU | x86_64 | ghcr.io/huggingface/text-embeddings-inference:cpu-1.9 |
| CPU | aarch64 | ghcr.io/huggingface/text-embeddings-inference:cpu-arm64-1.9 |
| Volta | x86_64 | DESTEKLENMEZ |
| Turing (T4, RTX 2000 serisi, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:turing-1.9 (deneysel) |
| Ampere 8.0 (A100, A30) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:1.9 |
| Ampere 8.6 (A10, A40, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:86-1.9 |
| Ada Lovelace (RTX 4000 serisi, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:89-1.9 |
| Hopper (H100) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:hopper-1.9 |
| Blackwell 10.0 (B200, GB200, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:100-1.9 (deneysel) |
| Blackwell 12.0 (GeForce RTX 50X0, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:120-1.9 (deneysel) |
| Blackwell 12.1 (DGX Spark GB10, …) | multi | ghcr.io/huggingface/text-embeddings-inference:121-1.9 (deneysel) |
Uyarı: Turing görüntüsü için Flash Attention varsayılan olarak kapalıdır çünkü hassasiyet sorunları yaşar.
Flash Attention v1'i USE_FLASH_ATTENTION=True ortam değişkenini kullanarak AÇIK konuma getirebilirsiniz.