text-embeddings-inference documentation
Modelos y hardware compatibles
Modelos y hardware compatibles
Estamos ampliando continuamente nuestro soporte para otros tipos de modelos y planeamos incluirlos en futuras actualizaciones.
Modelos de embeddings admitidos
Text Embeddings Inference actualmente admite los modelos Nomic, BERT, CamemBERT y XLM-RoBERTa con posiciones absolutas, el modelo JinaBERT con posiciones Alibi y los modelos Mistral, Alibaba GTE y Qwen2 con posiciones Rope, además de MPNet, ModernBERT, Qwen3 y Gemma3.
A continuación se muestran algunos ejemplos de los modelos actualmente admitidos:
Para explorar la lista de modelos de embeddings de texto con mejor rendimiento, visite el Massive Text Embedding Benchmark (MTEB) Leaderboard.
Clasificadores de secuencias y reordenadores admitidos
Text Embeddings Inference actualmente admite modelos de clasificación de secuencias CamemBERT y XLM-RoBERTa con posiciones absolutas.
A continuación se muestran algunos ejemplos de los modelos actualmente admitidos:
| Tarea | Tipo de modelo | ID del modelo |
|---|---|---|
| Reclasificación | XLM-RoBERTa | BAAI/bge-reranker-large |
| Reclasificación | XLM-RoBERTa | BAAI/bge-reranker-base |
| Reclasificación | GTE | Alibaba-NLP/gte-multilingual-reranker-base |
| Reclasificación | ModernBert | Alibaba-NLP/gte-reranker-modernbert-base |
| Análisis de sentimiento | RoBERTa | SamLowe/roberta-base-go_emotions |
Hardware compatible
Text Embeddings Inference soporta arquitecturas que pueden utilizarse en CPU, Turing (T4, serie RTX 2000, …), Ampere 80 (A100, A30), Ampere 86 (A10, A40, …), Ada Lovelace (serie RTX 4000, …), Hopper (H100) y Blackwell (B200, RTX 5090, DGX Spark, …). ARM64 (aarch64) es compatible tanto para cargas de trabajo solo de CPU como para CUDA (Blackwell 12.1).
La biblioteca no soporta capacidades de cómputo de CUDA < 7.5, lo que significa que V100, Titan V, la serie GTX 1000, etc., no son compatibles.
Para aprovechar tus GPUs, asegúrate de instalar el NVIDIA Container Toolkit y de utilizar controladores de NVIDIA con una versión de CUDA 12.2 o superior.
Encuentre la imagen de Docker adecuada para su hardware en la siguiente tabla:
| Arquitectura | Plataforma | Imagen |
|---|---|---|
| CPU | x86_64 | ghcr.io/huggingface/text-embeddings-inference:cpu-1.9 |
| CPU | aarch64 | ghcr.io/huggingface/text-embeddings-inference:cpu-arm64-1.9 |
| Volta | x86_64 | NO APOYADO |
| Turing (T4, serie RTX 2000, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:turing-1.9 (experimental) |
| Ampere 8.0 (A100, A30) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:1.9 |
| Ampere 8.6 (A10, A40, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:86-1.9 |
| Ada Lovelace (serie RTX 4000, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:89-1.9 |
| Hopper (H100) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:hopper-1.9 |
| Blackwell 10.0 (B200, GB200, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:100-1.9 (experimental) |
| Blackwell 12.0 (GeForce RTX 50X0, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:120-1.9 (experimental) |
| Blackwell 12.1 (DGX Spark GB10, …) | multi | ghcr.io/huggingface/text-embeddings-inference:121-1.9 (experimental) |
Advertencia: Flash Attention está desactivado de forma predeterminada en la imagen de Turing, ya que presenta problemas de precisión.
Puedes activar Flash Attention v1 utilizando la variable de entorno USE_FLASH_ATTENTION=True.