text-embeddings-inference documentation
Modelos e hardware compatíveis
Modelos e hardware compatíveis
Estamos expandindo continuamente nosso suporte para outros tipos de modelos e planejamos incluí-los em atualizações futuras.
Modelos de embeddings suportados
O Text Embeddings Inference atualmente suporta modelos Nomic, BERT, CamemBERT e XLM-RoBERTa com posições absolutas, modelo JinaBERT com posições Alibi e modelos Mistral, Alibaba GTE e Qwen2 com posições Rope, além de MPNet, ModernBERT, Qwen3 e Gemma3.
Abaixo estão alguns exemplos dos modelos atualmente suportados:
Para explorar a lista de modelos de embeddings de texto com melhor desempenho, visite o Massive Text Embedding Benchmark (MTEB) Leaderboard.
Re-rankers e modelos de classificação de sequência suportados
O Text Embeddings Inference atualmente suporta modelos de Classificação de Sequência CamemBERT e XLM-RoBERTa com posições absolutas.
Abaixo estão alguns exemplos dos modelos atualmente suportados:
| Tarefa | Tipo de Modelo | ID do modelo |
|---|---|---|
| Re-Ranking | XLM-RoBERTa | BAAI/bge-reranker-large |
| Re-Ranking | XLM-RoBERTa | BAAI/bge-reranker-base |
| Re-Ranking | GTE | Alibaba-NLP/gte-multilingual-reranker-base |
| Re-Ranking | ModernBert | Alibaba-NLP/gte-reranker-modernbert-base |
| Análise de Sentimentos | RoBERTa | SamLowe/roberta-base-go_emotions |
Hardware suportado
O Text Embeddings Inference suporta e pode ser usado em CPU, Turing (T4, série RTX 2000, …), Ampere 80 (A100, A30), Ampere 86 (A10, A40, …), Ada Lovelace (série RTX 4000, …), Hopper (H100) e Blackwell (B200, RTX 5090, DGX Spark, …) arquiteturas. ARM64 (aarch64) é suportado para cargas de trabalho apenas em CPU e CUDA (Blackwell 12.1).
A biblioteca não suporta capacidades de computação CUDA < 7.5, o que significa que V100, Titan V, série GTX 1000, etc. não são suportados.
Para aproveitar seus GPUs, certifique-se de instalar o NVIDIA Container Toolkit e usar drivers NVIDIA com versão CUDA 12.2 ou superior.
Encontre a imagem Docker adequada para o seu hardware na tabela a seguir:
| Arquitetura | Plataforma | Imagem |
|---|---|---|
| CPU | x86_64 | ghcr.io/huggingface/text-embeddings-inference:cpu-1.9 |
| CPU | aarch64 | ghcr.io/huggingface/text-embeddings-inference:cpu-arm64-1.9 |
| Volta | x86_64 | NÃO SUPORTADO |
| Turing (T4, série RTX 2000, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:turing-1.9 (experimental) |
| Ampere 8.0 (A100, A30) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:1.9 |
| Ampere 8.6 (A10, A40, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:86-1.9 |
| Ada Lovelace (série RTX 4000, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:89-1.9 |
| Hopper (H100) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:hopper-1.9 |
| Blackwell 10.0 (B200, GB200, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:100-1.9 (experimental) |
| Blackwell 12.0 (GeForce RTX 50X0, …) | x86_64 | ghcr.io/huggingface/text-embeddings-inference:120-1.9 (experimental) |
| Blackwell 12.1 (DGX Spark GB10, …) | multi | ghcr.io/huggingface/text-embeddings-inference:121-1.9 (experimental) |
Aviso: O Flash Attention é desativado por padrão na imagem Turing, pois apresenta problemas de precisão.
Você pode ativar o Flash Attention v1 usando a variável de ambiente USE_FLASH_ATTENTION=True.