텍스트 임베딩 추론

Text Embeddings Inference(TEI)는 오픈 소스 텍스트 임베딩 모델의 효율적인 배포 및 서빙을 위해 설계된 종합적인 툴킷입니다. FlagEmbedding, Ember, GTE, E5를 포함한 가장 인기 있는 모델에 대해 고성능 추출을 지원합니다.

TEI는 배포 프로세스를 최적화하고 전반적인 성능을 향상시키기 위해 여러 기능을 제공합니다.

주요 기능:

• 간소화된 배포: TEI는 모델 그래프 컴파일 단계를 제거하여 배포 프로세스를 더 쉽게 만들어 줍니다.
• 효율적인 리소스 활용: 작은 Docker 이미지와 빠른 부팅 시간을 통해 진정한 서버리스 기능을 활용할 수 있습니다.
• 동적 배치: TEI는 토큰 기반의 동적 배치를 적용하여 추론 시 리소스 활용도를 최적화합니다.
• 최적화된 추론: TEI는 추론을 위해 최적화된 transformers 코드를 사용하여 Flash Attention, Candle, cuBLASLt를 활용합니다.
• Safetensors 가중치 로딩: TEI는 부팅 시간을 단축하기 위해 Safetensors 가중치를 로드합니다.
• 프로덕션 준비 완료: TEI는 Open Telemetry를 통해 분산 트레이싱을 지원하며 Prometheus 메트릭을 내보냅니다.

벤치마크

NVIDIA A10에서 시퀀스 길이가 512 토큰인 BAAI/bge-base-en-v1.5 벤치마크:

시작하기:

TEI 사용을 시작하려면 Quick Tour 가이드를 확인하세요.

Update on GitHub