# 텍스트 임베딩 추론

Text Embeddings Inference(TEI)는 오픈 소스 텍스트 임베딩 모델의 효율적인 배포 및 서빙을 위해 설계된 종합적인 툴킷입니다. FlagEmbedding, Ember, GTE, E5를 포함한 가장 인기 있는 모델에 대해 고성능 추출을 지원합니다.

TEI는 배포 프로세스를 최적화하고 전반적인 성능을 향상시키기 위해 여러 기능을 제공합니다.

**주요 기능:**

* **간소화된 배포:** TEI는 모델 그래프 컴파일 단계를 제거하여 배포 프로세스를 더 쉽게 만들어 줍니다.
* **효율적인 리소스 활용:** 작은 Docker 이미지와 빠른 부팅 시간을 통해 진정한 서버리스 기능을 활용할 수 있습니다.
* **동적 배치:** TEI는 토큰 기반의 동적 배치를 적용하여 추론 시 리소스 활용도를 최적화합니다.
* **최적화된 추론:** TEI는 추론을 위해 최적화된 transformers 코드를 사용하여 [Flash Attention](https://github.com/HazyResearch/flash-attention), [Candle](https://github.com/huggingface/candle), [cuBLASLt](https://docs.nvidia.com/cuda/cublas/#using-the-cublaslt-api)를 활용합니다.
* **Safetensors 가중치 로딩:** TEI는 부팅 시간을 단축하기 위해 [Safetensors](https://github.com/huggingface/safetensors) 가중치를 로드합니다.
* **프로덕션 준비 완료:** TEI는 Open Telemetry를 통해 분산 트레이싱을 지원하며 Prometheus 메트릭을 내보냅니다.

**벤치마크**

NVIDIA A10에서 시퀀스 길이가 512 토큰인 [BAAI/bge-base-en-v1.5](https://hf.co/BAAI/bge-large-en-v1.5) 벤치마크:

  
  

  
  

**시작하기:**

TEI 사용을 시작하려면 [Quick Tour](quick_tour) 가이드를 확인하세요.