Metin Gömmelemeleri Çıkarımı

Text Embeddings Inference (TEI), açık kaynak metin gömme modellerinin verimli dağıtımı ve sunumu için tasarlanmış kapsamlı bir araç kitidir. FlagEmbedding, Ember, GTE ve E5 dahil olmak üzere en popüler modeller için yüksek performanslı çıkarım sağlar.

TEI, dağıtım sürecini optimize etmeye ve genel performansı artırmaya yönelik birden fazla özelliği sunar.

Öne Çıkan Özellikler:

• Sadeleştirilmiş Dağıtım: TEI, daha kolay bir dağıtım süreci için model grafı derleme adımına olan ihtiyacı ortadan kaldırır.
• Etkin Kaynak Kullanımı: Küçük Docker görüntüleri ve hızlı açılış sürelerinden faydalanarak gerçek bir sunucusuz (serverless) yetenek elde edin.
• Dynamic Batching: TEI, çıkarım sırasında kaynak kullanımını optimize etmek için jeton tabanlı dinamik toplu işleme (dynamic batching) kullanır.
• Optimize Edilmiş Çıkarım: TEI, çıkarım için optimize edilmiş transformers kodu kullanarak Flash Attention, Candle ve cuBLASLt’ten yararlanmaktadır.
• Safetensors ağırlık yükleme: TEI, daha hızlı açılış süreleri için Safetensors ağırlıklarını yükler.
• Üretime Hazır: TEI, Open Telemetry üzerinden dağıtık izleme destekler ve Prometheus metrikleri dışa aktarır.

Benchmarklar

NVIDIA A10 üzerinde 512 token dizi uzunluğuyla BAAI/bge-base-en-v1.5 için benchmark:

Yeniden Başlangıç:

TEI kullanmaya başlamak için Hızlı Tur rehberine göz atın.

Update on GitHub