Uso local de TEI con CPU

Puedes instalar text-embeddings-inference localmente para ejecutarlo en tu propia máquina. A continuación se detallan las instrucciones paso a paso para la instalación:

Paso 0: Clona el repositorio

Necesitamos el código fuente del repositorio text-embeddings-inference para instalarlo más adelante. Clónalo con:

git clone https://github.com/huggingface/text-embeddings-inference.git
cd text-embeddings-inference

Paso 1: Instalar Rust

Instala Rust en tu máquina ejecutando lo siguiente en tu terminal y siguiendo las instrucciones:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

Paso 2: Instalar los paquetes necesarios

Lo siguiente asume que te encuentras en la carpeta del repositorio que clonaste en el paso 0. Dependiendo de la arquitectura de tu máquina, ejecuta uno de los siguientes comandos:

Para máquinas x86

cargo install --path router -F mkl

Para máquinas M1 o M2

cargo install --path router -F metal

Las compilaciones desde el código fuente usan optimizaciones nativas de CPU de forma predeterminada. Compile en la máquina que ejecutará TEI, o en una CPU con conjuntos de instrucciones compatibles. Para deshabilitar las banderas de CPU nativas del repositorio al compilar para otras CPUs de la misma arquitectura de destino, prefije el comando de instalación con RUSTFLAGS=''. Por ejemplo, con el backend de CPU de ONNX.

RUSTFLAGS='' cargo install --path router -F ort

Esto no compila la aplicación de forma cruzada ni cambia los requisitos de las bibliotecas de backend precompiladas.

Paso 3: Iniciar Text Embeddings Inference

Una vez que la instalación se completa correctamente, puedes iniciar Text Embeddings Inference en CPU con el siguiente comando:

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

En algunos casos, también es posible que necesites tener instaladas las bibliotecas de OpenSSL y gcc. En máquinas con Linux, ejecuta el siguiente comando:
sudo apt-get install libssl-dev gcc -y

Ahora está listo para usar text-embeddings-inference localmente en su máquina. Si desea ejecutar TEI localmente con una GPU, consulte la página Uso de TEI localmente con GPU.

Update on GitHub