Использование TEI локально с GPU

Вы можете установить text-embeddings-inference локально, чтобы запускать его на собственном компьютере с GPU. Чтобы убедиться, что ваше оборудование поддерживается, ознакомьтесь со страницей Поддерживаемые модели и оборудование.

Шаг 1: CUDA и драйверы NVIDIA

Убедитесь, что у вас установлены CUDA и драйверы NVIDIA — драйверы NVIDIA на вашем устройстве должны быть совместимы с версией CUDA 12.2 или выше.

Добавьте бинарные файлы NVIDIA в переменную пути:

export PATH=$PATH:/usr/local/cuda/bin

Шаг 2: Установка Rust

Установите Rust на вашем компьютере, выполнив следующую команду в терминале, и следуйте инструкциям:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

Шаг 3: Установка необходимых пакетов

Этот шаг может занять некоторое время, так как нам необходимо скомпилировать большое количество CUDA-ядер.

Для GPU Turing (T4, серия RTX 2000 … )

cargo install --path router -F candle-cuda-turing

Для Ampere, Ada Lovelace, Hopper и Blackwell

cargo install --path router -F candle-cuda

Шаг 4: Запуск Text Embeddings Inference

Теперь вы можете запустить Text Embeddings Inference на GPU с помощью:

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --dtype float16 --port 8080