Servicio de modelos privados y con acceso restringido

Si el modelo que desea servir está detrás de un acceso restringido o se encuentra en un repositorio de modelos privado en Hugging Face Hub, deberá tener acceso al modelo para poder servirlo.

Una vez que hayas confirmado que tienes acceso al modelo:

• Vaya a la página Perfil | Configuración | Tokens de acceso de su cuenta.
• Genera y copia un token de solo lectura.

Si eres la CLI, establece la variable de entorno HF_TOKEN. Por ejemplo:

export HF_TOKEN=<YOUR READ TOKEN>

Alternativamente, puede proporcionar el token al desplegar el modelo con Docker:

model=<your private model>
volume=$PWD/data
token=<your cli Hugging Face Hub token>

docker run --gpus all -e HF_TOKEN=$token -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model