Servindo modelos privados e restritos

Se o modelo que você deseja servir estiver atrás de acesso restrito ou estiver em um repositório de modelo privado no Hugging Face Hub, você precisará ter acesso ao modelo para servi-lo.

Depois de confirmar que você tem acesso ao modelo:

• Acesse a página Perfil | Configurações | Tokens de Acesso da sua conta.
• Gere e copie um token de leitura.

Se você for o CLI, defina a variável de ambiente HF_TOKEN. Por exemplo:

export HF_TOKEN=<YOUR READ TOKEN>

Alternativamente, você pode fornecer o token ao implantar o modelo com Docker:

model=<your private model>
volume=$PWD/data
token=<your cli Hugging Face Hub token>

docker run --gpus all -e HF_TOKEN=$token -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model