Créer un conteneur personnalisé pour TEI

Vous pouvez construire votre propre conteneur TEI CPU ou CUDA à l'aide de Docker. Pour construire un conteneur CPU, exécutez la commande suivante dans le répertoire contenant votre Dockerfile personnalisé :

docker build .

Pour construire un conteneur CUDA, il est essentiel de déterminer la capacité de calcul (compute cap) du GPU qui sera utilisé à l'exécution. Cette information est cruciale pour la configuration appropriée des conteneurs CUDA. Les exemples suivants présentent les capacités de calcul à l'exécution pour divers types de GPU :

• Turing (T4, série RTX 2000, …) - runtime_compute_cap=75
• Ampere 8.0 (A100, …) - runtime_compute_cap=80
• Ampere 8.6 (A10, …) - runtime_compute_cap=86
• Ada Lovelace (série RTX 4000, …) - runtime_compute_cap=89
• Hopper (H100) - runtime_compute_cap=90
• Blackwell 10.0 (B200, GB200, …) - runtime_compute_cap=100
• Blackwell 12.0 (GeForce RTX 50X0, …) - runtime_compute_cap=120

Une fois que vous avez déterminé la capacité de calcul, définissez-la comme variable runtime_compute_cap et construisez le conteneur à l'aide de Dockerfile-cuda :

# Get submodule dependencies
git submodule update --init

runtime_compute_cap=80

docker build . -f Dockerfile-cuda --build-arg CUDA_COMPUTE_CAP=$runtime_compute_cap