Crie um contêiner personalizado para TEI

Você pode construir nosso próprio contêiner TEI de CPU ou CUDA usando Docker. Para construir um contêiner de CPU, execute o seguinte comando no diretório que contém seu Dockerfile personalizado:

docker build .

Para construir um contêiner CUDA, é essencial determinar a capacidade de computação (compute cap) da GPU que será usada em tempo de execução. Essa informação é crucial para a configuração adequada dos contêineres CUDA. A seguir estão exemplos de capacidades de computação em tempo de execução para vários tipos de GPU:

• Turing (T4, série RTX 2000, …) - runtime_compute_cap=75
• Ampere 8.0 (A100, …) - runtime_compute_cap=80
• Ampere 8.6 (A10, …) - runtime_compute_cap=86
• Ada Lovelace (série RTX 4000, …) - runtime_compute_cap=89
• Hopper (H100) - runtime_compute_cap=90
• Blackwell 10.0 (B200, GB200, …) - runtime_compute_cap=100
• Blackwell 12.0 (GeForce RTX 50X0, …) - runtime_compute_cap=120

Depois de determinar a capacidade de computação, defina-a como a variável runtime_compute_cap e construa o container usando Dockerfile-cuda:

# Get submodule dependencies
git submodule update --init

runtime_compute_cap=80

docker build . -f Dockerfile-cuda --build-arg CUDA_COMPUTE_CAP=$runtime_compute_cap