Utiliser des modèles d'IA en local

Vous pouvez exécuter des modèles d'IA du Hub localement sur votre machine. Cela signifie que vous pouvez bénéficier des avantages suivants :

• Confidentialité : Vous n’envoyez pas vos données sur un serveur distant.
• Vitesse : votre matériel est le facteur limitant, et non la vitesse du serveur ou de la connexion.
• Contrôle : Vous pouvez configurer les modèles à votre convenance.
• Coût : Vous pouvez exécuter des modèles localement sans payer de fournisseur d'API.

Comment utiliser les applications locales

Les applications locales sont des applications qui peuvent exécuter des modèles Hugging Face directement sur votre machine. Pour commencer :

1. Activer les applications locales dans vos paramètres des applications locales.

2. Choisissez un modèle pris en charge sur le Hub en le recherchant. Vous pouvez filtrer par application dans le groupe Apps de la section Other de la barre latérale des filtres, par exemple les modèles compatibles avec llama.cpp :

3. Sélectionnez l’application locale dans le menu déroulant « Utiliser ce modèle » de la page du modèle.

4. Copiez et exécutez la commande fournie dans votre terminal.

Applications locales prises en charge

Les applications locales prises en charge sont répertoriées dans vos Paramètres des applications locales.

Sur une page de modèle, le menu déroulant « Utiliser ce modèle » n’affiche une application que si le modèle est compatible avec elle (par exemple, un modèle GGUF pour llama.cpp ou Ollama).

Les applications suivantes sont actuellement disponibles sur le Hub :

App	Site web	Modèles compatibles
Llama	llama.app	GGUF
llama.cpp	github.com/ggml-org/llama.cpp	GGUF
LM Studio	lmstudio.ai	GGUF, MLX
janv.	jan.ai	GGUF
Chat atomique	atomic.chat	GGUF, MLX
Unsloth Desktop	unsloth.ai/docs	GGUF, modèles Unsloth
Ollama	ollama.com	GGUF
vLLM	docs.vllm.ai	Modèles de génération de texte, GGUF, AWQ, GPTQ et d'image-texte vers texte
SGLang	docs.sglang.io	Modèles de génération de texte et d'image-texte-vers-texte Transformers, AWQ, GPTQ
MLX LM	github.com/ml-explore/mlx-lm	Modèles de génération de texte MLX
Docker Model Runner	docs.docker.com/ai/model-runner	GGUF, modèles compatibles vLLM
Lemonade	lemonade-server.ai	GGUF, modèles AMD Ryzen AI
Pi	github.com/earendil-works/pi	Modèles de chat GGUF et MLX avec appel d'outils
Agent Hermes	hermes-agent.nousresearch.com	Modèles de chat GGUF et MLX avec appel d'outils
OpenClaw	github.com/openclaw/openclaw	Modèles de chat GGUF et MLX avec appel d'outils
Draw Things	drawthings.ai	Modèles texte-vers-image et LoRAs de Diffusers
DiffusionBee	diffusionbee.com	Modèles texte-vers-image Diffusers
JoyFusion	joyfusion.app	Modèles Core ML de texte vers image étiquetés joyfusion

👨‍💻 Pour utiliser ces applications locales, copiez les extraits de code de la carte du modèle comme indiqué ci-dessus.

👷 Si vous développez une application locale, vous pouvez découvrir comment intégrer le Hub dans ce guide.

Llama

Llama est une application native pour macOS et Windows permettant d’exécuter des modèles GGUF en local.

Avantages :

• Application native légère qui s’affiche dans votre barre de menus ou votre barre des tâches
• Installation en un clic des modèles GGUF depuis le Hub
• Chat local et privé avec les modèles installés
• Obtenir les modèles recommandés pour votre ordinateur
• Intégrez facilement des agents tels que Pi, Hermes, OpenClaw

Pour utiliser Llama, accédez à la fiche du modèle d'un modèle GGUF et cliquez sur « Utiliser ce modèle ». Llama s'ouvre et vous guide à travers l'installation du modèle.

Llama est actuellement disponible à la fois sur macOS et Windows.

Llama.cpp

Llama.cpp est une bibliothèque C/C++ haute performance pour exécuter des LLM localement avec une inférence optimisée sur de nombreux types de matériel, y compris les CPU, CUDA et Metal.

Avantages :

• Des performances extrêmement rapides pour les modèles basés sur CPU sur plusieurs familles de CPU
• Faible consommation de ressources
• Plusieurs options d'interface (CLI, serveur compatible OpenAI avec une interface web)
• Optimisé matériellement pour les CPU et les GPU

Pour utiliser Llama.cpp, accédez à la fiche du modèle, cliquez sur « Utiliser ce modèle » et copiez la commande. L'extrait couvre l'installation de llama.cpp (script d'installation sur macOS et Linux, WinGet sur Windows, ou compilation depuis le code source) et l'exécution du modèle :

# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

Consultez notre page de documentation dédiée llama.cpp + HF.

LM Studio

Consultez notre page de documentation dédiée à LM Studio

LM Studio est une application de bureau qui offre une méthode simple pour télécharger, exécuter et expérimenter avec des LLM locaux.

Avantages :

• Interface graphique intuitive
• Explorateur de modèles intégré
• Outils de développement et API
• Gratuit pour un usage personnel et commercial

Accédez à la fiche du modèle d’un modèle GGUF ou MLX et cliquez sur « Use this model ». LM Studio s’ouvre et vous pouvez commencer à discuter via l’interface.

Jan

Jan est une alternative open source à ChatGPT qui fonctionne entièrement hors ligne et dispose d'une interface conviviale.

Avantages :

• Interface graphique conviviale
• Discuter avec des documents et des fichiers
• Serveur d'API compatible OpenAI, vous permettant d'exécuter des modèles et de les utiliser depuis d'autres applications

Pour utiliser Jan, accédez à la fiche du modèle d'un modèle GGUF et cliquez sur « Use this model ». Jan s'ouvre et vous pouvez commencer à discuter via l'interface.

Chat atomique

Atomic Chat est une application de chat de bureau pour exécuter des modèles locaux.

Avantages :

• Interface de chat graphique
• Prend en charge les modèles GGUF et MLX

Pour utiliser Atomic Chat, accédez à la fiche du modèle d'un modèle GGUF ou MLX et cliquez sur « Use this model ». Atomic Chat s'ouvre avec le modèle prêt à être téléchargé.

Unsloth Desktop

Unsloth Desktop est une application de bureau d’Unsloth pour exécuter des modèles locaux.

Avantages :

• Interface graphique
• Fonctionne avec les modèles GGUF et les modèles de l'écosystème Unsloth

Pour utiliser Unsloth Desktop, accédez à la fiche du modèle d’un modèle GGUF ou Unsloth et cliquez sur « Use this model ». Unsloth Desktop ouvrira le modèle, y compris le fichier GGUF que vous avez sélectionné si vous en avez choisi un parmi les fichiers du modèle.

Ollama

Ollama est une application qui vous permet d’exécuter des modèles de langage de grande taille localement sur votre ordinateur via une simple interface en ligne de commande. Elle est disponible pour les modèles GGUF.

Avantages :

• Installation et configuration faciles
• Intégration directe avec Hugging Face Hub

Pour utiliser Ollama, accédez à la fiche du modèle, cliquez sur « Use this model » et copiez la commande.

ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

vLLM

vLLM est un moteur d’inférence et de service à haut débit pour les LLM, doté d’un serveur d’API compatible OpenAI.

Avantages :

• Débit élevé, optimisé pour les GPU
• Prend en charge les modèles Transformers, GGUF et quantifiés (AWQ, GPTQ)
• Serveur d'API compatible OpenAI

vLLM est disponible pour les modèles de génération de texte et les modèles image-texte-vers-texte. Accédez à la fiche du modèle, cliquez sur « Utiliser ce modèle » et copiez les commandes :

# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'

L'extrait montre également comment exécuter le modèle avec Docker Model Runner.

SGLang

SGLang est un framework de service rapide pour les LLM et les modèles de vision-langage.

Avantages :

• Service haute performance sur GPU
• Prend en charge Transformers et les modèles quantifiés (AWQ, GPTQ)
• Serveur d'API compatible OpenAI

SGLang est disponible pour les modèles de génération de texte et les modèles image-texte-vers-texte. Accédez à la fiche du modèle, cliquez sur « Utiliser ce modèle » et copiez les commandes :

# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000

Le serveur expose une API compatible OpenAI sur le port 30000. L'extrait de code inclut également une commande Docker utilisant l'image lmsysorg/sglang.

MLX LM

MLX LM exécute des LLM sur des puces Apple à l’aide du framework MLX d’Apple.

Avantages :

• Optimisé pour la puce Apple
• Chat interactif et génération de texte depuis la ligne de commande
• Serveur compatible OpenAI

MLX LM est disponible pour les modèles de génération de texte MLX. Accédez à la carte du modèle, cliquez sur « Utiliser ce modèle » et copiez les commandes :

# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"

Docker Model Runner

Docker Model Runner vous permet de récupérer et d’exécuter des modèles avec l’interface en ligne de commande Docker.

Avantages :

• Utilise les outils Docker familiers
• Prend en charge les modèles GGUF et les modèles compatibles avec vLLM

Accédez à la carte du modèle, cliquez sur « Utiliser ce modèle » et copiez la commande :

docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

Lemonade

Lemonade est un serveur LLM local, optimisé pour le matériel AMD.

Avantages :

• Prend en charge les modèles GGUF
• Exécute les modèles conçus pour les NPU AMD Ryzen AI (modèles étiquetés ryzenai-npu ou ryzenai-hybrid)

Après avoir téléchargé Lemonade, accédez à la carte du modèle, cliquez sur « Use this model » et copiez les commandes :

# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list

Pi

Pi est un agent de codage qui s'exécute dans votre terminal.

Pi est disponible pour les modèles de discussion GGUF et MLX dont le modèle de discussion (chat template) prend en charge l'appel d'outils (tool calling). L'extrait de code démarre d'abord un serveur local compatible OpenAI (llama serve pour les modèles GGUF, mlx_lm.server pour les modèles MLX), puis configure Pi pour l'utiliser :

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp

Hermes Agent

Hermes Agent est un agent IA de Nous Research qui peut fonctionner avec des modèles locaux.

Hermes Agent est disponible pour les modèles de discussion GGUF et MLX dont le modèle de discussion (chat template) prend en charge l'appel d'outils (tool calling). L'extrait de code démarre d'abord un serveur local compatible OpenAI (llama serve pour les modèles GGUF, mlx_lm.server pour les modèles MLX), puis configure Hermes Agent pour l'utiliser :

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes

OpenClaw

OpenClaw est un agent IA personnel open source qui peut fonctionner avec des modèles locaux.

OpenClaw est disponible pour les modèles de discussion GGUF et MLX dont le modèle de discussion (chat template) prend en charge l'appel d'outils (tool calling). L'extrait de code démarre d'abord un serveur local compatible OpenAI (llama serve pour les modèles GGUF, mlx_lm.server pour les modèles MLX), puis configure OpenClaw pour l'utiliser :

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"

Draw Things

Draw Things est une application permettant de générer des images localement sur les appareils Apple.

Avantages :

• Exécute les modèles texte-vers-image entièrement sur l'appareil
• Peut importer à la fois les modèles de base et les LoRAs

Pour utiliser Draw Things, accédez à la carte du modèle d'un modèle texte-vers-image Diffusers ou d'un LoRA, puis cliquez sur « Use this model ». Draw Things s'ouvre et importe le modèle.

Draw Things est uniquement disponible sur macOS.

DiffusionBee

DiffusionBee est une application de bureau pour générer des images localement avec des modèles Stable Diffusion.

Avantages :

• Interface graphique simple
• Aucune configuration ni ligne de commande requise

Pour utiliser DiffusionBee, accédez à la carte du modèle d'un modèle texte-vers-image Diffusers et cliquez sur « Use this model ». DiffusionBee s'ouvre et importe le modèle.

DiffusionBee est uniquement disponible sur macOS.

JoyFusion

JoyFusion est une application permettant de générer des images localement à l'aide de modèles Core ML sur les appareils Apple.

Pour utiliser JoyFusion, accédez à la fiche modèle d’un modèle texte-vers-image Core ML étiqueté joyfusion et cliquez sur « Utiliser ce modèle ». JoyFusion s’ouvre et importe le modèle.

JoyFusion est uniquement disponible sur macOS.