Docker et l'IA locale

Ce volume de la collection Docker vous montre comment tirer parti de la conteneurisation pour simplifier le déploiement de l’intelligence artificielle en local. Vous apprendrez à exploiter le GPU depuis les conteneurs grâce au NVIDIA Container Toolkit, à préparer et servir des modèles avec Triton Inference Server ou Ollama, et à construire une stack IA complète comprenant moteur d’inférence, interface utilisateur (Streamlit/Gradio) et stockage persistant via des volumes Docker. Chaque chapitre combine théorie et exercices pratiques afin que vous puissiez mettre en place rapidement des environnements IA reproductibles, même hors ligne ou en périphérie. - Maîtriser les bases de Docker adaptées aux charges de travail IA - Configurer le NVIDIA Container Toolkit pour l’accès GPU dans les conteneurs - Construire des images Docker avec support GPU et optimiser leurs tailles - Identifier les formats de modèles courants et les sources de modèles pré‑entraînés - Déployer et gérer un serveur d’inférence Triton pour divers frameworks - Expérimenter avec des LLM locaux via Ollama et créer des API REST/gRPC/WebSocket - Construire des interfaces Web interactives avec Streamlit ou Gradio - Orchestrer une pile complète (modèle, API, UI, stockage) grâce à Docker Compose - Ajuster les performances (taille de batch, concurrence, précision) et surveiller avec Prometheus & Grafana - Appliquer les bonnes pratiques de sécurité, de versionning et de CI/CD pour les modèles IA locaux