🧠 Foundry Local est une solution d’inférence d’IA développée par Microsoft qui permet d’exécuter des modèles directement sur votre appareil, sans dépendance au cloud. Voici un aperçu complet :
🚀 Qu’est-ce que Foundry Local ?
Foundry Local est une plateforme locale d’IA qui apporte les capacités d’Azure AI Foundry sur votre propre matériel. Elle est conçue pour offrir :
Confidentialité renforcée : toutes les données restent sur votre appareil.
Performance optimisée : grâce à l’exécution locale et à l’accélération matérielle via ONNX Runtime.
Personnalisation : vous pouvez utiliser des modèles prédéfinis ou vos propres modèles.
Économie : pas de frais cloud récurrents, vous utilisez votre infrastructure existante.
Intégration fluide : via CLI, SDK (Python, JavaScript) ou API REST compatible OpenAI.
🧩 Fonctionnalités clés
Fonctionnalité | Description |
|---|---|
Inférence sur appareil | Exécution locale des modèles IA sur CPU, GPU ou NPU |
API compatible OpenAI | Permet une intégration facile avec des applications existantes |
Cache de modèles | Stocke les modèles localement pour accélérer les inférences |
Abstraction matérielle | Sélection automatique du meilleur matériel disponible |
SDK et CLI | Outils pour gérer et exécuter les modèles facilement |
📦 Cas d’usage
Applications en temps réel avec faible latence
Environnements sans connexion Internet
Traitement de données sensibles en local
Tests et prototypage avant déploiement cloud
🛠️ Installation rapide
Windows :
winget install Microsoft.FoundryLocalmacOS :
brew tap microsoft/foundrylocal && brew install foundrylocalExécution d’un modèle :
foundry model run phi-3.5-mini
Foundry Local détecte automatiquement votre matériel (GPU, NPU, CPU) et télécharge le modèle optimisé correspondant.
https://devdevdev.net/foundry-local-le-tueur-dollama/
Podcast: Play in new window | Download (Duration: 15:35 — 21.5MB)
Microsoft a lancé à la Build un nouvel outil, Foundry Local, qui permet d’exécuter en local (comme son nom l’indique) des LLM et des SLM.
Alors qu’est-ce que cela vaut par rapport à Ollama, que peut-on faire avec, comment ca marche, c’est ce que l’on voir lors de cet épisode.
devdevdev.net épisode 71, c’est parti…
Retrouvez-moi sur BlueSky : @devdevdev.net
Code source de l’application : https://github.com/RichardC64/FoundryLocal_Playground
https://learn.microsoft.com/fr-fr/azure/ai-foundry/foundry-local/what-is-foundry-local
Important
- Foundry Local est disponible en préversion. Les versions en préversion publique fournissent un accès anticipé aux fonctionnalités qui sont en cours de déploiement actif.
- Les fonctionnalités, les approches et les processus peuvent changer ou avoir des fonctionnalités limitées avant la mise en disponibilité générale.
Foundry Local est une solution d’inférence d'IA sur appareil offrant des performances, la confidentialité, la personnalisation et des avantages en termes de coûts. Il s’intègre en toute transparence à vos flux de travail et applications existants par le biais d’une interface CLI intuitive, d’un SDK et d’une API REST.
Ce guide vous guide tout au long de la configuration de Foundry Local pour exécuter des modèles IA sur votre appareil.
Conditions préalables
Votre système doit répondre aux exigences suivantes pour exécuter Foundry Local :
Système d’exploitation : Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.Matériel : 8 Go minimum de RAM, 3 Go d’espace disque libre. Mémoire RAM recommandée de 16 Go, espace disque libre de 15 Go.Réseau : connexion Internet pour le téléchargement initial du modèle (facultatif pour une utilisation hors connexion)Accélération (facultatif) : GPU NVIDIA (2 000 séries ou ultérieures), GPU AMD (6 000 séries ou ultérieures), Amd Snapaccide X Elite (8 Go ou plus de mémoire) ou Apple silicon.
Vérifiez également que vous disposez de privilèges d’administration pour installer des logiciels sur votre appareil.
Cas d’utilisation
Foundry Local est idéal pour les scénarios où :
Vous souhaitez conserver des données sensibles sur votre appareil.Vous devez fonctionner dans des environnements avec une connectivité Internet limitée ou sans connexion Internet.Vous souhaitez réduire les coûts d’inférence cloud.Vous avez besoin de réponses IA à faible latence pour les applications en temps réel.Vous souhaitez expérimenter des modèles IA avant de les déployer dans un environnement cloud.
Développer une application IA avec le Kit de développement logiciel (SDK) Azure AI Foundry55 minModule7 Unités
https://learn.microsoft.com/fr-fr/training/modules/ai-foundry-sdk/
