Qu’est-ce que Foundry Local ?

 🧠 Foundry Local est une solution d’inférence d’IA développée par Microsoft qui permet d’exécuter des modèles directement sur votre appareil, sans dépendance au cloud. Voici un aperçu complet :

---

🚀 Qu’est-ce que Foundry Local ?

Foundry Local est une plateforme locale d’IA qui apporte les capacités d’Azure AI Foundry sur votre propre matériel. Elle est conçue pour offrir :

• Confidentialité renforcée : toutes les données restent sur votre appareil.

• Performance optimisée : grâce à l’exécution locale et à l’accélération matérielle via ONNX Runtime.

• Personnalisation : vous pouvez utiliser des modèles prédéfinis ou vos propres modèles.

• Économie : pas de frais cloud récurrents, vous utilisez votre infrastructure existante.

• Intégration fluide : via CLI, SDK (Python, JavaScript) ou API REST compatible OpenAI.

---

🧩 Fonctionnalités clés

Fonctionnalité	Description
Inférence sur appareil	Exécution locale des modèles IA sur CPU, GPU ou NPU
API compatible OpenAI	Permet une intégration facile avec des applications existantes
Cache de modèles	Stocke les modèles localement pour accélérer les inférences
Abstraction matérielle	Sélection automatique du meilleur matériel disponible
SDK et CLI	Outils pour gérer et exécuter les modèles facilement

---

📦 Cas d’usage

• Applications en temps réel avec faible latence

• Environnements sans connexion Internet

• Traitement de données sensibles en local

• Tests et prototypage avant déploiement cloud

---

🛠️ Installation rapide

• Windows : winget install Microsoft.FoundryLocal

• macOS : brew tap microsoft/foundrylocal && brew install foundrylocal

• Exécution d’un modèle :

  foundry model run phi-3.5-mini

Foundry Local détecte automatiquement votre matériel (GPU, NPU, CPU) et télécharge le modèle optimisé correspondant.

---

https://devdevdev.net/foundry-local-le-tueur-dollama/

Podcast: Play in new window | Download (Duration: 15:35 — 21.5MB)

Microsoft a lancé à la Build un nouvel outil, Foundry Local, qui permet d’exécuter en local (comme son nom l’indique) des LLM et des SLM.

Alors qu’est-ce que cela vaut par rapport à Ollama, que peut-on faire avec, comment ca marche, c’est ce que l’on voir lors de cet épisode.

devdevdev.net épisode 71, c’est parti…

 Retrouvez-moi sur BlueSky : @devdevdev.net

Code source de l’application : https://github.com/RichardC64/FoundryLocal_Playground

https://learn.microsoft.com/fr-fr/azure/ai-foundry/foundry-local/what-is-foundry-local

Important

• Foundry Local est disponible en préversion. Les versions en préversion publique fournissent un accès anticipé aux fonctionnalités qui sont en cours de déploiement actif.
• Les fonctionnalités, les approches et les processus peuvent changer ou avoir des fonctionnalités limitées avant la mise en disponibilité générale.

Foundry Local est une solution d’inférence d'IA sur appareil offrant des performances, la confidentialité, la personnalisation et des avantages en termes de coûts. Il s’intègre en toute transparence à vos flux de travail et applications existants par le biais d’une interface CLI intuitive, d’un SDK et d’une API REST.

Ce guide vous guide tout au long de la configuration de Foundry Local pour exécuter des modèles IA sur votre appareil.

Conditions préalables

Votre système doit répondre aux exigences suivantes pour exécuter Foundry Local :

Système d’exploitation : Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.Matériel : 8 Go minimum de RAM, 3 Go d’espace disque libre. Mémoire RAM recommandée de 16 Go, espace disque libre de 15 Go.Réseau : connexion Internet pour le téléchargement initial du modèle (facultatif pour une utilisation hors connexion)Accélération (facultatif) : GPU NVIDIA (2 000 séries ou ultérieures), GPU AMD (6 000 séries ou ultérieures), Amd Snapaccide X Elite (8 Go ou plus de mémoire) ou Apple silicon.

Vérifiez également que vous disposez de privilèges d’administration pour installer des logiciels sur votre appareil.

Cas d’utilisation

Foundry Local est idéal pour les scénarios où :

Vous souhaitez conserver des données sensibles sur votre appareil.Vous devez fonctionner dans des environnements avec une connectivité Internet limitée ou sans connexion Internet.Vous souhaitez réduire les coûts d’inférence cloud.Vous avez besoin de réponses IA à faible latence pour les applications en temps réel.Vous souhaitez expérimenter des modèles IA avant de les déployer dans un environnement cloud.

Développer une application IA avec le Kit de développement logiciel (SDK) Azure AI Foundry55 minModule7 Unités

https://learn.microsoft.com/fr-fr/training/modules/ai-foundry-sdk/

Développer une application IA avec le Kit de développement logiciel (SDK) Azure AI Foundry