OLLAMA et NPU

Comment Utiliser OLLAMA dernière version avec un PC Ultra ASUS Intel(R) Core(TM) Ultra 7 155H 3.80 GHz et activer la carte NPU du PC pour y faire fonctionner OLLAMA.

Bonne nouvelle! Intel a ajouté le support NPU pour les processeurs Core Ultra (incluant le 155H) en décembre 2024. Voici comment configurer OLLAMA sur votre PC ASUS avec la NPU:

Approche 1: Solution Rapide (Ollama Portable Zip) - Recommandée

La solution la plus simple est d'utiliser le Ollama Portable Zip qui permet de faire tourner OLLAMA directement sur le GPU Intel sans installation manuelle.

Approche 2: Installation Complète avec IPEX-LLM

Si vous voulez une installation standard, voici les étapes:

Prérequis:

• Mettre à jour le driver NPU à la version 32.0.100.3104 recommandée via le Device Manager
• Installer Visual Studio 2022 Community (avec le workload "Desktop development with C++")
• Installer Miniforge pour gérer vos environnements Python

Installation:

1. Téléchargez les drivers NPU Intel depuis le site officiel Intel et installez-les

2. Créez un environnement conda pour OLLAMA:

conda create -n llm-cpp python=3.11 libuv
conda activate llm-cpp

3. Installez IPEX-LLM avec support OLLAMA:

pip install --pre --upgrade ipex-llm[cpp] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/

4. Initialisez OLLAMA:

init-ollama.bat

5. Configuration NPU - Avant de démarrer OLLAMA, définissez ces variables d'environnement:

set OLLAMA_NUM_GPU=999
set no_proxy=localhost,127.0.0.1
set SYCL_CACHE_PERSISTENT=1

6. Démarrez OLLAMA:

ollama serve

7. Dans un autre terminal, téléchargez un modèle:

ollama pull mistral

Modèles Recommandés pour la NPU

Pour optimiser les performances sur une NPU, préférez les modèles quantifiés et plus petits comme Mistral, Phi, ou TinyLlama plutôt que des modèles très larges.

Vérification

Une fois OLLAMA lancé, vous devriez voir NPU utilisée dans les logs. Vous pouvez vérifier l'utilisation via l'Observateur de ressources Windows.

Parfait! Voici le guide complet pour installer OLLAMA Portable Zip sur votre PC :

📋 Étape 1: Prérequis

Pour Intel Core Ultra (Series 1), il est recommandé de mettre à jour votre driver GPU à la dernière version disponible. Pour les autres iGPU/dGPU, utilisez la version 32.0.101.6078.

Mettez à jour vos drivers:

1. Allez sur le site officiel Intel: https://www.intel.com/content/www/ca/en/download-center/home.html
2. Téléchargez le dernier driver GPU Intel
3. Installez-le et redémarrez votre PC

📥 Étape 2: Télécharger OLLAMA Portable Zip

Téléchargez le Ollama portable zip depuis les releases officielles sur GitHub:

Lien: https://github.com/ipex-llm/ipex-llm/releases/tag/v2.3.0-nightly

Cherchez le fichier nommé ollama-ipex-llm-*.zip (pour Windows)

🗂️ Étape 3: Extraction

1. Créez un dossier (ex: C:\OLLAMA)
2. Décompressez le ZIP dans ce dossier
3. Vous devriez voir un fichier start-ollama.bat

▶️ Étape 4: Lancer OLLAMA

Double-cliquez sur start-ollama.bat dans le dossier extrait pour démarrer le service OLLAMA.

Une fenêtre de commande s'ouvrira avec le titre "IPEX-LLM Ollama Serve".

🤖 Étape 5: Télécharger et Exécuter un Modèle

Ouvrez une nouvelle fenêtre Command Prompt et naviguez vers le dossier:

cd /d C:\OLLAMA

Téléchargez un modèle (par exemple Phi-3, optimisé pour les petits PC):

ollama pull phi:latest

Lancez le modèle:

ollama run phi:latest

📊 Vérification

Dans les logs du start-ollama.bat, cherchez "Found X SYCL devices" - cela confirme que votre GPU/NPU est détecté!

💡 Modèles Recommandés pour votre NPU

Pour optimiser les performances:

• phi:latest - ~3B, très rapide
• mistral:7b-instruct - Bon compromis qualité/vitesse
• neural-chat:7b - Spécialisé pour le chat

🔧 Configurations Utiles

Pour augmenter la fenêtre de contexte à 8192 tokens (avant de lancer OLLAMA):

set OLLAMA_NUM_CTX=8192
ollama serve

Pour garder le modèle chargé en mémoire indéfiniment:

set OLLAMA_KEEP_ALIVE=-1
ollama serve