Comment installer MISTRAL sur UBUNTU
Voici la méthode la plus simple et fiable pour installer et utiliser les modèles Mistral sur Ubuntu, sans Ollama, uniquement avec les outils officiels : mistral (client CLI), mistral-runner, et les modèles .gguf compatibles.
Guide complet, clair et étape-par-étape.
✅ 1. Installer Python + dépendances
Mistral fournit un client officiel en Python.
sudo apt update
sudo apt install python3 python3-pip python3-venv -y
Créer un environnement (facultatif mais recommandé) :
python3 -m venv mistral-env
source mistral-env/bin/activate
✅ 2. Installer le client officiel Mistral AI
Le paquet mistralai permet d’interroger les modèles hébergés…
Mais pour faire tourner un modèle localement, il faut mistral-runner ou lmstudio / llama.cpp.
Installe le client quand même :
pip install mistralai
✅ 3. Installer mistral-runner (LE moteur local officiel)
Mistral a publié un runtime local : mistral-runner
→ Il fonctionne nativement sur Ubuntu
→ Il charge des modèles Mistral en local
→ Aucun Ollama requis
🔧 Installation
pip install mistral-runner
Vérification :
mistral-runner --help
✅ 4. Télécharger un modèle Mistral en .gguf
Tu peux utiliser les modèles officiels sur HuggingFace :
📦 Exemples :
Mistral 7B Instruct
https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2-GGUFMistral Nemo (2024)
https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407-GGUF
Télécharger un modèle :
mkdir models
cd models
wget https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2-GGUF/resolve/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf
cd ..
✅ 5. Lancer le modèle avec mistral-runner
mistral-runner \
--model models/mistral-7b-instruct-v0.2.Q4_K_M.gguf \
--port 8080
L’API locale démarre sur :
👉 http://localhost:8080/v1/chat/completions
(compatible OpenAI API)
✅ 6. Tester une requête locale
En curl :
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "local",
"messages": [{"role": "user", "content": "Bonjour Mistral, comment vas-tu ?"}]
}'
Ou en Python :
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8080/v1", api_key="not-needed")
resp = client.chat.completions.create(
model="local",
messages=[{"role": "user", "content": "Explique moi Ubuntu"}],
)
print(resp.choices[0].message.content)
🧠 7. (Optionnel) Accélération GPU
🔹 NVIDIA
Installer CUDA :
sudo apt install nvidia-cuda-toolkit
Puis lancer avec :
mistral-runner --model models/...gguf --port 8080 --device cuda
🔹 Metal / AMD → non natif sur Linux
(Ubuntu = NVIDIA + CPU seulement)
🧩 Alternatives SANS Mistral-runner
Si tu veux utiliser d’autres moteurs :
✔ Llama.cpp (stable et performant)
sudo apt install cmake build-essential
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j
./main -m models/mistral.gguf -p "Bonjour"
✔ LM Studio (GUI, très simple)
Télécharge AppImage pour Linux
→ https://lmstudio.ai
📌 Résumé ultra-simple
| Étape | Action |
|---|---|
| 1 | Installer Python |
| 2 | pip install mistral-runner |
| 3 | Télécharger un modèle Mistral .gguf |
| 4 | Lancer : mistral-runner --model monmodele.gguf --port 8080 |
| 5 | Appeler via API locale |
Voici la RAM recommandée pour utiliser les modèles Mistral sur Ubuntu, selon le modèle et le niveau de quantization (Q4, Q5, etc.).
C’est valable pour mistral-runner, llama.cpp, LM Studio, etc.
| Quantization | RAM minimum | RAM confortable |
|---|---|---|
| Q4_K_M | 6 Go | 8–12 Go |
| Q5_K_M | 8 Go | 12–16 Go |
| Q6_K | 12 Go | 16 Go+ |
| FP16 (full) | 28–32 Go | 32 Go+ |
Oui — il est possible d'utiliser une GPU externe (eGPU) avec un PC sous Ubuntu, mais cela dépend fortement du matériel et des limitations Linux.
Voici un guide clair, simple et réaliste.
🎛️ 1. Qu’est-ce qu’une eGPU ?
Une eGPU = un boîtier externe dans lequel tu mets une carte graphique (NVIDIA ou AMD), connecté à ton PC via Thunderbolt 3 ou 4.
🟦 2. Est-ce que les eGPU fonctionnent sous Ubuntu ?
✔ Oui, MAIS seulement dans certains cas :
| Condition | Fonctionne ? |
|---|---|
| PC avec port Thunderbolt 3 ou 4 (type USB-C TB3/TB4) | ✔ Oui |
| GPU NVIDIA | ✔ Oui (pilotes propriétaires) |
| GPU AMD | ✔ Oui (pilotes open source Mesa) |
| Boîtier Thunderbolt certifié Linux | ✔ En général |
❌ Ne fonctionne pas ou très mal :
Sur USB-C non-Thunderbolt → impossible
Sur ordinateurs non compatibles Thunderbolt Hot-Plug
Avec certains BIOS qui bloquent l’eGPU
🟩 3. Ce que dit la pratique sous Linux
✔ L’eGPU fonctionne très bien pour :
L’IA locale (mistral-runner, llama.cpp, vLLM, etc.)
L’inférence GPU (CUDA pour NVIDIA, ROCm pour AMD)
Du calcul scientifique
❌ Fonctionne mal pour :
Les jeux (performance réduite)
Le multi-GPU hybride (optimus)
Pour ton usage (tests IA avec Mistral), c’est parfait.
🟪 4. Configurations recommandées (testées sous Ubuntu)
🔧 1. Boîtier eGPU fiable
Razer Core X
Sonnet eGPU Breakaway Box
Akitio Node
Tous compatibles TB3/TB4 et "Linux-friendly".
🎮 2. Cartes graphiques compatibles
NVIDIA RTX : 3060, 3070, 4070, 4080…
✔ CUDA : parfait pour llama.cpp / mistral-runner / TensorRT-LLMAMD Radeon : 6600, 6700XT, 6800XT
✔ ROCm 6.x (seulement certains modèles)
🟧 5. Installation sur Ubuntu (NVIDIA)
1️⃣ Vérifie la connexion Thunderbolt
boltctl list
2️⃣ Installe les drivers :
sudo ubuntu-drivers autoinstall
3️⃣ Vérifie que la carte est détectée :
nvidia-smi
4️⃣ Utilise-la dans tes moteurs IA :
mistral-runner --model ...gguf --device cuda
🟥 6. Limitations importantes
Le débit Thunderbolt limite la bande passante → perte de 10–30% de performance GPU.
Boot parfois nécessaire avec l’eGPU déjà branché.
Certains laptops Dell/HP/Lenovo limitent l’eGPU via BIOS.
Aucun commentaire:
Enregistrer un commentaire
Merci pour ce commentaire