Mistral dévoile Mistral 3 : des modèles open source de nouvelle génération pour l’IA d’entreprise et en périphérie

Démarrage de l'IA Mistral a dévoilé Mistral 3, la dernière génération de ses modèles, comprenant trois modèles denses compacts et performants de 14, 8 et 3 milliards de paramètres, ainsi que Mistral Large 3, son modèle le plus avancé à ce jour : un système de mélange d'experts clairsemé entraîné avec 41 milliards de paramètres actifs et 675 milliards de paramètres au total. Tous les modèles sont disponibles sous licence Apache 2.0, offrant aux développeurs un accès open source dans plusieurs formats compressés pour la prise en charge des applications d'IA distribuées.

Les modèles Ministral sont conçus pour offrir un excellent rapport performance/coût, tandis que Mistral Large 3 se positionne parmi les modèles open source les plus performants, optimisés pour chaque instruction. Entraîné de zéro sur 3 000 GPU NVIDIA H200, Mistral Large 3 marque la première sortie de la société basée sur une approche mixte d'experts depuis la série Mixtral et représente une avancée significative en matière de pré-entraînement. Après post-entraînement, il égale les meilleurs modèles open-weight optimisés pour chaque instruction sur des requêtes générales et démontre une compréhension avancée des images ainsi que des capacités de conversation multilingue supérieures.

Mistral Large 3 a fait son entrée à la 2e place dans la catégorie des modèles open source sans raisonnement et à la 6e place du classement général de LMArena. Les versions de base et optimisée pour les instructions sont distribuées sous licence Apache 2.0, offrant une plateforme robuste pour la personnalisation par les entreprises et les développeurs. Une version avec raisonnement est prévue pour une publication ultérieure.

Mistral s'associe à NVIDIA, vLLM et Red Hat pour améliorer l'accessibilité et les performances de Mistral 3.

Grâce à des collaborations avec vLLM et Red Hat, Mistral Large 3 est désormais largement accessible à la communauté open source. Un point de contrôle au format NVFP4, optimisé avec llm-compressor, permet une exécution efficace sur les systèmes Blackwell NVL72 ou sur un nœud unique 8×A100 ou 8×H100 utilisant vLLM.

Le développement de modèles d'IA open source avancés repose sur une optimisation matérielle et logicielle poussée, réalisée en partenariat avec NVIDIA. Tous les modèles Mistral 3, y compris Large 3 et Ministral 3, ont été entraînés sur des GPU NVIDIA Hopper, exploitant la mémoire HBM3e à large bande passante pour les charges de travail importantes. L'approche de co-conception de NVIDIA intègre le matériel, les logiciels et les modèles afin de permettre une inférence efficace grâce à TensorRT-LLM et SGLang sur l'ensemble de la famille Mistral 3, prenant en charge l'exécution à basse précision.

Pour l'architecture à faible densité d'experts de Large 3, NVIDIA a implémenté les noyaux d'attention Blackwell et MoE, ajouté un service désagrégé de pré-remplissage/décodage et collaboré au décodage spéculatif, permettant ainsi aux développeurs de gérer des charges de travail à contexte long et à haut débit sur les systèmes GB200 NVL72 et supérieurs. Les modèles Mistral sont également optimisés pour un déploiement sur DGX Spark, PC et ordinateurs portables RTX, et appareils Jetson, offrant une expérience performante et homogène, des centres de données aux applications périphériques. Mistral remercie vLLM, Red Hat et NVIDIA pour leur soutien et leur collaboration.

Ministral 3 : Performances d’IA avancées pour les déploiements en périphérie et locaux

La gamme Ministral 3 est conçue pour les déploiements en périphérie et locaux, et se décline en trois tailles : 3B, 8B et 14B paramètres. Chaque taille est disponible en versions de base, d’instruction et de raisonnement, toutes intégrant la compréhension d’images et distribuées sous licence Apache 2.0. Grâce à ses capacités multimodales et multilingues natives, la famille Ministral 3 offre des solutions polyvalentes pour les applications d’entreprise et de développement.

Cette série offre un rapport coût-performance exceptionnel parmi les modèles open source, avec des variantes d'instructions égalant voire surpassant les modèles comparables tout en générant un nombre de jetons nettement inférieur. Pour les scénarios où la précision est primordiale, les variantes de raisonnement peuvent effectuer des calculs étendus afin d'atteindre une précision de pointe dans leur catégorie de poids, comme 85 % sur AIME '25 avec le modèle 14B.

Mistral 3 est actuellement accessible via Mistral AI Studio, Amazon Bedrock, Azure Foundry, Hugging Face (Large 3 et Ministral), Modal, IBM WatsonX, OpenRouter, Fireworks, Unsloth AI et Together AI, et sera bientôt disponible sur NVIDIA NIM et AWS SageMaker.

Mistral L'entreprise demeure un acteur majeur de l'écosystème européen des modèles d'IA et des initiatives open source, bien que son dernier modèle phare reste en retrait par rapport à ses principaux concurrents en termes de performances, de rapidité et de coût. Les versions plus compactes de Ministral pourraient constituer une alternative plus pratique, offrant des options flexibles pour divers cas d'utilisation et un déploiement sur différents appareils.