L’observatoire français Compar:IA a récemment dévoilé un palmarès participatif des modèles d’intelligence artificielle les plus appréciés par les internautes francophones.1 Présentée comme une démarche d’évaluation collective, cette initiative a suscité un large intérêt… mais aussi de nombreuses critiques. Si elle reflète une curiosité croissante du public pour les IA génératives, elle soulève également une question essentielle : peut-on réellement mesurer la qualité d’un modèle sur la base de votes d’utilisateurs ? Ce palmarès, qui place Mistral Medium 3.1 en tête devant les modèles de Google et d’Alibaba, se distingue davantage par sa dimension participative que par sa rigueur méthodologique.
Un palmarès basé sur les préférences, pas sur la performance
Contrairement aux benchmarks techniques (comme MMLU ou GSM8K) qui mesurent la cohérence, la précision ou la robustesse des modèles,2 le classement de Compar:IA repose sur des votes subjectifs. Chaque utilisateur se voit proposer deux réponses anonymes issues de deux IA différentes, puis choisit celle qu’il juge la plus claire ou convaincante. Cette méthode a le mérite d’impliquer le grand public, mais elle présente plusieurs limites :
- Elle mesure davantage l’aisance linguistique et le style rédactionnel des modèles que leur exactitude.
- Elle favorise les IA “grand public”, capables de produire des réponses plus agréables, au détriment des modèles plus spécialisés.
- Elle ne permet pas de vérifier la factualité des informations produites ni leur pertinence scientifique.
En d’autres termes, il s’agit d’un baromètre de perception, pas d’un outil d’évaluation des capacités cognitives ou analytiques des IA.
Les résultats : Mistral en tête, mais un podium à relativiser
Le palmarès 2025 de Compar:IA consacre le modèle français Mistral Medium 3.1, suivi des modèles Gemini 2.5 Flash et Gemini 2.0 Flash de Google.3 Derrière, on retrouve Qwen 3 Max d’Alibaba et DeepSeek v3 du chinois DeepSeek.
Si ces résultats sont symboliquement encourageants pour la scène française et européenne, ils ne reflètent pas nécessairement la réalité des performances techniques. En effet :
- Les modèles de Google et OpenAI, pourtant leaders des classements internationaux, se situent ici en milieu de tableau.
- GPT-OSS-120B (OpenAI) n’arrive qu’à la 7ᵉ place, et Claude 4.5 Sonnet (Anthropic) est hors du top 10.
- Les performances évaluées par Compar:IA sont fortement influencées par la langue des prompts et le contexte culturel des votants, majoritairement francophones.
Le résultat est donc à lire avec précaution : il reflète un intérêt linguistique et identitaire plus qu’une hiérarchie scientifique entre les modèles.
Une méthodologie participative… mais biaisée
Le système de vote “à l’aveugle” mis en place par Compar:IA visait à réduire les biais de notoriété. Pourtant, plusieurs limites persistent. Les tests n’intègrent ni la fiabilité factuelle des réponses, ni la mesure des biais génératifs (idéologiques, culturels ou linguistiques). Les chercheurs en IA soulignent qu’un modèle peut “plaire” sans être performant : une IA persuasive ou empathique n’est pas nécessairement exacte.
Le biais linguistique est également marqué : les modèles formés sur des corpus francophones, comme ceux de Mistral, bénéficient d’un avantage évident. De plus, la perception émotionnelle influence souvent la préférence : un ton plus chaleureux, une tournure familière ou un style narratif peuvent être perçus comme des gages de qualité.
En somme, Compar:IA permet de comprendre les attentes du public face aux IA génératives, mais pas de mesurer leurs performances réelles. 4
Pourquoi les classements IA Gén. offrent une lecture plus fiable
Sur le blog aivancity, les classements IA Gén. s’appuient sur une approche radicalement différente : scientifique, comparée et mesurable.5 Ces analyses évaluent les modèles selon des critères objectifs tels que :
- la précision et la cohérence des réponses sur des benchmarks de référence ;
- la capacité de raisonnement logique et mathématique ;
- la robustesse face aux variations de prompts ou aux contextes complexes ;
- la polyvalence multimodale (texte, code, image, audio) ;
- et la sobriété énergétique des architectures.
Ces évaluations, conduites avec rigueur, permettent d’identifier les modèles réellement performants et adaptés à des usages professionnels ou académiques. À la différence de Compar:IA, elles ne visent pas à mesurer la popularité, mais à classer selon des faits, non des ressentis.
Tous les classements IA Gén. sont consultables dans la catégorie Outils IA, qui compare régulièrement les modèles les plus récents selon des critères techniques, éthiques et énergétiques.
Vers des indicateurs plus transparents et complémentaires
Le succès du palmarès Compar:IA révèle un phénomène plus large : la volonté croissante du grand public de comprendre et de comparer les IA. Mais il souligne aussi la nécessité d’une éducation numérique autour des outils d’évaluation.
Plutôt que d’opposer approche citoyenne et expertise scientifique, il serait pertinent de les articuler. Une évaluation participative peut enrichir la perception d’usage, tandis qu’une analyse technique garantit la fiabilité et la reproductibilité des résultats.
À terme, les institutions européennes, via le AI Act, encourageront la création d’indicateurs hybrides : des baromètres de confiance, intégrant à la fois la performance technique, la durabilité et la transparence des modèles.6
Conclusion : la popularité ne fait pas la performance
Le palmarès de Compar:IA témoigne d’un intérêt légitime pour l’intelligence artificielle et d’un désir collectif d’en comprendre les usages. Cependant, en l’absence de méthodologie scientifique, il ne peut être considéré comme un outil de mesure fiable. Il s’agit d’une photographie des préférences d’usage, non d’un classement des meilleures IA.
Pour analyser les modèles avec rigueur, les classements IA Génératives d’aivancity restent aujourd’hui la référence la plus complète et la plus neutre sur le marché francophone. En combinant expertise académique, critères techniques et enjeux éthiques, ils permettent de dépasser la logique de popularité pour construire une vision réellement éclairée de la performance des intelligences artificielles.
Pour aller plus loin
Pour approfondir la question de l’évaluation et de la souveraineté dans le domaine de l’intelligence artificielle :
- « Mistral entre dans la cour des géants : 1,7 milliard d’euros levés pour l’IA souveraine », une analyse du positionnement européen de Mistral et de son rôle dans la construction d’une IA souveraine et performante.
Références
1. Compar:IA. (2025). Observatoire citoyen de l’intelligence artificielle – Palmarès 2025. 2. Hendrycks, D. et al. (2021). Measuring Massive Multitask Language Understanding (MMLU). arXiv.
3. Le Journal du Net. (2025). Mistral devance Google et OpenAI dans le palmarès Compar:IA. 4. Ministère de la Culture. (2025). Note sur la méthodologie des évaluations participatives de modèles IA.
https:www.culture.gouv.fr
5. aivancity. (2025). Classements IA Gén. – Catégorie Outils IA.
https://www.aivancity.ai/blog/category/outils-ia/
6. Commission européenne. (2024). AI Act – European Regulation on Artificial Intelligence.
https://digital-strategy.ec.europa.eu