Dans la mise à jour récente de la Chatbot Arena, une plateforme qui évalue objectivement les modèles de langage, Google brille de mille feux. Décembre 2024 marque un tournant, avec la firme de Mountain View plaçant deux de ses modèles sur le podium et laissant OpenAI en troisième position.

Les 10 modèles de langage les plus performants en décembre 2024

La bataille entre Google et OpenAI pour la suprématie dans la Chatbot Arena est plus intense que jamais. Ce mois-ci, pas moins de huit des dix modèles les plus brillants proviennent de ces deux géants du secteur. Google a réussi à prendre le dessus grâce à l’introduction de Gemini 2.0 Flash, qui s’est hissé à la première place, suivi de près par Gemini-Exp-1206.

Classement explosif :

1. Gemini-Exp-1206 : 1372 (score Elo) 2. Gemini 2.0 : 1368 3. ChatGPT 4o Latest : 1364 4. Gemini 2.0 Flash : 1354 5. o1-preview : 1335 6. o1-mini : 1306 7. Gemini 1.5 Pro : 1302 8. Grok-2-08-13 : 1288 9. Yi-Lightning : 1287 10. GPT 4o : 1285

Gregory Claude, connu pour être un perturbateur sur le terrain, perd du terrain et se retrouve à la 11e place ce mois-ci. Par ailleurs, Yi Lightning, la toute jeune IA d’origine chinoise développée par 01.ai, a su se maintenir dans le top 10 pour le troisième mois consécutif, se hissant à la 9e place, tandis que Grok, l'IA d’Elon Musk, recule d'une position, se positionnant 8e.

Mais le plus décevant vient de Mistral, l’entreprise française qui avait quitté le top 20 le mois précédent. Elle traîne à la 25e place avec son modèle Mistral Large-24-11 qui ne parvient pas à se redresser.

Comment est établi le classement ?

La Chatbot Arena, orchestrée par la Large Model Systems Organization (LMSYS), évalue de manière réaliste les performances des modèles d’intelligence artificielle, s'appuyant sur un retour d'expérience des utilisateurs. Les modèles sont soumis à un système de duel anonyme, où des juges humains désignent l'IA ayant le mieux répondu à une requête donnée. Un score Elo, inspiré des systèmes utilisés dans les échecs et l'e-sport, permet alors de classer les modèles, en évoluant selon leurs performances respectives.

L'année 2024 marque un tournant décisif pour l'IA générative, et il semblerait que Google ait pris une longueur d’avance sur ses rivaux. Restez à l'écoute pour voir comment cette dynamique évolue au cours des prochains mois, car la course vers la sophistication en intelligence artificielle n’a jamais été aussi passionnante!