Des chercheurs ont donc construit un antidote au bluff : Humanity\u2019s Last Exam (HLE)<\/strong>, un benchmark qui vise pr\u00e9cis\u00e9ment ce que les tests satur\u00e9s ne mesurent plus : la capacit\u00e9 \u00e0 r\u00e9pondre correctement quand la simple m\u00e9morisation<\/strong> et la recherche web<\/strong> ne sauvent plus.<\/p>\n\n\n\n HLE, c\u2019est 2 500 questions<\/strong> \u00e0 tr\u00e8s haut niveau, couvrant plus de 100 domaines, r\u00e9dig\u00e9es et v\u00e9rifi\u00e9es par plus de 1 000 experts<\/strong>. L\u2019objectif : des questions ferm\u00e9es<\/strong>, \u00e0 r\u00e9ponse unique<\/strong>, v\u00e9rifiable<\/strong>, mais non triviales \u00e0 r\u00e9cup\u00e9rer par recherche<\/strong>. (Center for AI Safety), (Nature)<\/p>\n\n\n\n Autrement dit : une tentative s\u00e9rieuse de mesurer quelque chose comme la \u201csolidit\u00e9\u201d acad\u00e9mique\u2026 et pas seulement la fluidit\u00e9.<\/p>\n\n\n\n Les premiers r\u00e9sultats marquent : m\u00eame les mod\u00e8les de pointe restent loin d\u2019une performance \u201cexpert\u201d. Par exemple, Gemini 3.1 Pro<\/strong> est rapport\u00e9 autour de 48,4%<\/strong> sur HLE (selon les sources publiques), et les autres mod\u00e8les test\u00e9s sont derri\u00e8re. (LiveScience), (Artificial Analysis), (Epoch AI)<\/p>\n\n\n\n Le plus pr\u00e9occupant n\u2019est pas l\u2019\u00e9chec. C\u2019est l\u2019assurance<\/strong>.<\/p>\n\n\n\n Le papier associ\u00e9 dans Nature<\/strong> souligne que les mod\u00e8les donnent souvent des r\u00e9ponses incorrectes avec une confiance \u00e9lev\u00e9e<\/strong>, et mentionne des erreurs de calibration importantes (par ex. RMS calibration errors au-del\u00e0 de 70% pour la plupart des mod\u00e8les). (Nature)<\/p>\n\n\n\n Dit autrement : le mod\u00e8le peut avoir tort, sans signaler qu\u2019il doute<\/strong>.<\/p>\n\n\n\n Et c\u2019est exactement le pi\u00e8ge en entreprise : on n\u2019ach\u00e8te pas une r\u00e9ponse \u201cplausible\u201d. On ach\u00e8te une d\u00e9cision robuste.<\/p>\n\n\n\n HLE agit comme un miroir : il ne dit pas \u201cl\u2019IA est nulle\u201d. Il dit :<\/p>\n\n\n\n Dans mon livre, chapitre 14<\/strong>, j\u2019insiste sur un point qui devient central ici : le premier chantier de l\u2019adoption IA n\u2019est pas la performance, c\u2019est la clart\u00e9 d\u2019usage<\/strong> \u2014 ce que l\u2019on attend, ce que l\u2019on v\u00e9rifie, ce que l\u2019on refuse d\u2019automatiser.<\/p>\n\n\n\n Une mani\u00e8re simple de traduire HLE en gouvernance interne :<\/p>\n\n\n\n Vous obtenez :<\/p>\n\n\n\n Vous garderez :<\/p>\n\n\n\n Vous prenez un risque structurel :<\/p>\n\n\n\n HLE ne dit pas \u201cn\u2019utilisez pas l\u2019IA\u201d. Il dit : mettez-lui le bon r\u00f4le, et imposez un protocole de v\u00e9rification<\/strong> quand l\u2019enjeu monte.<\/p>\n\n\n\n \ud83d\udc49 Dans votre organisation, vous utilisez l\u2019IA comme un assistant<\/strong>, ou vous la traitez d\u00e9j\u00e0 comme un expert<\/strong> ?<\/p>\n\n\n\n (Center for AI Safety) = https:\/\/agi.safe.ai\/<\/a> <\/p>\n","protected":false},"excerpt":{"rendered":" Les IA ont pass\u00e9 un examen. Et, symboliquement, elles ont rendu copie blanche. Le point n\u2019est pas de se moquer des mod\u00e8les. Le point est de regarder ce que nous projetons sur eux. Pendant des ann\u00e9es, on a confondu bons scores et compr\u00e9hension. Sur des benchmarks \u201cclassiques\u201d, les mod\u00e8les d\u00e9passent parfois 90%\u2026 mais ces tests […]<\/p>\n","protected":false},"author":4,"featured_media":15474,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[50],"tags":[376,379,377,238,69,125,76,378],"class_list":["post-15472","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligence-innovationnelle","tag-benchmarks","tag-calibration","tag-gouvernance-ia","tag-ia-generative","tag-innovation","tag-intelligence-artificielle","tag-prise-de-decision","tag-transformation"],"acf":[],"yoast_head":"\nUn examen pens\u00e9 pour r\u00e9sister \u00e0 la triche par Internet<\/h2>\n\n\n\n
Le r\u00e9sultat : les meilleurs mod\u00e8les \u201cs\u2019effondrent\u201d\u2026 et restent s\u00fbrs d\u2019eux<\/h2>\n\n\n\n
![\"\"](\"https:\/\/philippeboulanger.com\/wp-content\/uploads\/2026\/03\/Humanitys-Last-Exam-1024x454.webp\")
<\/figure>\n\n\n\nLa morale op\u00e9rationnelle : on ne manque pas de puissance, on manque de lucidit\u00e9<\/h2>\n\n\n\n
\n
Assistant ou expert : la question qui change tout<\/h2>\n\n\n\n
1) Si vous utilisez l\u2019IA comme assistant<\/strong><\/h3>\n\n\n\n
\n
\n
2) Si vous traitez l\u2019IA comme expert<\/strong><\/h3>\n\n\n\n
\n
Trois r\u00e9flexes concrets apr\u00e8s HLE<\/h2>\n\n\n\n
\n
R\u00e9f\u00e9rences<\/h2>\n\n\n\n
(Nature) = https:\/\/www.nature.com\/articles\/s41586-025-09962-4<\/a>
(Epoch AI) = https:\/\/epoch.ai\/benchmarks\/hle<\/a>
(Artificial Analysis) = https:\/\/artificialanalysis.ai\/evaluations\/humanitys-last-exam<\/a>
(LiveScience) = https:\/\/www.livescience.com\/technology\/artificial-intelligence\/acing-this-new-ai-exam-which-its-creators-say-is-the-toughest-in-the-world-might-point-to-the-first-signs-of-agi<\/a>
(Nature Machine Intelligence) = https:\/\/www.nature.com\/articles\/s42256-024-00976-7<\/a><\/p>\n\n\n\n