SWE-2 égale les meilleurs modèles de code pour un tiers du coût, puis échoue à un test

Un nouveau modèle de code s'approche du sommet pour bien moins cher, et présente un trou évident

Le 10 septembre 2026, Cognition, l'entreprise derrière l'agent de code Devin, a publié un nouveau modèle appelé SWE-2. Le titre en une ligne : il obtient 50,0 % sur FrontierCode 1.1 Main contre 50,9 % pour Fable 5.1 d'Anthropic, un écart de moins d'un point, et Cognition affirme que le faire tourner coûte 64 % de moins pour atteindre ce même score. Mais l'histoire ne s'arrête pas là. Sur Terminal-Bench 4, SWE-2 n'obtient que 27,3 %, contre 55,8 % pour Fable 5.1 et 57,9 % pour GPT-6 Astra : un écart d'environ trente points dans une seule colonne.

Cette contradiction est la vraie leçon pour les entreprises, plus que le chiffre bon marché en lui-même. Nous entrons dans une phase où la comparaison des modèles ne s'arrête plus à « lequel est le plus intelligent », mais commence par une question plus fine : plus intelligent pour quel type de travail, à quel coût, et où craque-t-il ?

Les chiffres publiés, tels quels

Cognition a publié un tableau de comparaison directe entre SWE-2, son propre modèle de base et deux modèles de pointe. Voici la lecture complète :

• FrontierCode 1.1 Main : SWE-2 à 50,0 %, le modèle de base Kimi K3 à 44,2 %, GPT-6 Astra à 53,3 %, Fable 5.1 à 50,9 %.
• DeepSWE 1.1 : SWE-2 à 73,0 %, au-dessus de Fable 5.1 à 67,4 % et proche d'Astra à 74,1 %.
• Terminal-Bench 2.1 : SWE-2 à 92,8 %, le plus haut du tableau, devant les 91,4 % de Fable 5.1 et les 89,9 % d'Astra.
• Terminal-Bench 4 : SWE-2 à seulement 27,3 %, contre 55,8 % et 57,9 %. C'est la colonne qu'il perd nettement.

Dans trois colonnes sur quatre, SWE-2 est au niveau des modèles plus chers ou devant eux ; dans une colonne, il chute brutalement. Notez aussi qu'il a battu sa propre base, Kimi K3, dans chaque colonne : cette amélioration est précisément ce que l'entraînement de Cognition a apporté.

Comment il a été construit : un grand modèle ouvert, puis un entraînement spécialisé par-dessus

SWE-2 n'a pas été construit de zéro. Sa base est Kimi K3, le modèle à poids ouverts de Moonshot AI à 2,8 billions de paramètres. Ce qu'a fait Cognition, c'est un post-entraînement par apprentissage par renforcement visant un seul métier : le génie logiciel réel dans de vrais dépôts de code.

Le détail technique intéressant est que le modèle est livré avec trois niveaux d'effort sélectionnables : medium, high et max. Ils n'ont pas été entraînés en trois passes distinctes ni comme trois modèles spécialisés, mais en un seul entraînement utilisant une pénalité de coût intégrée à la fonction de récompense : le succès moins le coût de la tentative, multiplié par un coefficient qui varie selon le niveau d'effort. Le résultat est un seul modèle qui sait quand être économe et quand creuser davantage, au lieu de vous obliger à gérer trois modèles.

La différence pratique est tangible : au niveau d'effort medium, l'équipe indique que le modèle réduit en moyenne le nombre d'étapes de 58 % et le coût de 81 % par rapport à la version précédente SWE-1.7 sur le même benchmark. En langage de projet, cela signifie moins de tours autour d'un problème avant d'atteindre une solution.

La contrainte importante avant de vous emballer : ni poids ouverts ni API

Il faut le dire clairement. SWE-2 n'est pas un modèle que vous pouvez télécharger sur vos propres serveurs, et vous ne pouvez pas l'appeler depuis votre application via une API autonome. Il tourne uniquement dans la plateforme Devin : d'abord l'application de bureau et la ligne de commande, avec une extension prévue au Web et à Fusion. Autrement dit, l'économie de coûts que décrit Cognition est liée à l'abonnement à sa plateforme, pas à la liberté de faire tourner le modèle où vous voulez.

Cette distinction compte pour quiconque compare les options. Un modèle à poids ouverts vous donne la souveraineté sur vos données et la liberté de l'héberger dans le Royaume ; ceci est un produit fermé acheté comme un service. Si votre raison de chercher une alternative moins chère était de garder le code dans votre propre environnement, cette annonce ne résout pas votre problème. Si votre raison était de réduire la facture d'outils de développement, elle le peut peut-être.

Ce que cela signifie concrètement pour votre entreprise

Trois enseignements pour un dirigeant qui paie une facture de développement ou qui évalue des outils d'IA pour une équipe technique :

• La spécialisation est devenue un raccourci pour concourir : une entreprise bien plus petite que les grands laboratoires a pris un modèle ouvert et l'a entraîné sur un seul métier, et elle concourt désormais sur ce métier précis. La même logique s'applique à votre projet : un modèle de taille moyenne ajusté sur vos données et vos procédures bat généralement un modèle plus grand qui travaille sans contexte.
• Un seul chiffre dans une annonce ne suffit jamais : si vous ne regardiez que FrontierCode, vous concluriez que SWE-2 est un remplaçant complet. La colonne Terminal-Bench 4 dit le contraire pour une catégorie de tâches précise. Demandez toujours : sur quel benchmark, que mesure-t-il, et où est l'écart ?
• Le coût n'est pas le prix par appel : votre coût réel est le nombre de tentatives jusqu'à un résultat correct. Un modèle moins cher qui tourne en rond sans fin peut coûter plus cher en pratique, et c'est exactement ce que la pénalité de coût dans l'entraînement de SWE-2 cherche à corriger.

Comment nous traitons ce type d'annonce chez Origami

Nous n'attachons pas les systèmes de nos clients à un seul modèle. Nous construisons une couche intermédiaire qui permet de changer de modèle en coulisses, et nous mesurons sur les tâches réelles du client plutôt que sur les benchmarks publiés : de vrais contrats, de vraies factures, de vraies conversations clients. Ainsi, une annonce comme SWE-2 devient une opportunité que vous pouvez tester en une semaine, pas une décision qui reconstruit votre système.

L'étape pratique si vous avez une équipe de développement : prenez trois tâches réelles de votre dépôt, faites-les tourner sur votre outil actuel et sur l'alternative moins chère, et mesurez seulement trois chiffres : la tâche a-t-elle réussi, combien de tentatives a-t-il fallu, combien cela a-t-il coûté. Ensuite, la décision devient évidente, sans dépendre du tableau d'annonce de qui que ce soit.

Sources

• L'annonce officielle de SWE-2 par Cognition et son tableau de benchmarks : cognition.com/blog/swe-2
• Moonshot AI, le modèle de base à poids ouverts Kimi K3 : moonshotai.github.io