Ce que nous mesurons, ce que nous ne mesurons pas, et pourquoi

Chaque cas est un petit projet contenant le code minimal qui présente, ou évite correctement, une vulnérabilité. Chacun porte un commentaire disant ce qui est vulnérable, ce qui est attendu et pourquoi. Le corpus est versionné : le modifier, c'est modifier les chiffres publiés.

Le résultat attendu est un jugement sur le code, arrêté avant l'exécution du moteur, jamais une description de ce que le moteur a produit. Quand les deux divergent, nous examinons le moteur d'abord. Une étiquette écrite pour coller à la sortie du moteur ne mesure rien, et nous avons dû en corriger qui avaient dérivé ainsi.

Chaque cas est analysé comme l'est un scan client : l'orchestrateur complet à profondeur maximale, sans scanner externe, sans modèle dans la boucle. Les chiffres décrivent le moteur livré à l'identique partout, pas une configuration de laboratoire montée pour l'occasion.

Un tiers du corpus est du code non vulnérable, le plus souvent la forme corrigée d'un cas qui l'est. Un corpus fait uniquement de vulnérabilités ne peut pas détecter un faux positif, et ce sont les faux positifs qui font qu'un outil de sécurité cesse d'être lu.

Une affirmation factuelle : ces actifs existent et ces relations les lient. Mesurable, et c'est la première chose que nous comptons mesurer. Il y faut un corpus de dépôts complets annotés à la main, deux relecteurs indépendants, et l'accord entre eux publié à côté du score. En deçà, on mesure le processus d'annotation plutôt que l'extracteur.

Factuel, mais seulement une fois précisé ce dont dispose l'attaquant au départ. « Un attaquant peut atteindre la base de données » n'est ni vrai ni faux tant qu'on n'a pas dit s'il part en visiteur anonyme, en utilisateur authentifié ou depuis un runner de build compromis. Le même moteur a raison sous une hypothèse et tort sous une autre : un chiffre sans cette hypothèse imprimée à côté n'est pas reproductible.

Une affirmation sur ce qui compte le plus, et il n'existe pas de fait indépendant d'un objectif. Une startup avant revenus et une banque régulée lisent le même dépôt et ont toutes deux raison de le classer différemment. Tout ordre « correct » que nous publierions serait notre propre opinion produit, validée contre une vérité terrain que nous aurions également écrite.

Agir maintenant, planifier, vérifier : une recommandation au regard d'une politique, et cette politique est une décision produit. Nous pouvons tester qu'il respecte sa propre politique, qu'aucune découverte n'est silencieusement écartée et que chaque recommandation cite des éléments qui existent. C'est un test de conformité. L'appeler exactitude inviterait précisément à la mauvaise lecture que cette page cherche à éviter.

Chaque couche indique sur combien de découvertes sa précision a été calculée. Les couches à petit échantillon sont les plus récentes, et leurs chiffres bougeront à mesure que leur corpus grandira. Cela joue autant contre les lignes flatteuses que contre la ligne gênante : un score parfait sur neuf découvertes est une affirmation faible, pas une affirmation forte.

Les découvertes que le moteur produit sur du code non vulnérable sont listées avec l'analyseur fautif et la raison pour laquelle la découverte est erronée. Elles sont comptées dans la précision, jamais retirées de son calcul. Trois d'entre elles se déclenchent sur la mitigation que la règle recommande elle-même, ce qui est exactement le type de défaut qu'un benchmark doit faire apparaître plutôt qu'absorber.

Elle lit le code d'intégration de votre application à la recherche d'erreurs d'usage des LLM et des agents : une sortie de modèle qui atteint un shell, un identifiant placé dans un prompt, un outil d'agent capable de tout exécuter. Elle ne mesure aucune IA interne à Cybseco. Ce benchmark exécute le moteur déterministe, sans modèle dans la boucle.

Une vulnérabilité réelle mais hors de portée actuelle du moteur est enregistrée comme limite assumée, exclue du rappel, et listée. Enregistrer une limite est ce qui permet à une amélioration future d'apparaître comme un gain mesuré au lieu d'être revendiquée aujourd'hui.