Validation en conditions réelles
Cybseco sur du code public, à grande échelle
Le benchmark de précision demande si un résultat est juste. Cette page pose une autre question : le moteur fonctionne-t-il correctement sur du vrai code qu’il n’a jamais vu, écrit par des gens qui ne pensaient pas à nous. Tout ce qui suit est un volume ou un taux.
Ce que ces chiffres sont, et ce qu’ils ne sont pas
Ces chiffres proviennent de dépôts publics analysés automatiquement. Personne n’a lu chaque ligne de ces projets pour établir quelles vulnérabilités ils contiennent réellement : il n’existe donc pas de vérité terrain exhaustive pour eux, et aucune précision, aucun rappel, aucun F1 ne peut honnêtement en être calculé. Vous n’en trouverez aucun ici. Ce qu’ils montrent, c’est la fiabilité face à la diversité : combien de projets réels le moteur a menés à terme, dans combien de langages et de technologies, à quelle fréquence le graphe d’architecture a été construit, et si réanalyser le même commit redonne la même réponse. Nos chiffres de précision sont mesurés ailleurs, sur un corpus que nous avons annoté à la main, et ils sont publiés séparément pour que les deux ne puissent jamais être confondus.
Chargement du dernier agrégat.
Voyez Cybseco raisonner sur un système réel
Regardez la démo interactive, puis demandez un essai guidé pour votre équipe.