Validering i den virkelige verden
Cybseco på offentlig kode, i stor skala
Nøjagtighedsbenchmarket spørger om et fund er rigtigt. Denne side stiller et andet spørgsmål: kører motoren korrekt på rigtig kode den aldrig har set, skrevet af folk der ikke tænkte på os. Alt nedenfor er et volumen eller en rate.
Hvad disse tal er, og hvad de ikke er
Disse tal kommer fra offentlige repositories analyseret automatisk. Ingen har læst hver linje i de projekter for at fastslå hvilke sårbarheder de faktisk indeholder, så der findes ingen udtømmende ground truth for dem, og ingen præcision, recall eller F1 kan ærligt beregnes ud fra dem. Du finder ingen her. Hvad de derimod viser er pålidelighed under variation: hvor mange rigtige projekter motoren gennemførte, i hvor mange sprog og teknologier, hvor ofte arkitekturgrafen blev bygget, og om en genanalyse af den samme commit giver det samme svar. Vores nøjagtighedstal måles et helt andet sted, på et korpus vi har mærket i hånden, og de offentliggøres separat, så de to aldrig kan blive gennemsnitsberegnet sammen.
Indlæser det seneste aggregat.
Se Cybseco ræsonnere om et virkeligt system
Se den interaktive demo, og anmod derefter om en guidet prøveperiode til dit team.