Validatie onder reële omstandigheden

Cybseco op publieke code, op schaal

De nauwkeurigheidsbenchmark vraagt of een bevinding juist is. Deze pagina stelt een andere vraag: draait de engine correct op echte code die zij nooit heeft gezien, geschreven door mensen die niet aan ons dachten? Alles hieronder is een volume of een percentage.

Wat deze cijfers zijn en wat niet
Deze cijfers komen uit publieke repositories die automatisch zijn geanalyseerd. Niemand heeft elke regel van die projecten gelezen om vast te stellen welke kwetsbaarheden ze werkelijk bevatten, dus bestaat er voor hen geen uitputtende referentiewaarheid en kan daaruit geen precisie, recall of F1 eerlijk worden berekend. U vindt die hier dan ook niet. Wat ze wel tonen is betrouwbaarheid bij verscheidenheid: hoeveel echte projecten de engine heeft voltooid, in hoeveel talen en technologieën, hoe vaak de architectuurgraaf werd gebouwd, en of het opnieuw analyseren van dezelfde commit hetzelfde antwoord geeft. Onze nauwkeurigheidscijfers worden ergens anders gemeten, op een corpus dat wij met de hand hebben gelabeld, en ze worden apart gepubliceerd zodat de twee nooit gemiddeld kunnen worden.

Het meest recente totaal wordt geladen.

Zie Cybseco redeneren over een echt systeem

Bekijk de interactieve demo en vraag daarna een begeleide proef aan voor uw team.