Čo meriame, čo nemeriame a prečo

Každý prípad je malý projekt obsahujúci najmenší kód, ktorý vykazuje alebo bezpečne vylučuje jednu zraniteľnosť. Každý nesie komentár opisujúci, čo je zle, čo sa očakáva a prečo. Korpus je verzovaný: zmena v ňom je zmenou publikovaných čísel.

Očakávaný výsledok je úsudok o kóde, rozhodnutý skôr, než engine beží, nikdy opis toho, čo engine vyprodukoval. Keď sa tie dve veci nezhodujú, skúmame najprv engine. Anotácia napísaná tak, aby zodpovedala výstupu enginu, nemeria nič, a museli sme opraviť anotácie, ktoré sa týmto smerom posunuli.

Každý prípad sa analyzuje tak, ako beží zákaznícky sken: plný orchestrátor v maximálnej hĺbke, žiadne externé skenery, žiadny model v slučke. Čísla opisujú engine, ktorý sa všade dodáva identicky, nie laboratórnu konfiguráciu zostavenú pre túto príležitosť.

Tretina korpusu je kód, ktorý nie je zraniteľný, väčšinou opravená podoba prípadu, ktorý zraniteľný je. Korpus zložený len zo zraniteľností nedokáže odhaliť falošne pozitívny nález, a práve falošne pozitívne nálezy spôsobujú, že sa bezpečnostný nástroj prestane čítať.

Faktické tvrdenie: tieto aktíva existujú a tieto vzťahy medzi nimi platia. Merateľné, a prvá vec, ktorú mienime zmerať. Vyžaduje si to korpus kompletných repozitárov anotovaných ručne, dvoch nezávislých posudzovateľov a zhodu medzi nimi publikovanú vedľa skóre. Čokoľvek menšie meria skôr proces anotácie než extraktor.

Faktické, ale až vo chvíli, keď niekto uvedie, s čím útočník začína. „Útočník sa môže dostať k databáze“ nie je pravdivé ani nepravdivé, kým nepoviete, či začína ako anonymný návštevník, overený používateľ, alebo kompromitovaný build runner. Ten istý engine má pri jednom predpoklade pravdu a pri inom sa mýli, takže číslo bez tohto predpokladu vytlačeného vedľa nie je reprodukovateľné.

Tvrdenie o tom, čo je dôležitejšie, a nijaká skutočnosť tu neexistuje nezávisle od cieľa. Startup pred prvými tržbami a regulovaná banka čítajú ten istý repozitár a obaja majú pravdu, keď ho zoradia odlišne. Akékoľvek správne poradie, ktoré by sme publikovali, by bol náš vlastný produktový názor, validovaný proti referenčnej pravde, ktorú sme tiež napísali my.

Konať hneď, naplánovať, overiť: odporúčanie voči politike, a politika je produktové rozhodnutie. Môžeme testovať, že sa drží vlastnej politiky, že žiadny nález nie je ticho zahodený a že každé odporúčanie cituje dôkaz, ktorý existuje. To je test zhody. Nazvať to presnosťou by vyvolalo presne to nedorozumenie, ktorému má táto stránka predchádzať.

Každá vrstva ukazuje, z koľkých nálezov bola jej presnosť vypočítaná. Vrstvy s malými vzorkami sú tie nedávno pridané a ich čísla sa s rastom korpusu pohnú. Platí to proti lichotivým riadkom rovnako ako proti tomu nepríjemnému: perfektné skóre z deviatich nálezov je slabé tvrdenie, nie silné.

Nálezy, ktoré engine vytvorí na kóde, ktorý nie je zraniteľný, sú uvedené s chybujúcim analyzátorom a dôvodom, prečo je nález nesprávny. Počítajú sa proti presnosti, nikdy nie sú z nej vylúčené. Tri z nich sa spúšťajú práve na tom opatrení, ktoré samo pravidlo odporúča, čo je presne ten druh chyby, kvôli odhaleniu ktorej, nie pohlteniu, benchmark existuje.

Číta vlastný integračný kód aplikácie na chyby LLM a agentov: výstup modelu, ktorý sa dostane do shellu, prihlasovací údaj vložený do promptu, agentný nástroj, ktorý môže spustiť čokoľvek. Nie je mierou AI vo vnútri Cybsecou. Tento benchmark spúšťa deterministický engine bez modelu v slučke.

Zraniteľnosť, ktorá je skutočná a mimo súčasného dosahu enginu, sa zaznamená ako akceptovaná medzera, vylúči sa z úplnosti a uvedie sa v zozname. Zaznamenanie limitu je spôsob, akým sa budúce zlepšenie prejaví ako zmeraný prínos namiesto toho, aby sa tvrdilo už dnes.