Co měříme, co neměříme a proč

Každý případ je malý projekt obsahující nejmenší kód, který vykazuje, nebo bezpečně vylučuje, jednu zranitelnost. Každý nese komentář popisující, co je špatně, co se očekává a proč. Korpus je verzovaný: změna v něm je změnou publikovaných čísel.

Očekávaný výsledek je úsudek o kódu, rozhodnutý dříve, než engine běží, nikdy popis toho, co engine vyprodukoval. Když se ty dva neshodují, zkoumáme nejprve engine. Anotace napsaná tak, aby odpovídala výstupu enginu, neměří nic, a museli jsme opravit anotace, které se tímto směrem posunuly.

Každý případ je analyzován tak, jak běží zákaznický sken: plný orchestrátor v maximální hloubce, žádné externí skenery, žádný model ve smyčce. Čísla popisují engine, který se všude dodává identicky, nikoli laboratorní konfiguraci sestavenou pro tuto příležitost.

Třetina korpusu je kód, který není zranitelný, z větší části opravená podoba případu, který zranitelný je. Korpus složený jen ze zranitelností nedokáže odhalit falešně pozitivní nález, a právě falešně pozitivní nálezy způsobují, že se bezpečnostní nástroj přestane číst.

Faktické tvrzení: tato aktiva existují a tyto vztahy mezi nimi platí. Měřitelné, a první věc, kterou hodláme změřit. Vyžaduje to korpus kompletních repozitářů anotovaných ručně, dva nezávislé posuzovatele a shodu mezi nimi publikovanou vedle skóre. Cokoli menšího měří spíše proces anotace než extraktor.

Faktické, ale teprve ve chvíli, kdy někdo uvede, s čím útočník začíná. „Útočník se může dostat k databázi“ není pravdivé ani nepravdivé, dokud neřeknete, zda začíná jako anonymní návštěvník, ověřený uživatel, nebo kompromitovaný build runner. Tentýž engine má za jednoho předpokladu pravdu a za jiného se mýlí, takže číslo bez tohoto předpokladu vytištěného vedle není reprodukovatelné.

Tvrzení o tom, co je důležitější, a žádná skutečnost zde neexistuje nezávisle na cíli. Startup před prvními tržbami a regulovaná banka čtou tentýž repozitář a oba mají pravdu, když jej seřadí odlišně. Jakékoli správné pořadí, které bychom publikovali, by byl náš vlastní produktový názor, validovaný proti referenční pravdě, kterou jsme také napsali my.

Jednat hned, naplánovat, ověřit: doporučení vůči politice, a politika je produktové rozhodnutí. Můžeme testovat, že se drží vlastní politiky, že žádný nález není tiše zahozen a že každé doporučení cituje důkaz, který existuje. To je test shody. Nazvat to přesností by vyvolalo přesně to nedorozumění, kterému má tato stránka předcházet.

Každá vrstva ukazuje, z kolika nálezů byla její přesnost spočítána. Vrstvy s malými vzorky jsou ty nedávno přidané a jejich čísla se s růstem korpusu pohnou. Platí to proti lichotivým řádkům stejně jako proti tomu nepříjemnému: perfektní skóre z devíti nálezů je slabé tvrzení, ne silné.

Nálezy, které engine vytvoří na kódu, jenž není zranitelný, jsou uvedeny s chybujícím analyzátorem a důvodem, proč je nález nesprávný. Počítají se proti přesnosti, nikdy nejsou z ní vyloučeny. Tři z nich se spouštějí právě na tom opatření, které samo pravidlo doporučuje, což je přesně ten druh vady, kvůli jejímuž odhalení, nikoli pohlcení, benchmark existuje.

Čte vlastní integrační kód aplikace na chyby LLM a agentů: výstup modelu, který se dostane do shellu, přihlašovací údaj vložený do promptu, agentní nástroj, který může spustit cokoli. Není mírou AI uvnitř Cybsecou. Tento benchmark spouští deterministický engine bez modelu ve smyčce.

Zranitelnost, která je skutečná a mimo současný dosah enginu, se zaznamená jako akceptovaná mezera, vyloučí se z úplnosti a uvede se v seznamu. Zaznamenání limitu je způsob, jak se budoucí zlepšení projeví jako změřený přínos, místo aby se tvrdilo už dnes.