Mit mérünk, mit nem, és miért

Minden eset egy kis projekt, amely a legkisebb kódot tartalmazza, amely egyetlen sebezhetőséget mutat be, vagy biztonságosan elkerül. Mindegyikhez tartozik egy megjegyzés arról, hogy mi a hiba, mi a várt eredmény és miért. A korpusz verziózott: a megváltoztatása a közzétett számok megváltoztatása.

A várt eredmény a kódról hozott ítélet, amelyet a motor futtatása előtt döntünk el, soha nem annak leírása, amit a motor előállított. Ha a kettő eltér, először a motort vizsgáljuk. A motor kimenetéhez igazított címke semmit sem mér, és korrigálnunk kellett olyan címkéket, amelyek ebbe az irányba csúsztak.

Minden esetet úgy elemzünk, ahogy egy ügyfélvizsgálat fut: a teljes vezénylő maximális mélységen, külső szkennerek nélkül, modell nélkül a hurokban. A számok azt a motort írják le, amelyet mindenhová azonos formában szállítunk, nem egy alkalomra összeállított laborkonfigurációt.

A korpusz harmada olyan kód, amely nem sebezhető, nagyrészt egy sebezhető eset javított változata. A csak sebezhetőségekből álló korpusz nem tud téves riasztást felfedni, és éppen a téves riasztások miatt hagyják abba egy biztonsági eszköz olvasását.

Ténybeli állítás: ezek az eszközök léteznek, és ezek a kapcsolatok állnak fenn köztük. Mérhető, és ez az első, amit mérni szándékozunk. Ehhez kézzel annotált teljes repozitóriumok korpuszára, két független értékelőre, valamint a köztük lévő egyetértésnek a pontszám mellett való közzétételére van szükség. Ennél kevesebb az annotálási folyamatot méri, nem a kinyerőt.

Ténybeliek, de csak akkor, ha valaki megmondja, mivel indul a támadó. „Egy támadó elérheti az adatbázist” se nem igaz, se nem hamis, amíg meg nem mondja, hogy névtelen látogatóként, hitelesített felhasználóként vagy kompromittált build-futtatóként indul-e. Ugyanaz a motor az egyik feltevés mellett igazat mond, a másik mellett téved, így az a szám, amely mellett ez a feltevés nincs kinyomtatva, nem reprodukálható.

Állítás arról, mi számít jobban, és nincs olyan tény, amely a céltól függetlenül fennállna. Egy bevétel előtti startup és egy szabályozott bank ugyanazt a repozitóriumot olvassa, és mindkettőnek igaza van, amikor másként rangsorolja. Bármilyen helyes sorrend, amelyet közzétennénk, a saját termékvéleményünk lenne, egy olyan referenciaigazsághoz mérve, amelyet szintén mi írtunk.

Cselekedj most, tervezz, ellenőrizz: ajánlás egy szabályzathoz mérve, és a szabályzat termékdöntés. Tesztelhetjük, hogy követi-e a saját szabályzatát, hogy egyetlen találat sem esik ki csendben, és hogy minden ajánlás létező bizonyítékra hivatkozik. Ez megfelelőségi teszt. Pontosságnak nevezni pontosan azt a félreolvasást hívná elő, amelynek megelőzésére ez az oldal íródott.

Minden réteg megmutatja, hány találatból számoltuk a precizitását. A kis mintájú rétegek a nemrég hozzáadottak, és a számaik mozdulni fognak, ahogy a korpuszuk növekszik. Ez éppúgy a hízelgő sorok ellen szól, mint a kínos ellen: kilenc találatból kapott tökéletes eredmény gyenge állítás, nem erős.

Azokat a találatokat, amelyeket a motor nem sebezhető kódon állít elő, a hibás elemzővel és a találat hibás voltának okával együtt soroljuk fel. Ezeket a precizitás ellenében számoljuk, soha nem hagyjuk ki belőle. Három közülük pontosan arra az enyhítésre tüzel, amelyet maga a szabály ajánl, és éppen ez az a fajta hiba, amelynek felszínre hozására, nem pedig elnyelésére, a benchmark létezik.

Az alkalmazás saját integrációs kódját olvassa LLM- és ügynökhibák szempontjából: parancsértelmezőig jutó modellkimenet, promptba helyezett hitelesítő adat, bármit futtatni képes ügynökeszköz. Nem a Cybsecoen belüli mesterséges intelligencia mérőszáma. Ez a benchmark a determinisztikus motort futtatja, modell nélkül a hurokban.

Az a sebezhetőség, amely valós, de a motor jelenlegi hatókörén kívül esik, elfogadott hiányosságként kerül rögzítésre, kimarad a fedésből, és felsoroljuk. A korlát rögzítése az a mód, ahogyan egy jövőbeli fejlesztés mért nyereségként jelenik meg, ahelyett hogy ma állítanánk.