Metodoloġija tal-kejl
X'inkejlu, x'ma nkejlux, u għaliex
Il-kejl jeżisti biex jiġi vverifikat, mhux ammirat. Din il-paġna tistabbilixxi l-perimetru eżatt tiegħu: x'ikopru ċ-ċifri ppubblikati, x'iħallu barra apposta, u liema mill-kapaċitajiet tagħna ma jistgħux jitnaqqsu b'mod onest għal perċentwal.
X'ikejjel il-kejl
Mistoqsija waħda, magħmula fuq korpus verżjonat ta' proġetti ġġudikati bl-idejn: f'fajl li dwaru diġà ddeċidejna, il-magna tirrapporta l-vulnerabbiltà li hemm, fil-linja t-tajba, mingħajr ma tirrapporta affarijiet li mhumiex hemm?
Korpus verżjonat
Kull każ huwa proġett żgħir li fih l-iżgħar kodiċi li juri, jew jevita b'mod sigur, vulnerabbiltà waħda. Kull wieħed iġorr kumment li jgħid x'inhu ħażin, x'inhu mistenni u għaliex. Il-korpus huwa verżjonat: bidla fih hija bidla fiċ-ċifri ppubblikati.
Verità ta' referenza miktuba dwar il-kodiċi
Ir-riżultat mistenni huwa ġudizzju dwar il-kodiċi, deċiż qabel ma taħdem il-magna, qatt deskrizzjoni ta' dak li pproduċiet il-magna. Meta t-tnejn ma jaqblux, ninvestigaw l-ewwel il-magna. Tikketta miktuba biex taqbel mal-output tal-magna ma tkejjel xejn, u kellna nikkoreġu tikketti li kienu żerżqu f'dik id-direzzjoni.
Il-katina li tiġi kkonsenjata
Kull każ jiġi analizzat kif taħdem skansjoni ta' klijent: l-orkestratur sħiħ fil-fond massimu, bla skeners esterni, bla mudell fiċ-ċiklu. Iċ-ċifri jiddeskrivu l-magna li tiġi kkonsenjata identika kullimkien, mhux konfigurazzjoni ta' laboratorju mibnija għall-okkażjoni.
Kodiċi korrett, apposta
Terz tal-korpus huwa kodiċi li mhuwiex vulnerabbli, fil-biċċa l-kbira l-forma kkoreġuta ta' każ li huwa. Korpus ta' vulnerabbiltajiet biss ma jistax jikxef pożittiv falz, u l-pożittivi foloz huma dak li jwaqqaf lil għodda tas-sigurtà milli tibqa' tinqara.
X'ma jkejjilx il-kejl
Cybseco tikkonsenjahom. L-ebda ċifra fuq il-paġna tal-kejl ma tiddeskrivihom, u kull waħda ġġorr ir-raġuni tagħha. Kapaċità mħollija barra fis-skiet hija kapaċità li l-qarrej jassumi li ċ-ċifri koprew.
- Dependency vulnerabilities (SCA) — Produced by external scanners that read a live vulnerability database. Their output changes when the database changes, with no change to Cybseco, so a precision figure measured today would describe the database rather than the engine and would not reproduce tomorrow.
- Standalone secret scanning — Gitleaks is an external binary and is not installed for this benchmark. Hardcoded credentials found by Cybseco's own analyzers are measured, inside the code and CI/CD layers, under CWE-798 and CWE-532.
- Third-party SAST (Semgrep, Bandit) — An external ruleset Cybseco orchestrates but does not author. Measuring it would report Semgrep's accuracy, not Cybseco's.
- Licence compliance policy — A policy decision about a project's licences, not a judgement about its code. The corpus labels vulnerabilities, so a licence finding has nothing to be right or wrong against here.
- LLM-assisted analysis — Its output depends on a model and a prompt rather than on the engine, and it is not part of the deterministic result this benchmark measures.
- Graph, attack paths, decision engine — A different kind of claim: these produce paths and plans, not findings, so precision and recall over labelled lines cannot express them. The methodology page explains what could be measured, and which of these cannot honestly be reduced to a percentage at all. Publishing a number before the method is settled is how a benchmark stops being evidence.
Għaliex xi kapaċitajiet mhumiex perċentwal
Is-sejbien għandu tweġiba tajba: il-vulnerabbiltà qiegħda f'dik il-linja jew le. Parti minn dak li tagħmel Cybseco tagħmel tip ieħor ta' affermazzjoni, u l-preċiżjoni u s-sejbien ma jistgħux jesprimuha. Li nippubblikaw ċifra xorta waħda jkun l-eħfef ħaġa f'din il-paġna, u l-aktar mod mgħaġġel biex nitilfu d-diskussjoni ma' min jaqra bir-reqqa.
Il-graf tal-arkitettura
Affermazzjoni fattwali: dawn l-assi jeżistu u dawn ir-relazzjonijiet jgħoddu bejniethom. Kejjil, u l-ewwel ħaġa li beħsiebna nkejlu. Teħtieġ korpus ta' repożitorji sħaħ annotati bl-idejn, żewġ evalwaturi indipendenti, u l-qbil bejniethom ippubblikat ħdejn il-punteġġ. Kull ħaġa inqas tkejjel il-proċess tal-annotazzjoni aktar milli l-estrattur.
Mogħdijiet ta' attakk
Fattwali, imma biss ladarba xi ħadd jgħid b'xiex jibda l-attakkant. „Attakkant jista' jasal sad-database” la huwa veru u lanqas falz sakemm ma tgħidx jekk jibdiex bħala viżitatur anonimu, utent awtentikat, jew runner ta' build kompromess. L-istess magna għandha raġun taħt suppożizzjoni waħda u żball taħt oħra, allura ċifra mingħajr dik is-suppożizzjoni stampata ħdejha mhijiex riproduċibbli.
Prijoritizzazzjoni kuntestwali
Affermazzjoni dwar x'jgħodd aktar, u m'hemm l-ebda fatt indipendenti minn objettiv. Startup qabel id-dħul u bank regolat jaqraw l-istess repożitorju u t-tnejn għandhom raġun jikklassifikawh b'mod differenti. Kull ordni korretta li nippubblikaw tkun l-opinjoni tagħna dwar il-prodott, validata kontra verità ta' referenza li ktibna aħna wkoll.
Il-magna tad-deċiżjonijiet
Aġixxi issa, ippjana, ivverifika: rakkomandazzjoni mqabbla ma' politika, u l-politika hija deċiżjoni tal-prodott. Nistgħu nittestjaw li ssegwi l-politika tagħha stess, li l-ebda sejba ma titwaqqa' fis-skiet, u li kull rakkomandazzjoni tiċċita evidenza li teżisti. Dak huwa test ta' konformità. Li nsejħulu eżattezza jistieden eżattament il-qari ħażin li din il-paġna nkitbet biex tipprevjeni.
Kif taqra ċ-ċifri
Erba' affarijiet li jiswa li tkun taf qabel ma tasal għal konklużjoni minn kwalunkwe ċifra waħedha fuq il-paġna tal-kejl.
Id-daqs tal-kampjun qabel il-perċentwal
Kull saff juri minn kemm sejbiet ġiet ikkalkulata l-preċiżjoni tiegħu. Is-saffi b'kampjuni żgħar huma dawk miżjuda dan l-aħħar, u ċ-ċifri tagħhom jinbidlu hekk kif jikber il-korpus tagħhom. Dan jgħodd kontra r-ringieli li jfaħħruna daqs kemm kontra dik skomda: punteġġ perfett minn disa' sejbiet huwa affermazzjoni dgħajfa, mhux waħda b'saħħitha.
Kull pożittiv falz jiġi ppubblikat
Is-sejbiet li l-magna tipproduċi fuq kodiċi li mhuwiex vulnerabbli huma elenkati mal-analizzatur li żbalja u r-raġuni għaliex is-sejba hija żbaljata. Jingħaddu kontra l-preċiżjoni, qatt ma jiġu esklużi minnha. Tlieta minnhom jaqbdu eżattament fuq il-mitigazzjoni li tirrakkomanda r-regola nnifisha, u dak huwa preċiżament it-tip ta' difett li l-kejl jeżisti biex joħroġ fid-dieher aktar milli jibla'.
Is-saff LLM janalizza l-kodiċi tiegħek
Jaqra l-kodiċi ta' integrazzjoni tal-applikazzjoni nnifisha għal żbalji ta' LLM u aġenti: output ta' mudell li jasal f'shell, kredenzjal imqiegħed fi prompt, għodda ta' aġent li tista' tħaddem kollox. Mhuwiex kejl ta' intelliġenza artifiċjali ġewwa Cybseco. Dan il-kejl iħaddem il-magna deterministika bla ebda mudell fiċ-ċiklu.
Il-lakuni magħrufa jissemmew
Vulnerabbiltà li hija reali u barra mill-firxa attwali tal-magna tiġi rreġistrata bħala lakuna aċċettata, eskluża mis-sejbien, u elenkata. Ir-reġistrazzjoni ta' limitu hija l-mod kif titjib futur jidher bħala qligħ imkejjel minflok ma jintqal illum.
Ir-regoli li nimponu fuqna nfusna
Dawn huma restrizzjonijiet fuqna, mhux affermazzjonijiet dwar il-prodott. Huma dawk li jagħmlu ċ-ċifri ta' min jaqrahom.
- Kull ma tħabbar Cybseco jew huwa mkejjel jew imsemmi f'din il-paġna bħala barra mill-ambitu. M'hemmx tielet stat, u kontroll awtomatiku jwaqqa' l-build meta analizzatur jiġi kkonsenjat mingħajr wieħed jew l-ieħor.
- Il-verità ta' referenza tiddeskrivi l-kodiċi u tiġi deċiża qabel ma taħdem il-magna. Tikketta miktuba biex taqbel mal-output tal-magna mhijiex evidenza.
- Ċifra tiġi ppubblikata mal-kampjun li minnu ġiet ikkalkulata.
- Difett li nafu bih jiġi ppubblikat, mhux eskluż mill-metrika. Kontroll jonqos ukoll meta difett ippubblikat jieqaf fis-skiet milli jerġa' jseħħ, biex il-lista tista' tiċkien biss b'mod onest.
- L-ebda paragun ma' prodott ieħor f'kapaċitajiet fejn aħna nagħżlu l-konfigurazzjoni tagħhom, il-korpus tagħhom u x-xenarju. Ħadd m'għandu jemmen paragun bħal dak, inklużi aħna.
- L-ebda ċifra qabel ma l-metodoloġija tagħha tkun pubblika u l-verità ta' referenza tagħha tkun tista' tiġi spezzjonata.
Ara lil Cybseco jirraġuna dwar sistema tad-dinja reali
Ara d-demo interattiva, imbagħad itlob prova ggwidata għat-tim tiegħek.