Modheolaíocht an tagarmhairc
Cad a thomhaisimid, cad nach dtomhaisimid, agus cén fáth
Tá an tagarmharc ann le seiceáil, ní le meas a bheith air. Leagann an leathanach seo amach a imlíne bheacht: cad a chlúdaíonn na figiúirí foilsithe, cad a fhágann siad ar lár d'aon ghnó, agus cé acu dár gcumais nach féidir a laghdú go hionraic go céatadán.
Cad a thomhaiseann an tagarmharc
Ceist amháin, curtha thar chorpas leaganaithe tionscadal a breithníodh de láimh: i gcás comhaid ar bhreithnigh muid cheana air, an dtuairiscíonn an t-inneall an leochaileacht atá ann, ar an líne cheart, gan rudaí nach bhfuil ann a thuairisciú?
Corpas leaganaithe
Is tionscadal beag gach cás ina bhfuil an cód is lú a léiríonn, nó a sheachnaíonn go sábháilte, leochaileacht amháin. Iompraíonn gach ceann nóta a deir cad atá mícheart, cad atáthar ag súil leis agus cén fáth. Tá an corpas leaganaithe: is athrú ar na figiúirí foilsithe é athrú air.
Fírinne thagartha scríofa faoin gcód
Is breithiúnas ar an gcód é an toradh a mheastar, socraithe sula ritheann an t-inneall, agus ní cur síos riamh ar an méid a tháirg an t-inneall. Nuair nach n-aontaíonn an dá rud, déanaimid imscrúdú ar an inneall ar dtús. Ní thomhaiseann lipéad a scríobhadh chun teacht le haschur an innill aon rud, agus b'éigean dúinn lipéid a bhí imithe sa treo sin a cheartú.
An phíblíne a sheachadtar
Déantar anailís ar gach cás mar a ritheann scanadh custaiméara: an t-orcastróir iomlán ag an doimhneacht uasta, gan scanóirí seachtracha, gan mhúnla sa lúb. Cuireann na figiúirí síos ar an inneall a sheachadtar comhionann i ngach áit, ní ar chumraíocht saotharlainne a cuireadh le chéile don ócáid.
Cód ceart, d'aon ghnó
Is cód nach bhfuil leochaileach trian den chorpas, agus an chuid is mó de sin ina fhoirm cheartaithe de chás atá leochaileach. Ní féidir le corpas leochaileachtaí amháin dearfach bréagach a bhrath, agus is iad na dearfaigh bhréagacha a chuireann stop le huirlis slándála a bheith á léamh.
Cad nach dtomhaiseann an tagarmharc
Seachadann Cybseco iad seo. Ní chuireann aon fhigiúr ar leathanach an tagarmhairc síos orthu, agus iompraíonn gach ceann a chúis féin. Is cumas é cumas a fhágtar ar lár go ciúin a gceapann an léitheoir gur chlúdaigh na figiúirí é.
- Dependency vulnerabilities (SCA) — Produced by external scanners that read a live vulnerability database. Their output changes when the database changes, with no change to Cybseco, so a precision figure measured today would describe the database rather than the engine and would not reproduce tomorrow.
- Standalone secret scanning — Gitleaks is an external binary and is not installed for this benchmark. Hardcoded credentials found by Cybseco's own analyzers are measured, inside the code and CI/CD layers, under CWE-798 and CWE-532.
- Third-party SAST (Semgrep, Bandit) — An external ruleset Cybseco orchestrates but does not author. Measuring it would report Semgrep's accuracy, not Cybseco's.
- Licence compliance policy — A policy decision about a project's licences, not a judgement about its code. The corpus labels vulnerabilities, so a licence finding has nothing to be right or wrong against here.
- LLM-assisted analysis — Its output depends on a model and a prompt rather than on the engine, and it is not part of the deterministic result this benchmark measures.
- Graph, attack paths, decision engine — A different kind of claim: these produce paths and plans, not findings, so precision and recall over labelled lines cannot express them. The methodology page explains what could be measured, and which of these cannot honestly be reduced to a percentage at all. Publishing a number before the method is settled is how a benchmark stops being evidence.
Cén fáth nach céatadán iad cumais áirithe
Tá freagra ceart ag an mbrath: tá an leochaileacht ar an líne sin nó níl. Déanann cuid den mhéid a dhéanann Cybseco maíomh de chineál eile, agus ní féidir le beachtas ná athghairm é a chur in iúl. Ba é figiúr a fhoilsiú mar sin féin an rud ba éasca ar an leathanach seo, agus an bealach is tapúla chun an díospóireacht a chailleadh le duine a léann go cúramach.
An graf ailtireachta
Maíomh fírice: tá na sócmhainní seo ann agus tá na gaolta seo eatarthu. Intomhaiste, agus an chéad rud atá i gceist againn a thomhas. Teastaíonn uaidh corpas stórthaí iomlána anótáilte de láimh, beirt mheasúnóirí neamhspleácha, agus an comhaontú eatarthu foilsithe in aice leis an scór. Tomhaiseann aon rud níos lú ná sin próiseas na hanótála seachas an t-aisbhainteoir.
Conairí ionsaithe
Fíriciúil, ach amháin nuair a luann duine cad leis a thosaíonn an t-ionsaitheoir. Níl „is féidir le hionsaitheoir an bunachar sonraí a bhaint amach” fíor ná bréagach go dtí go ndeir tú an dtosaíonn sé mar chuairteoir gan ainm, mar úsáideoir fíordheimhnithe, nó mar rannóir tógála atá i mbaol. Tá an t-inneall céanna ceart faoi thoimhde amháin agus mícheart faoi cheann eile, mar sin níl figiúr gan an toimhde sin clóite in aice leis in-atáirgthe.
Tosaíochtú comhthéacsúil
Maíomh faoi cad is tábhachtaí, agus níl aon fhíric ann atá neamhspleách ar sprioc. Léann gnólacht nuathionscanta roimh ioncam agus banc rialáilte an stór céanna agus tá an ceart acu araon é a rangú go difriúil. Ba é ár dtuairim táirge féin aon ord ceart a d'fhoilseoimis, bailíochtaithe i gcoinne fírinne tagartha a scríobh muid féin freisin.
An t-inneall cinnteoireachta
Gníomhaigh anois, pleanáil, fíoraigh: moladh i gcoinne polasaí, agus is cinneadh táirge é an polasaí. Is féidir linn tástáil a dhéanamh go leanann sé a pholasaí féin, nach dtiteann aon toradh ar lár go ciúin, agus go luann gach moladh fianaise atá ann. Is tástáil chomhréireachta é sin. Dá dtabharfaimis cruinneas air, thabharfadh sé cuireadh don mhíléamh díreach a scríobhadh an leathanach seo lena chosc.
Conas na figiúirí a léamh
Ceithre rud ar fiú iad a bheith ar eolas agat sula dtagann tú ar chonclúid ó aon fhigiúr aonair ar leathanach an tagarmhairc.
Méid an tsampla roimh an gcéatadán
Taispeánann gach sraith cé mhéad toradh ar ríomhadh a beachtas uathu. Is iad na sraitheanna a bhfuil samplaí beaga acu na cinn a cuireadh leis le déanaí, agus bogfaidh a bhfigiúirí de réir mar a fhásann a gcorpas. Téann sé seo i gcoinne na rónna moltacha chomh mór céanna leis an gceann míchompordach: is maíomh lag é scór foirfe as naoi dtoradh, ní ceann láidir.
Foilsítear gach dearfach bréagach
Liostaítear na torthaí a tháirgeann an t-inneall ar chód nach bhfuil leochaileach mar aon leis an anailíseoir atá ciontach agus an chúis go bhfuil an toradh mícheart. Áirítear iad i gcoinne an bheachtais, ní fhágtar ar lár astu riamh iad. Lasann trí cinn acu ar an maolú a mholann an riail féin, agus is é sin go díreach an cineál lochta a bhfuil tagarmharc ann chun é a thabhairt chun solais seachas é a shú isteach.
Déanann an tsraith LLM anailís ar do chód
Léann sé cód comhtháthaithe an fheidhmchláir féin ar thóir botún LLM agus gníomhairí: aschur múnla a shroicheann blaosc, dintiúr curtha i leid, uirlis ghníomhaire atá in ann aon rud a rith. Ní tomhas é ar intleacht shaorga laistigh de Cybseco. Ritheann an tagarmharc seo an t-inneall deitéarmanach gan aon mhúnla sa lúb.
Ainmnítear na bearnaí aitheanta
Taifeadtar leochaileacht atá fíor agus lasmuigh de raon reatha an innill mar bhearna ghlactha, fágtar as an athghairm í, agus liostaítear í. Is é taifeadadh teorann an bealach a thagann feabhas amach anseo chun cinn mar ghnóthachan tomhaiste in ionad é a mhaíomh inniu.
Na rialacha a chuirimid orainn féin
Is srianta orainn iad seo, ní maímh faoin táirge. Is iad a fhágann gur fiú na figiúirí a léamh.
- Tá aon rud a fhógraíonn Cybseco tomhaiste nó ainmnithe ar an leathanach seo mar rud atá lasmuigh den raon. Níl aon tríú staid ann, agus teipeann ar gheata uathoibrithe an tógáil nuair a sheachadtar anailíseoir gan ceann amháin nó an ceann eile.
- Cuireann an fhírinne thagartha síos ar an gcód agus socraítear í sula ritheann an t-inneall. Ní fianaise é lipéad a scríobhadh chun teacht le haschur an innill.
- Foilsítear figiúr leis an sampla ar ríomhadh é uaidh.
- Foilsítear locht a bhfuil eolas againn air, ní fhágtar as an méadracht é. Teipeann ar gheata freisin nuair a stopann locht foilsithe de bheith á atáirgeadh go ciúin, ionas nach féidir leis an liosta laghdú ach go hionraic.
- Gan aon chomparáid le táirge eile ar chumais ina roghnóimis a gcumraíocht, a gcorpas agus an cás. Níor cheart d'aon duine comparáid dá leithéid a chreidiúint, muidne san áireamh.
- Gan aon fhigiúr sula mbíonn a mhodheolaíocht poiblí agus a fhírinne thagartha inscrúdaithe.
Féach ar Cybseco ag réasúnaíocht faoi chóras fíorshaoil
Féach ar an taispeántas idirghníomhach, ansin iarr triail treoraithe do d'fhoireann.