Μεθοδολογία της μέτρησης
Τι μετράμε, τι δεν μετράμε και γιατί
Η μέτρηση υπάρχει για να ελεγχθεί, όχι για να θαυμαστεί. Αυτή η σελίδα δηλώνει την ακριβή της περίμετρο: τι καλύπτουν τα δημοσιευμένα νούμερα, τι παραλείπουν σκόπιμα και ποιες από τις δυνατότητές μας δεν μπορούν έντιμα να αναχθούν σε ποσοστό.
Τι μετρά η μέτρηση
Ένα ερώτημα, τεθειμένο πάνω σε ένα εκδοχοποιημένο σώμα χειροκίνητα κριθέντων έργων: δεδομένου ενός αρχείου για το οποίο έχουμε ήδη αποφασίσει, αναφέρει η μηχανή την ευπάθεια που υπάρχει εκεί, στη σωστή γραμμή, χωρίς να αναφέρει πράγματα που δεν υπάρχουν;
Ένα εκδοχοποιημένο σώμα δοκιμών
Κάθε περίπτωση είναι ένα μικρό έργο που περιέχει τον ελάχιστο κώδικα που εκδηλώνει, ή αποφεύγει με ασφάλεια, μία ευπάθεια. Καθεμία φέρει ένα σχόλιο που λέει τι είναι λάθος, τι αναμένεται και γιατί. Το σώμα είναι εκδοχοποιημένο: μια αλλαγή σε αυτό είναι αλλαγή στα δημοσιευμένα νούμερα.
Αληθής βάση γραμμένη για τον κώδικα
Το αναμενόμενο αποτέλεσμα είναι μια κρίση για τον κώδικα, αποφασισμένη πριν τρέξει η μηχανή, ποτέ μια περιγραφή αυτού που παρήγαγε η μηχανή. Όταν τα δύο διαφωνούν, ερευνούμε πρώτα τη μηχανή. Μια επισήμανση γραμμένη ώστε να ταιριάζει με την έξοδο της μηχανής δεν μετρά τίποτα, και έχουμε χρειαστεί να διορθώσουμε επισημάνσεις που είχαν παρασυρθεί προς τα εκεί.
Η αλυσίδα που παραδίδεται
Κάθε περίπτωση αναλύεται όπως τρέχει μια σάρωση πελάτη: ο πλήρης ενορχηστρωτής στο μέγιστο βάθος, χωρίς εξωτερικούς σαρωτές, χωρίς μοντέλο στον βρόχο. Τα νούμερα περιγράφουν τη μηχανή που παραδίδεται πανομοιότυπη παντού, όχι μια εργαστηριακή διαμόρφωση φτιαγμένη για την περίσταση.
Ορθός κώδικας, σκοπίμως
Το ένα τρίτο του σώματος είναι κώδικας που δεν είναι ευάλωτος, κατά το μεγαλύτερο μέρος η διορθωμένη μορφή μιας περίπτωσης που είναι. Ένα σώμα μόνο από ευπάθειες δεν μπορεί να εντοπίσει ένα ψευδώς θετικό, και τα ψευδώς θετικά είναι αυτά που κάνουν ένα εργαλείο ασφαλείας να πάψει να διαβάζεται.
Τι δεν μετρά η μέτρηση
Η Cybseco τα παραδίδει. Κανένας αριθμός στη σελίδα της μέτρησης δεν τα περιγράφει, και το καθένα φέρει τον λόγο του. Μια δυνατότητα που παραλείπεται σιωπηλά είναι μια δυνατότητα που ο αναγνώστης υποθέτει ότι κάλυπταν τα νούμερα.
- Dependency vulnerabilities (SCA) — Produced by external scanners that read a live vulnerability database. Their output changes when the database changes, with no change to Cybseco, so a precision figure measured today would describe the database rather than the engine and would not reproduce tomorrow.
- Standalone secret scanning — Gitleaks is an external binary and is not installed for this benchmark. Hardcoded credentials found by Cybseco's own analyzers are measured, inside the code and CI/CD layers, under CWE-798 and CWE-532.
- Third-party SAST (Semgrep, Bandit) — An external ruleset Cybseco orchestrates but does not author. Measuring it would report Semgrep's accuracy, not Cybseco's.
- Licence compliance policy — A policy decision about a project's licences, not a judgement about its code. The corpus labels vulnerabilities, so a licence finding has nothing to be right or wrong against here.
- LLM-assisted analysis — Its output depends on a model and a prompt rather than on the engine, and it is not part of the deterministic result this benchmark measures.
- Graph, attack paths, decision engine — A different kind of claim: these produce paths and plans, not findings, so precision and recall over labelled lines cannot express them. The methodology page explains what could be measured, and which of these cannot honestly be reduced to a percentage at all. Publishing a number before the method is settled is how a benchmark stops being evidence.
Γιατί κάποιες δυνατότητες δεν είναι ποσοστό
Ο εντοπισμός έχει σωστή απάντηση: η ευπάθεια είναι σε εκείνη τη γραμμή ή δεν είναι. Μέρος αυτού που κάνει η Cybseco διατυπώνει άλλου είδους ισχυρισμό, και η ακρίβεια και η ανάκληση δεν μπορούν να τον εκφράσουν. Το να δημοσιεύαμε παρ' όλα αυτά έναν αριθμό θα ήταν το ευκολότερο πράγμα σε αυτή τη σελίδα, και ο ταχύτερος τρόπος να χάσουμε τη συζήτηση με κάποιον που διαβάζει προσεκτικά.
Το γράφημα αρχιτεκτονικής
Ένας πραγματολογικός ισχυρισμός: αυτά τα στοιχεία υπάρχουν και αυτές οι σχέσεις ισχύουν μεταξύ τους. Μετρήσιμο, και το πρώτο που σκοπεύουμε να μετρήσουμε. Χρειάζεται ένα σώμα πλήρων αποθετηρίων επισημασμένων στο χέρι, δύο ανεξάρτητους αξιολογητές, και τη συμφωνία μεταξύ τους δημοσιευμένη δίπλα στη βαθμολογία. Οτιδήποτε λιγότερο μετρά τη διαδικασία επισήμανσης και όχι τον εξαγωγέα.
Διαδρομές επίθεσης
Πραγματολογικές, αλλά μόνο αφού κάποιος δηλώσει με τι ξεκινά ο επιτιθέμενος. «Ένας επιτιθέμενος μπορεί να φτάσει στη βάση δεδομένων» δεν είναι ούτε αληθές ούτε ψευδές μέχρι να πείτε αν ξεκινά ως ανώνυμος επισκέπτης, πιστοποιημένος χρήστης ή παραβιασμένος εκτελεστής build. Η ίδια μηχανή έχει δίκιο υπό μία υπόθεση και άδικο υπό άλλη, οπότε ένας αριθμός χωρίς αυτή την υπόθεση τυπωμένη δίπλα του δεν είναι αναπαραγώγιμος.
Ιεράρχηση με βάση το πλαίσιο
Ένας ισχυρισμός για το τι μετράει περισσότερο, και δεν υπάρχει γεγονός ανεξάρτητο από κάποιον στόχο. Μια νεοφυής επιχείρηση πριν από έσοδα και μια ρυθμιζόμενη τράπεζα διαβάζουν το ίδιο αποθετήριο και έχουν και οι δύο δίκιο να το ιεραρχήσουν διαφορετικά. Οποιαδήποτε σωστή σειρά και αν δημοσιεύαμε θα ήταν η δική μας άποψη προϊόντος, επικυρωμένη έναντι μιας αληθούς βάσης που επίσης γράψαμε εμείς.
Η μηχανή αποφάσεων
Δράσε τώρα, σχεδίασε, επαλήθευσε: μια σύσταση έναντι μιας πολιτικής, και η πολιτική είναι απόφαση προϊόντος. Μπορούμε να ελέγξουμε ότι ακολουθεί τη δική της πολιτική, ότι κανένα εύρημα δεν απορρίπτεται σιωπηλά, και ότι κάθε σύσταση παραπέμπει σε τεκμήριο που υπάρχει. Αυτό είναι έλεγχος συμμόρφωσης. Το να το λέγαμε ακρίβεια θα προσκαλούσε ακριβώς την παρανάγνωση που αυτή η σελίδα γράφτηκε για να αποτρέψει.
Πώς να διαβάσετε τα νούμερα
Τέσσερα πράγματα που αξίζει να γνωρίζετε πριν βγάλετε συμπέρασμα από οποιονδήποτε μεμονωμένο αριθμό στη σελίδα της μέτρησης.
Το μέγεθος του δείγματος πριν από το ποσοστό
Κάθε επίπεδο δείχνει από πόσα ευρήματα υπολογίστηκε η ακρίβειά του. Τα επίπεδα με μικρά δείγματα είναι τα πρόσφατα προστεθέντα, και τα νούμερά τους θα μετακινηθούν καθώς μεγαλώνει το σώμα τους. Αυτό στρέφεται κατά των κολακευτικών γραμμών εξίσου με την άβολη: μια τέλεια βαθμολογία επί εννέα ευρημάτων είναι ασθενής ισχυρισμός, όχι ισχυρός.
Κάθε ψευδώς θετικό δημοσιεύεται
Τα ευρήματα που παράγει η μηχανή σε κώδικα που δεν είναι ευάλωτος παρατίθενται με τον αναλυτή που έσφαλε και τον λόγο για τον οποίο το εύρημα είναι λανθασμένο. Προσμετρώνται εις βάρος της ακρίβειας, ποτέ δεν εξαιρούνται από αυτήν. Τρία από αυτά ενεργοποιούνται ακριβώς πάνω στο μέτρο που συνιστά ο ίδιος ο κανόνας, που είναι ακριβώς το είδος του ελαττώματος για την ανάδειξη του οποίου, και όχι την απορρόφηση, υπάρχει μια μέτρηση.
Το επίπεδο LLM αναλύει τον δικό σας κώδικα
Διαβάζει τον δικό της κώδικα ενσωμάτωσης μιας εφαρμογής για σφάλματα LLM και πρακτόρων: έξοδο μοντέλου που φτάνει σε κέλυφος, διαπιστευτήριο τοποθετημένο σε προτροπή, εργαλείο πράκτορα που μπορεί να εκτελέσει οτιδήποτε. Δεν αποτελεί μέτρηση τεχνητής νοημοσύνης εντός της Cybseco. Αυτή η μέτρηση εκτελεί τη ντετερμινιστική μηχανή χωρίς μοντέλο στον βρόχο.
Τα γνωστά κενά κατονομάζονται
Μια ευπάθεια που είναι πραγματική και εκτός της τρέχουσας εμβέλειας της μηχανής καταγράφεται ως αποδεκτό κενό, εξαιρείται από την ανάκληση και παρατίθεται. Η καταγραφή ενός ορίου είναι ο τρόπος με τον οποίο μια μελλοντική βελτίωση εμφανίζεται ως μετρημένο κέρδος αντί να διατυπώνεται ως ισχυρισμός σήμερα.
Οι κανόνες στους οποίους δεσμευόμαστε
Αυτοί είναι περιορισμοί για εμάς, όχι ισχυρισμοί για το προϊόν. Αυτοί είναι που κάνουν τα νούμερα να αξίζουν να διαβαστούν.
- Οτιδήποτε ανακοινώνει η Cybseco είναι είτε μετρημένο είτε κατονομασμένο σε αυτή τη σελίδα ως εκτός εμβέλειας. Δεν υπάρχει τρίτη κατάσταση, και μια αυτοματοποιημένη πύλη ρίχνει το build όταν ένας αναλυτής παραδίδεται χωρίς το ένα ή το άλλο.
- Η αληθής βάση περιγράφει τον κώδικα και αποφασίζεται πριν τρέξει η μηχανή. Μια επισήμανση γραμμένη ώστε να ταιριάζει με την έξοδο της μηχανής δεν είναι τεκμήριο.
- Ένας αριθμός δημοσιεύεται μαζί με το δείγμα από το οποίο υπολογίστηκε.
- Ένα ελάττωμα που γνωρίζουμε δημοσιεύεται, δεν εξαιρείται από τη μετρική. Μια πύλη αποτυγχάνει επίσης όταν ένα δημοσιευμένο ελάττωμα πάψει σιωπηλά να αναπαράγεται, ώστε ο κατάλογος να μπορεί να μικραίνει μόνο έντιμα.
- Καμία σύγκριση με άλλο προϊόν σε δυνατότητες όπου θα επιλέγαμε εμείς τη διαμόρφωσή τους, το σώμα τους και το σενάριο. Σε μια τέτοια σύγκριση δεν θα έπρεπε να πιστεύει κανείς, ούτε εμείς.
- Κανένας αριθμός πριν η μεθοδολογία του γίνει δημόσια και η αληθής βάση του επιθεωρήσιμη.
Δείτε το Cybseco να συλλογίζεται για ένα πραγματικό σύστημα
Παρακολουθήστε την διαδραστική επίδειξη και έπειτα ζητήστε μια καθοδηγούμενη δοκιμή για την ομάδα σας.