Δεν συγκρίνονται εύκολα τα προϊόντα security

Επιτέλους δικαιώνομαι στην κριτική μου από τις ίδιες τις εταιρείες.  Μαζευτήκαν σε οργάνωσή πλέον για να θεσπίσουν στάνταρ στους τρόπους σύγκρισης προϊόντων malware.  Είναι ουσιαστικά η συνέχεια του θέματος που ξεκίνησε στο Ρέικιαβικ για την σύγκριση antivirus.

Το πρόβλημα είναι ότι ο καθένας συγκρίνει ότι νομίζει, όπως νομίζει και τα παρουσιάζει όπως να'ναι!  Διάφοροι ξέμπαρκοι κάνουν δοκιμές όπως νομίζουν.  πχ στο www.virus.gr έχει λέει μεγάλη συλλογή ιών.  Και τι αποδεικνύει αυτό;  Τίποτα!  Ότι ένα πρόγραμμα μπορεί να αντιμετωπίσει παλιότερους ιούς.  Όπως παραδέχονται και οι ίδιοι οι ερευνητές, δεν μπορεί ΕΝΑΣ άνθρωπος πια, (ακόμα και αν λέγεται Clementi!) ούτε καν μια μικρή ή μεσαία επιχείρηση να προλάβει στο θέμα.  Πόσο μάλλον όταν δεν υπάρχει στάνταρ τρόπος προσέγγισης της δοκιμής και παρουσίασης των αποτελεσμάτων.

Στα περιοδικά του ειδικού τύπου λοιπόν (και στην Ελλάδα) ή βλέπουμε "πασαλλείματα" δηλαδή απλά παρουσίαση των χαρακτηριστικών, ή περιλήψεις ερευνών ξένων εργαστηρίων.  Σε καμία περίπτωση δεν μπορείς να εξάγεις επιστημονικά πορίσματα από αυτά.

 Ένα κλασσικό παράδειγμα είναι οι λεγόμενες δοκιμές "in the wild" ή των "wildlist".  Υποτίθεται ότι είναι δοκιμές με "άγριους" ιούς που κυκλοφορούν.  (Αντίθετα οι γνωστοί είναι "zoo" δηλαδή τους φυλάμε σε εγκυκλοπαίδειες και ζωολογικούς κήπους για αναφορά - κάτι σαν τους ιούς που προσβάλλουν το ανθρώπινο σώμα!)  Αυτοί οι "άγριοι" ιοί είναι απλά συλλογές από διάφορες αναφορές.  Δεν σταθμίζονται για την "φρεσκάδα" τους, ούτε για την επικινδυνότητά τους.  Όταν κάποιος αρπάξει μια λίστα με 2-3 χιλιάδες ιούς και τους ρίξει σε ένα προϊόν, δεν μας λέει λοιπόν κάτι χρήσιμο.  Αν δεν έχω Microsoft Word, τι με νοιάζου οι 500 ιοί για αυτό σε macro εντολές που δοκίμασε το περιοδικό;  Ένα ανόητο worm για πλάκες δεν συγκρίνεται με έναν dialler σε πρόβλημα που δημιουργεί.  Κι όμως, σαν τα πρόβατα γράφουν (και διαβάζουμε!) απλές στατιστικές αναλύσεις σε ανούσια δεδομένα.  Ακόμα και μια πολύ επικίνδυνη μακροεντολή μπορεί να αντιμετωπίστηκε σε λίγες ώρες από την ίδια την Microsoft, οπότε τι μας νοιάζει αν το καλύπτει ή όχι το antivirus μας;

Επιπλέον είναι σημαντικότατο πρόβλημα ότι οι συνθήκες δοκιμών δεν αντανακλούν ούτε κατά διάνοια την εμπειρία του χρήστη.  Αν αρχίσεις να πετάς χιλιάδες ιούς σε ένα πρόγραμμα, προφανώς θα μπει σε κατάσταση ανάγκης, τα heuristics σε συναγερμό και θα ανιχνεύει περισσότερα από ότι σε κανονική χρήση.  Το κύριο χαρακτηριστικό της εποχής μας είναι η αυξημένη φαντασία των δημιουργών ιών στον τρόπο εξάπλωσής τους.  Ουσιαστικά ο καλύτερος τρόπος να αξιολογήσουμε τα προγράμματα ασφαλείας θα ήταν να έχουμε πλήρη στοιχεία πόσους ιούς αντιμετώπισαν επιτυχώς και πόσοι τα ξεγέλασαν, αλλά στους πραγματικούς χρήστες!

Και στους ιούς τα πράγματα είναι απλά.  Στα malware-spyware η κατάσταση είναι πολύ χειρότερη γιατί δεν μπορούμε καν να συμφωνήσουμε ποιό πρόγραμμα είναι τέτοιου είδους.   (Και σκεφτείτε ότι εδώ και καιρό το Spysweeper (www.webroot.com έχει εγκατασταθεί στην Νο1 θέση πωλήσεων στις ΗΠΑ, πιο πάνω από όλα τα γνωστά antivirus και internet security suites!)   Ένα μικρό διαφημιστικό cookie είναι κακόβουλο εξ'ορισμού;  Όχι βέβαια!  Κάθε πρόγραμμα που στέλνει πληροφορίες κάπου είναι ιός;  Προφανώς όχι!  Κάθε πρόγραμμα που τυχαίνει να έχει ασυνήθιστο wrapper (ο μηχανισμός εγκατάστασής του) είναι εχθρός μας;  Σίγουρα όχι!  Βγαίνουν λοιπόν οι απανταχού εξυπνάκηδες και λένε "το δικό μου βρήκε στο σύστημα 1500 spyware ενώ το άλλο μόνο 1000" σαν να απόδειξαν κάτι.

Σε ρεαλιστικό επίπεδο είναι επίσης σημαντικό ότι δεν έχει νόημα να δοκιμάσεις ένα antivirus ή ένα spyware σκέτο.  Κανείς χρήστης δεν θα έχει έτσι γυμνό τον υπολογιστή του!  Αλλά αν ανοίξουμε το θέμα στην γενικότερη ασφάλεια του υπολογιστή, τότε οι διαθέσιμοι παράμετροι για δοκιμές πολλαπλασιάζονται λογαριθμικά!

Το συμπέρασμα είναι ότι το θέμα είναι μεγαλύτερο πλέον ακόμα και από τις μεγαλύτερες εταιρείες του χώρου, πόσο μάλλον για τις μικρές.  Αν δεν τα βρούνε με κάποιον τρόπο για να θέσουν στάνταρ τρόπους δοκιμών και παρουσίασης αποτελεσμάτων, μην πιστεύετε τίποτα παρά μόνο την εμπειρία σας!