Jevgenij Kasperski: Sveti Gral AV testova i zašto nikada neće biti pronađen

Tekstovi o zaštiti, 25.10.2011, 11:07 AM

Jevgenij Kasperski, osnivač i direktor Kaspersky Laboratorije, objavio je nedavno na svom ličnom blogu dva teksta o svom viđenju testiranja antivirusnih programa koja su izazvala veliko komešanje u industriji antivirusnog softvera. Ovoga puta prenosimo vam najvažnije delove teksta koji je usledio kao odgovor na reakciju zajednice na njegov članak objavljen 30. septembra.

Umesto da ulažu u razvoj svojih proizvoda, proizvođači antivirusa svoje vreme i resurse troše na nastojanje da se što bolje plasiraju na testovima koji koriste zastarele metodologije koje nemaju uporište u stvarnosti. Rezultat toga je gubitak na kvalitetu proizvoda i u izvesnom smislu obmana korisnika koji kupuju te proizvode.

Kako ne treba sprovoditi testiranje? Upravo onako kako to radi većina organizacija čiji se testovi prihvataju kao merodavni, smatra Kasperski. Testiranje “na zahtev” (on-demand) je stari, konvencinalni način testiranja koji se koristi još od vremena kada internet nije izgledao ovako kako danas izgleda.

“Uzmete hard disk i napunite ga malicioznim programima, što više njih i što više različitih malicioznih programa to bolje,” kaže Kasperski objašnjavajući kako izgleda takvo testiranje. Zatim se takav hard disk pregledava različitim antiviursnim skenerima i tako meri broj otrkivenih malicioznih programa.

Ovakav koncept testiranja je potpuno neupotrebljiv poslednjih desetak godina zato što su antivirusne definicije, heuristika i drugi mehanizmi skeniranja samo mali deo veoma složenih tehnologija koje se koriste u savremenoj kompjuterskoj zaštiti. Osim toga, antivirusni skener je poslednji nivo odbrane, koji uglavnom obavlja “hirurške poslove”. Primera radi, Kaspersky System Watcher je onaj koji prati Trojance, stiče uvid u celovitu sliku infekcije, i tek na kraju na scenu stupa skener čiji je posao da pronađe malware i ukloni ga sa zaraženog računara.

Baza malware-a koja se koristi za skeniranje, koja može imati previše malicioznih fajlova ili premalo njih, je još jedna slaba tačka ovakvog testiranja zbog čega ono može biti irelevatno.

Ilustrujući najveću slabost “on-demand” testova, Kasperski navodi vic o lovcima koje juri medved. I dok jedan lovac upzorava drugog da će ih medved sustići jer trči brže od njih, drugi odgovara: “Ne brini, ne moram da trčim brže od medveda, dovoljno je da trčim brže od tebe.”

I zaista, o tome je reč kada su u pitanju ovakva testiranja AV proizvoda. Sve što treba uraditi je da se podesi prozvod tako da na ovakvim testovima postigne odlične rezultate. Proizvod se podešava tako da detektuje određene fajlove koji se koriste na testovima. Da bi AV proizvod bio stoprocentno uspešan na testovima sa skeniranjem proizvođač uopšte ne mora da radi na unapređenju kvaliteta tehnologije. Dovoljno je da njegov proizvod detektuje sve što se pojavljuje kao malware na ovakvim testovima a za to su mu dovoljne baze malware-a poznatih izvora kao što su VirusTotal, Jotti i različite AV kompanije.

Brojni testovi koji se danas izvode i koji mere i porede kvalitet određenih funkcija mogu biti od koristi jedino profesionalcima ali ne i široj javnosti, i oni bi morali da imaju istaknuto upozorenje o specifičnostima na koje se njihovi rezultati odnose, odnosno o tome koje funkcije su testirane i poređene.

Neki od primera ovakvih testova namenjenih IT profesionalcima koje navodi Kasperski su sledeći:

• testovi koji proveravaju sposobnost AV proizvoda da se izbori sa infekcijom sistema određenim malware-om;

• testovi koji ispituju procenat lažno pozitivnih rezultata antivirusa na “čistom” sistemu;

• proaktivno testiranje kojim se proverava sposobnost proizvoda da detektuje i “uhvati” maliciozni program bez virusne definicije;

• “on-access” testiranje koje meri kvalitet “on-access” skenera;

• performanse i jednostavnost korisničkog interfejsa itd.

Ovakvi testovi, koji mere kvalitet samo pojedinih funkcija softvera ne govore mnogo o drugim funkcijama AV proizvoda a još manje o proizvodu u celini. Najbolji rezultati u jednoj kategoriji nisu dovoljan pokazatelj da će neki proizvod biti koristan u realnim uslovima.

Kako bi trebalo da izgleda provera kvaliteta zaštite koju puža antivirusni softver? Metodologija dobrog testa morala bi da bude zasnovana na scenarijima sa kojima se korisnici susreću u stvarnosti. Ideja Kasperskog je u osnovi jednostavna: testiranje bi trebalo da se obavlja na prosečnom korisničkom računaru, koji ima instaliran antivirus i podrazumevana podešavanja sistema i da se potom na sve moguće načine pokuša pokretanje malicioznog fajla na takvom računaru. Samo testiranje u tako realnom okruženju može garantovati korisniku relevantnu ocenu kvaliteta antivirusne zaštite i pomoći mu u izboru adekvatnog antivirusnog softvera. Na kraju, parametri kao što su resursi sistema koje antivirus koristi, veličina ažuriranja i cena proizvoda naspram kvaliteta antivirusne zaštite koju pruža antivirusni softver, pružaju celovitu sliku koja je potrebna korisniku prilikom izbora antivirusnog programa.

Međutim, ovakav koncept testiranja nije nimalo jednostavan za izvođenje. Osim što bi izbor pravog malware-a za testiranje bio veoma nezahvalan posao, simulacija realnog okruženja je takođe veoma komplikovan zadatak s obzirom da ga je teško automatizovati.

To je razlog zbog čega se ovakvo testiranje sprovodi izuzetno retko. I ko bi uopšte preuzeo na sebe da obavlja ovako komplikovane i zahtevne testove i to besplatno, pita se Kasperski. Zbog toga je, na žalost, merodavne testove danas nemoguće pronaći uprkos tome što oni imaju status Svetog Grala, zaključuje na kraju Jevgenij Kasperski.