AV-ComparativesでRetrospective/ProActive Testの最新レポート(2008年11月版)が公開

 AV-Comparativesオーストリアを拠点としている国際的に権威のある独立系のウイルスソフトテスト機関である.毎年,「ウイルス検出力比較テスト(On-demand comparative)」の結果を2月と8月に,Retrospective/ProActiveテストの結果を5月と11月に発表している.そして,11/29にRetrospective/ProActive Testの結果が公開された.

 Retrospective/ProActive Testは直前のOn-demand comparativeのテストで使用されたバージョンで最新のサンプルをスキャンし,その検出力をチェックする.それによって,ヒューリスティックや振る舞い検知などの,アンチウイルスソフトプロアクティブ性能を調べたものである.もう少し具体的に言うと,今回のテストは8月4日から31日までの4週間分のサンプルを用いて行われた.また,テスト対象である16のプロダクトについては,4日以降一切アップデートは行わず,定義ファイルやスキャンエンジンは4日以前のものを用いる.それによって,プロアクティブ性能のみでどの程度検出力があるのかを調べる.

 公開されたレポートは,「AV-Comparatives -> トップページの中段にある"Comparatives"をクリック -> Retrospective/ProActive Test November 2008の"Report"」で見ることが出来る.以下,レポートに関して,簡単に言及しておきたい.

 まず,グラフに関して,検出率が高いにも関わらず評価が低いプロダクトがある.これは,検出率と誤検出率を鑑みて評価が付けられているためである.その評価方法に関しては,レポートの6章下段に書かれている通りである.Retrospective Test Report - AV-Comparatives weblogのエントリにも書かれているように,今回は多くのプロダクトが誤検出のために低い評価となっているので,レポートを読む際には注意が必要である.

 4週間のサンプルに基づくテストの結果は,上位5位だけ抜粋すると,

  1. AVIRA     67%
  2. Kaspersky  60%
  3. GDATA    59%
  4. NOD32    51%
  5. Sophos    50%

     Retrospective/ProActive Test November 2008のレポートより一部抜粋して引用

だった.その他,Symantec(Norton)は8位,AVGは9位,Avastは10位,McAfeeは11位であった.

 また,Retrospective/ProActiveテストでは他にもユニークで有意義なテストを行っており,誤検出率テスト(False positive/alarm test)を行っている.いくら,ヒューリスティックエンジンなどのプロアクティブ性能に基づく検出力が良くても,誤検出力がそれに比例して高ければ具合が悪いというわけである.

 FPテストの結果は,一部抜粋すると,

1. McAfee
2. ESET(注:NOD32)
4. Symantec
6. AVIRA
8. AVG
10. Kaspersky
13. Avast
14. GDATA

     Retrospective/ProActive Test November 2008のレポートより一部抜粋して引用

であった.この順位は,上位であるほど誤検出数が少ないということである.

 今回,評価が「ADVANCED+」だったのは,NOD32だけだった.その他,詳しくはレポートを参照されたい.また,ESETが今回のテストに関して,ブログでエントリをポストしている.

 AV-Comparatives Retrospective Test (and a Word about False Positives) - ESET Threat Blog

時間があれば読もうかと思う.

関連:
[1] アンチウイルスソフトの選び方
[2] ファイアーウォールソフトの性能比較 2008年11月版
[3] マイクロソフトは10日間に100万台ものパソコンから偽セキュリティソフトを削除した
[4] McAfee+ArtemisがVirusTotalでも使える