第三者機関によるセキュリティ製品の評価「MITRE ATT&CK評価」

9月に、米MITRE Engenuity社が実施した調査「MITRE ATT&CK評価 第5ラウンド」の結果が公表されました。この調査はMITRE Engenuityが毎年複数回実施しているもので、複数のセキュリティ製品を対象に、サイバー攻撃グループが実際に用いているシナリオに基づいた攻撃を、どの程度防げたかを評価するというものです。第三者機関が中立な立場で実施したものであるため、多くの企業・組織がセキュリティ製品を選定する際の指針として重宝しています。

今回の評価では、ロシアを拠点とする脅威グループ「Turla」が実際に用いている攻撃テクニックに基づいてレッドチームが攻撃を行い、各製品を評価しました。ちなみにTurlaは2000年代初めから活動を始めた脅威グループで、世界各国の政府機関や外交団、軍事グループ、研究機関、報道機関などをターゲットに広範に攻撃を行い、その被害は45カ国に及んでいます。

このグループが頻繁に用いる攻撃を検知できるか、そして感染や侵入を阻止できるかという観点から、攻撃の各ステップごとに分けて各製品の検知・阻止の結果を評価しています。

なお今回は弊社の製品も含め、全部で31社のベンダーが自社種類のセキュリティ製品・サービスを用いてこの評価プログラムに参加しており、その結果はMITRE Engenuityのサイト上で公開されています。サイト上で評価に用いた攻撃シナリオと評価対象となったベンダーの名前を選択すると、攻撃の各ステップごとの評価結果を参照できるようになっています。

弊社の結果を紹介したブログ記事はこちら
サイバーリーズンが2023年のMITRE ATT&CK®評価でサイバー攻撃対策の新たなスタンダードに

MITRE ATT&CKについて解説しているブログ記事はこちら
MITRE ATT&CKとは？〜攻撃者の行動を理解するためのフレームワーク〜

リアルタイムに脅威を検知できているか？

今回の調査において、弊社の製品は極めて高い評価を受けています。「実行防止」カテゴリにおいては13あるシナリオのすべての実行を防止することができており、そのほかにも「検知」「可視性」「リアルタイム検知」「チューニング不要」のカテゴリにおいても最高評価を獲得しています。

なお「リアルタイム検知」とは、遅延なく攻撃をすべて検知できたかどうかを判定する評価カテゴリです。セキュリティ製品の中には、収集したデータの解析に時間がかかるため脅威を検知できるまでに時間がかかるものもあります。言うまでもなく、緊急度の高い脅威が侵入した場合には1分1秒でも早く対処する必要があります。対処が遅れれば遅れるほど攻撃はより深く、広く進行してしまい、守る側がようやく攻撃に気づいたときには「時既に遅し」となっていることも往々にしてあります。

一見すると攻撃をきちんと検知できているように見える製品の中にも、実は検知できるまである程度の時間を要するものも決して少なくありません。

そのためMITRE ATT&CK評価の結果閲覧ページでも、“Delayed”というフィルタ条件が設けられています。デフォルト状態ではこれにチェックが付けられており、検知までに時間を要した製品も「問題なく検知できた」と表示されますが、これを外すとそうした製品の評価が一気に低くなります。

試しにこのチェックを付けたときと外した時の評価結果を見比べてみると、弊社以外の製品の中には随分結果が違ってくるものがあることに気付かれるでしょう。

標準構成・標準設定のままでどれだけ脅威を検知できるか？

また「チューニング不要」というカテゴリにも、ぜひ注目してみてください。これは「設定変更なしですべてを検知・阻止できるか」という点を評価するものですが、弊社のEDR製品「Cybereason EDR」や次世代アンチウイルス製品「Cybereason NGAV」は特に追加設定を施さずとも、標準設定のままで高い検知精度を達成しています。しかし他の製品の中には、特定の攻撃シナリオに適した設定を施した上で評価に臨んでいるものもあります。

MITRE ATT&CK評価の結果閲覧ページでもこの点について考慮がなされており、“Configuration Change”というフィルタ条件のチェックを外すことで設定変更を行わなかった場合の評価結果を見ることができます。こちらもチェックを付けた場合と付けなかった場合とを見比べることで、かなり興味深い考察が得られるでしょう。

なお弊社は前述のCybereason EDRとCybereason NGAVのみを本調査の対象としていますが、中にはオプション機能をフル装備した構成で調査に臨んだり、サーバセキュリティ製品やネットワークセキュリティ製品まで投入して調査に臨むベンダーもあります。MITRE ATT&CK評価の結果閲覧ページでは、評価対象となった製品の構成や設定内容なども公開されているので、製品・サービスを比較する際にはぜひそうした点にも注意を払う必要があります。

多くの企業・組織がセキュリティ製品を選ぶ際にこのMITRE ATT&CK評価の内容を参考にするため、評価結果が公表されるたびに各セキュリティベンダーは自社製品・サービスがいかに高い評価を得たかを挙って喧伝します。しかしこれまで述べてきたように、評価結果を読み解くには多少のコツが必要です。ぜひ本稿を参考にしながら、間違いのない製品・サービス選定を行っていただければ幸いです。

エンドポイントセキュリティ選定ガイド

次世代型のエンドポイントセキュリティの役割と必要性を明らかにし、EPP、EDR、MDRを導入する際の押さえておくべき選定ポイントをまとめた上で、国内シェアNo.1を誇るサイバーリーズンの製品・サービスの特長をご紹介しています。

複雑化するサイバー攻撃への対策として、これから次世代型のエンドポイントセキュリティ強化に取り組む方も、すでに取り組んでいる方も、本資料を参考に、さらなるセキュリティ強化に取り組むことをお勧めいたします。
https://www.cybereason.co.jp/product-documents/brochure/6189/