MITRE ATT&CKは、攻撃者が利用する可能性のある200種類以上の手法を集めた包括的なナレッジベースおよび複合的なフレームワークです。これには、具体的な手法や一般的な手法をはじめとして、良く知られた敵対者グループとその戦術に関するコンセプトや背景情報が含まれています。

最近発表されたMITRE ATT&CKのコンポーネントのうちで最も注目すべきものの1つが、ATT&CKベースの製品評価です。

この製品評価は、ATT&CKフレームワークを利用して、セキュリティベンダーが包括的なビューを得るために脅威の検知に対してどのようにアプローチしているかについて明確な評価を下します。この製品評価は、より多くの情報に基づいてセキュリティ脅威と戦うための意思決定を可能にするためや、業界による脅威検知の向上を図るために、MITREが関与している政府機関スポンサーや業界全体を支援することを目的としています。

ATT&CKベースの製品評価とは何か？

MITRE ATT&CKベースの製品評価は、セキュリティベンダーが脅威の検出にどのようにアプローチしているかに関する詳細をATT&CKのコンテキストにおいて提供します。

これまでに、数社のセキュリティベンダーに関する初回評価が完了しており、それらのベンダーが、特定の標的型攻撃（ATP攻撃）を実施するために脅威アクターにより利用されている手法をどのように特定しているかについて報告しています。ただし、各ベンダーのスコア、ランキング、比較は提供されていません。

この評価を実施するために、MITREのレッドチーム（攻撃を仕掛ける側）は、特定のベンダーが提供するEDR（エンドポイントでの検知および対応）製品を装備した広範な種類のマシン上で、2つの事前に決められた標的型攻撃（ATP攻撃）を徹底的に実施します。

この評価は、複数の手法を1つの論理攻撃フロー内にまとめて連鎖させます。各手法は、１つのステップとして特定されます。各手法が検知されたかどうかや、各手法がどのようにカタログ化されるかにかかわらず、EDR製品には、ステップごとに6つの検知タイプのサブセットが割り当てられます。

また、各ステップは、当該EDR製品が何を特定できたかに関する詳細情報を提供するために、3つの異なる方法で修飾できます。

MITREによるテストの目的は？

MITREは、何を目指しているのかを明示的には述べていません。しかし、同社の主な目的は、各製品のスコア、ランキング、比較を提供することなく、各製品の機能に関する事実のみを提示することのようです。すべての製品には、6つの検知タイプのサブセットが割り当てられた上で、MITREのレッドチームにより実施される各ステップで修飾が加えられます。MITREが将来、各製品のフレームワークのカバレッジを、偏りのない事実に基づくやり方で定義できるようになることが望まれます。

結果として生成されるレポートは一目では解釈が難しいものです。なぜなら、複数のステップと、ステップごとに複数の微妙に異なる検知タイプが存在しており、EDR製品がいかに効果的であるかを示すランキングの基準が示されていないからです。多くの点で、我々は、このレポートが強力なものになり得ることを理解しています。というのも、同レポートは、一切のマーケティングノイズを排除しているからです。

このテストは、その内容を理解し意義ある価値を得るために特別な苦労を必要としますが、どのベンダーが100%のカバレッジを有しているかについては何も示していません。その代わりに、同レポートは、MITREが推進しようとしている考え方に最も適した製品を示しています。MITREは、すべてのセキュリティ製品の価値は、それが収集するデータと、そのデータを使って同製品が行うことの両方を考慮して測られるべきだと認識しています。

これを行うために、MITREは、いくつかの重要な要因に注目しています。それらの要因は、評価とそれに関連する検知タイプから推測できます。

EDR製品の有効性を計測するための主な要因

1. どのような悪意ある活動を特定したか。
2. 悪意ある活動に関してどのような関連データを収集したか。
3. 悪意ある活動に関してどのような関連コンテキストを提供したか。
4. どのようなエンリッチメント（補助機能）をエンドユーザーに提供しているか。
5. 悪意ある活動に関する関連情報やアーティファクトの収集をどれだけ迅速かつ容易に実施したか。

MITREは、アナリストの観点からプロジェクト全体を見ています。このような新しいアプローチは、単なる敵対者のエミュレーションを超えたセキュリティツールを求めている顧客にとって非常に有益です。

MITREは初回評価で何を使用しているか

初回評価は、脅威グループAPT3/GOTHIC PANDAに基づく2つの独立したエンドツーエンド攻撃に関するものとなります。これが選択された理由は、侵入後の行動に関するレポートに因るところが大きいと思われます。このレポートには、クレデンシャルの抜き取り、キーボード上のコマンドの発行、オペレーティングシステムにより信頼されているプログラムの利用に関する情報が含まれています。初回評価は、Cobalt Strike シナリオを使って開始され、2回目の評価はPowerShell Empireシナリオを使って実施されます。

主要なMITRE ATT&CKの検知タイプ

各セキュリティベンダーは、評価時にMITREのレッドチームにより実施されるステップごとに6つの検知タイプのサブセットを使用して評価されます。検知すると、使用された手法が、検知がどのように発生したかに関する注記と共に記録されます。評価対象となるベンダーの製品または製品スイートが複数の方法で手法を検知する場合、その手法は単一の検知を超えた情報を持つ場合があります。MITRE ATT&CKの主要な検知タイプには、None（なし）、Telemetry（テレメトリー）、Indicator of Compromise（侵入の兆候）、Enrichment（エンリッチメント）、General Behavior（一般的な行動）、Specific Behavior（具体的な行動）があります。

主要な検知タイプ：NONE（なし）

このタイプに分類される場合、評価対象となるベンダーの製品は、機能的な制限またはその他の理由により、レッドチームによる活動を検知できていません。

これは、ベンダーが関連データを収集できなかったか、または関連する行動を特定できなかったことを意味する場合があります。いずれにせよ、これは良いことではありません。アラート疲れは非常に心配ですが、アラートが不要な場合でも、必要ならば情報を見つけられることを知っておいた方がよいでしょう。

主要な検知タイプ：TELEMETRY（テレメトリー）

このタイプに分類される場合、評価対象となるベンダーの製品は、最小限の加工されたデータを生成します。このデータにはエンドユーザーがアクセス可能であり、エンドユーザーは同データを使用して独自の分析を行うことでレッドチームの活動を特定できます。

これは基本的に、同ベンダーの製品が、調査クエリに基づいて攻撃に関する行動を特定するために、適切なデータを収集し管理していることを意味します。これは常に良い知らせです。環境内で何が起きているかを知らされることは常に良いことだからです。すべてのステップでアラート（検知）が必要ない場合であっても、各ステップにおいてテレメトリーを収集した方がよいでしょう。とは言え、テレメトリーだけでは十分ではなく、テレメトリーに加えて検知が必要となる場合もあります。いずれにせよ、多いほど良いのは確かです。

主要な検知タイプ：INDICATOR OF COMPROMISE（侵入の兆候）

このタイプに分類される場合、評価対象となるベンダーの製品は、既知のハッシュ、IPアドレス、C2ドメイン、ツール名、ツール文字列、モジュール名のいずれかに基づいてレッドチームの活動を特定しています。

これは基本的に、同製品が、行動ではなく評判に基づいてアラートを生成したことを意味します。そのようなアラートは無意味であるため無視すべきです。

主要な検知タイプ：ENRICHMENT（エンリッチメント）

このタイプは、評価対象となるベンダーの製品がデータ（通常Telemetry検知タイプで特定されるデータ）を収集し、追加情報（ルール名、ラベル、タグなど）を使って同データをリッチ化したことを意味します。

これには、最初に提示されたものを超えてユーザーによるデータ分析を支援するATT&CKの戦術や手法も含まれる場合があります。

これは基本的に、当該製品が、証拠、疑い、Malopなどの洞察に富んだ情報（関連するATT&CKカテゴリを指定するためのボーナスポイントとなるもの）を使って要素をタグ付けしていることを意味します。これは、関連がありかつ量が多すぎないならば、常に良い知らせです。同製品が有効な情報を使ってテレメトリーやアラートをリッチ化できるならば、それは良い知らせです。

主要な検知タイプ：GENERAL BEHAVIOR（一般的な行動）

このタイプは、対象となるベンダーの製品が、報告された複合ロジックまたは規則に基づいて、疑わしい行動または潜在的な悪意ある行動に関するアラートを生成したことを意味します。これは、その行動が異常であることを示していますが、検知されたプロシージャに関する具体的な詳細情報は提供していません。

これは基本的に、同製品が、攻撃手法が何であるかを正確に特定することなく、一般的なアラートを生成したことを意味します。同製品は、使用された攻撃手法が何であるかを正確に特定することなく、より一般的な説明を提供し、発生している悪意ある活動のタイプを分類します。これは有益ですが、具体的な行動に関する情報を提供するものではありません。具体的な行動が分かれば一般的な行動を推測できますが、その逆はありません。

主要な検知タイプ：SPECIFIC BEHAVIOR（具体的な行動）

このタイプの場合、対象となるベンダーの製品は、複合的な規則やロジックに基づいて疑わしい行動を検知し、その行動に関するATT&CKの「手法」レベルの説明を提供しています。

これは基本的に、同製品が、使用されている正確な手法を説明するような具体的なアラートを生成したことを意味します。検知が正当である場合、これは最良のタイプです。ただし、その行動が多くの場合無害である場合には、アラート疲れを防ぐために、それを「汚染された」ものとする必要があります。すべての手法が、それ自体で悪意あるものであるとは限りません。

より多くの具体的/一般的な行動を検知する方が、常により望ましいのではありませんか？

いいえ。この評価は、ベンダーの製品が、同じ活動に関して複数回のアラートを発行することを許します。同一の活動に関して2回以上アラートを発行することは不要であり、大量のアラートを生成する可能性があるため、SecOps部門の効率性を低下させます。

多くのセキュリティチームにとって、アラート過剰（アラート疲れ）が重大な問題となっています。評価対象となったベンダー製品の中には、テスト期間中の40%にわたって通常の2倍および3倍のアラートを発行したものがありました。

一般的または具体的な行動の検知数を増やすことは、ベンダーの製品に関する誤った評価をもたらす可能性があります。

どのような場合にどのような方法でアラートを発行するかを知っていることが、粗雑なツールと洗練されたツールとの違いになります。それは、各ベンダーのセキュリティ哲学に完全に依存しています。

さらに詳しい検討を、検知された攻撃の段階に対して加える必要があります。すべての手法が同じように作成されるわけではなく、攻撃の初期段階で多くの行動に関してアラートを発行することは得意だが、攻撃の最終段階でのアラート発行については得意でない（またはその逆）という製品もあります。

攻撃のすべての段階において正しくアラートを発行できるような製品が理想的です。

MITRE ATT&CKの修飾検知タイプとは

評価における個々の検知は、ベンダーの製品が何を特定できるかに関するより詳細な情報を提供するために修飾される場合があります。MITRE ATT&CKの修飾検知タイプには、Delayed（遅延）、Tainted（汚染）、Configuration Change（設定変更）の3つがあります。

修飾検知タイプ：Delayed（遅延）

このタイプの場合、検知は、外部からのインプット（例：ベンダーのサービスチーム）や能力の欠如が原因で、リアルタイムではなく、初回分析後にかなりの時間（例：1時間）が経過した後でトリガされます。

これは基本的に、当該ベンダーの製品が、時間のかかる処理を行う必要があるか、または別のサービスが必要であることを意味します。リアルタイムの製品ドリブン型の検知が常に優れており、遅れた検知は望ましくありません。

修飾検知タイプ：Tainted（汚染）

この場合、検知は関連性によりトリガされます。これは通常、その親プロセスが悪意あるものと見なされることを意味します。これは通常、それ自体では過度のノイズになりがちな検知にとって有効です。

基本的に、Tainted修飾子は、問題のプロセスが、確認済みの悪意あるプロセスに関連しているために、非常に疑わしいかまたは悪意があると見なされることを意味します。

イベントそれ自体がフラグを立てるのに十分である場合、Tainted修飾子は必要ありません。ただし、何かが悪意あるものであるかどうかを判断するために、そのイベントがより多くのコンテキストを必要とする場合、この修飾子は非常に役立ちます。Tainted修飾子はいつでも役立ちますが、常に必要というわけではありません。

修飾検知タイプ：Configuration Change（設定変更）

このタイプは、通常はエンドユーザーがアクセスできないデータを利用可能なものにするという特定の設定変更または追加のAPIアクセスが行われたことが原因で、検知がトリガされたことを意味します。

これは良い知らせではありませんが、常に悪い知らせであるとも限りません。これで世界が終わるわけではありませんが、多くの設定変更が存在する場合にはおそらく赤フラグとなります。

ATT&CKと他のフレームワークとの違い

ATT&CKは、この分野ではユニークであり、その他のフレームワークとは際立った違いがあります。ATT&CKは、ベンダーがそれに基づいてアラートを発行すべきIndicators of Compromise（IoC）の単なる独立したリストではないためです。

MITREは、実際の脅威は常に進歩しており、旧式の評価手法では、ベンダーの製品がどうやって脅威からの保護を提供するかを買い手に明確に理解させることはできないと認識しています。

全体像を買い手に提供するために、MITREは、独立したIoCと共にイベントをマッピングしています。これらのイベントは、それ自体では無害なものに見える場合があります。

しかし、それらを他のイベントと相互に関連付けることで、APT（Advanced Persistent Threat）を特定するために必要なコンテキストをアナリストに提供できます。

脅威ハンティングとMITRE

このようなタイプの製品評価は、脅威ハンティングの観点からも非常に貴重なものです。製品がどのようにイベントを取り扱うかは、脅威ハンティングの観点から見ると、非常に状況的なものとなります。

単なるスコアやチャートだけでは、脅威ハンティングに役立つ製品の能力を示すことはほぼ不可能です。イベントの各タイプに注目することで、その製品がテレメトリーやアラートを提供するか、または何も提供しないかを知る必要があります。

また、アラートやテレメトリーの詳細を理解することで、それらがリッチ化されているか、それとも汚染されているかを確認する必要があります。さらに、特定のアラートが実際の製品でどのように表示されるかを確認することも必要です。

MITREによる評価は、このような重要な情報をすべて提供するため、脅威ハンターは各製品の実際に使用した場合の使い心地を知ることができます。このような水準の評価を提供している企業は、MITRE以外にはほとんど存在していません。

結論：MITRE ATT&CK製品評価

MITRE ATT&CK製品評価は、各自のニーズに最も適したベンダーを探している企業、政府機関、脅威ハンターにとって、非常に魅力的で有益となります。なお、ATT&CKのカバレッジを100%サポートすることを目指すベンダーは一社も存在しないこと、またベンダーはそれを目指すべきでもないことを忘れないでください。

多くの顧客にとっては完全に意味のないブロックもあれば、EPP製品にとって意味のないブロックもあります。また、すべてのブロックは、複数の方法でテストとすることが可能です。既存のベンダー評価をご覧になるか、または近日公開予定のCybereasonの評価をご覧ください。

攻撃者の特定に関してより深く学習することに興味のある方は、サインアップして当社のSOCに関する議論をご覧ください。この議論では、お使いの環境で攻撃者を見分けるための重要な戦術、攻撃者を早期に見分ける方法、お使いの環境への被害を制限する方法などを紹介しています。

ホワイトペーパー「MITRE ATT&CKを使用してクローズドループ式のセキュリティプロセスを作成する5つの段階」

このホワイトペーパーでは、MITER ATT&CKを使用してクローズドループの戦術的なセキュリティ対策を実施するために参考にすべき、重要な5つの段階について説明します。
https://www.cybereason.co.jp/product-documents/white-paper/3259/