- 2022/09/13
- セキュリティ
「検知の有効性」が最も重要な指標である理由とは
Post by : Greg Day
私は長年にわたって、何百もの企業がサイバーセキュリティ機能を試用し導入しているのを見てきました。サイバーセキュリティ機能は大きく進化していますが、その一方で、選択基準や成功を測るための指標(メトリクス)は比較的変化に乏しいようです。世界経済フォーラムのようなイベントで経営幹部と会うと、彼らから「成功を測るために使うべき指標を1つ挙げるとすれば何か?」とよく尋ねられます。
これは簡単な質問ではありませんし、多くの人が異なる答えを持つことは確実です。私の考えでは、あまりにも見落とされがちな指標が1つ存在しており、それはあまりにも軽く見られがちなもう1つの指標に結び付けられています。それは「検知の有効性」です。
ユーザビリティではなくケイパビリティをベースとするテストが行われているのを非常によく目にします。もう何年も前のことですが、あるテストを実施した組織から「多かれ少なかれ誰もが同じ脅威を発見している」という報告を受けたことがあります。正直に言うと、私はその答えにショックを受けました。そこで、彼らの発言を掘り下げてみたところ、彼らは10人からなるチームでケイパビリティのテストを行っていることが分かりました。そして、導入した場合、当該ソリューションは1人の人間の仕事の50%に相当することも分かりました。
さらに、最終的な結果は似ていても、そこに至るまでの過程は全く異なるものでした。何千件ものアラートをトリガーしたものもあれば、何百万件ものアラートをトリガーしたものもありました。これでは、複数のソリューションの出力を次々に処理する際に、より多くの人的パワーが必要になります。
これは「解決に至るまでにかかる時間」(SOCチームではMTTD(平均検知時間)およびMTTR(平均対応時間)という指標が非常によく使われます)が大きく異なることを意味します。
これらの指標が使われない理由
私は少し前にCISOのグループと座談会を行ったのですが、そこで全員が同意したのが「脅威、セキュリティツール、そして保護すべきものの量が増えているため、今日のSOCのニーズに合わせたスケーリングを行うための人的能力がなく、企業がMTTDやMTTRにかけられる時間も短くなっている」ということでした。
これが、私たちの直面しているタイムパラドックス問題です。この課題を解決する唯一の方法は、人間による検査を必要とするアラートの数を減らすことです。私たちは、より単純なレベルの検知と対応を自動化することに着手しなければなりません。
移行が進まない理由
このような移行を実施しなければならないことが分かっているのに、なぜ私たちはもっと移行を進めようとしないのかと疑問に思われるでしょう。その理由は「検知の有効性」にあります。多くのアナリストに聞いた話によれば、彼らは常に人間による検査を行い、正しい判断をしたことを確認するためにクロスチェックをすることを好むようです。
このことは、単純な心理学に帰結します。私たちは、間違った決断をしたと見られることを、正しい決断をしたと見られることよりも5倍も大きく気にしているのです。私の言うことを信じない方は、『チンプ・パラドックス -「自信」「成功」「幸福」を手にする人のマインド・マネジメント・プログラム』(スティーブ・ピーターズ著、邦訳:海と月社刊)という本を読んでみてください。
今日の脅威は複雑であり、それを否定することはできません。30年前までは、脅威のコード(通常はスタンドアロンのバイナリ)の中からユニークなものを見つければ、自分が何を発見したのかについて確信が持てました。しかし今や、脅威は多くのコンポーネントから構成されており、それらは皆さんがお使いのエンドデバイスの内外を問わず、さまざまな場所で発生します。
このため、自社環境に特定の脅威が存在しているかどうかを知ることは、これまで以上に複雑なジグソーパズルと化しています。企業や組織は、パズルの十分なピース(さまざまな検知アラート)を組み合わせることで、自分が見ているものが間違いなくそこに存在しているものだという確信を持つ必要があるのです。
ここで皆さんにやってほしいことがあります。今度アラートを調べる際に、次のように自問してみてください。「自分は検知の有効性を正確に数値化できるだろうか?」と。これは言い換えれば、「自分は自分が見ているものに関してどれほどの自信があるか?」ということです。「検知の有効性」の数値が十分に高くない場合、あなたは常に「人間よる検証」を依頼する必要があります。
これは自己増殖的な問題となります。つまり、人間による検査が必要なアラートが増えるほど問題の検証は遅くなり、典型的には、問題を発見するためにツールを追加しても、結局は単に検知を重複させるだけになってしまうのです。
2種類のソリューションがあり、それぞれ40%の自信をユーザーに提供するとします。これら2つのソリューションを両方とも採用したとしても、ユーザーがいきなり80%の自信を持つことにはなりません。それらは重複している可能性もあれば、まったく別のものである可能性もあるからです。両者の間の相関関係を確認することは、より多くの人的労力を通じてのみ可能となります。
重要なポイント
サイバー時代のタイムパラドックス問題がかつてないほど深刻化した結果、私たちが将来の需要に合わせたスケーリングが行えない場合(これは数値データに基づく予測ではなく、単純な算数であることをここにお断りしておきます)、私たちは自動化を活用することでスケーリングを支援する必要があります。もし、すべての段階で私たちが人的介入を必要とするならば、自動化によるスケーリングの支援は不可能になります。
このような理由から、私たちは「検知の有効性」に注目する必要があります。これは、脅威に関する判断が正しい場合と間違っている場合の頻度を正確に示す証拠でもありますが、私の見解を述べるならば、それは非常に生理学的なものでもあります。
これこそが「私たちはいかにしてプロセスを検知するか」という問題の核心であり、これを正しく理解すれば、誤検知やその他のノイズを減らすことを通じて、成果を確実に向上できるようになります。その結果、チームはスケーリングを実施し、複雑な問題に集中できるようになります。ノイズが減るならば、MTTDとMTTRは本質的に改善されます。そして、私たちが人的介入を完全に排除できるような自信を持てるようになった時点で、私たちは大きな前進を実現できるようになるのです。
CEOやその他の経営幹部にとっては、リスク方針に沿った指標のような、より優れた指標があるのではないか、とお考えの方もいらっしゃることでしょう。しかし、企業は本来リスクを取るものであり、通常、リスクを取ることにより最大のマージンが得られます。重要なのは、企業がリスクを理解することです。サイバー環境において、私たちは、問題が現実であるかどうかを理解できなければ、リスクが現実であるかどうかを判断できないため、事実上、私たちはいかなる意思決定も行えなくなります。
サイバーリーズンでは、遡及的な脅威のアーティファクトや、既知の攻撃から得られた侵害の痕跡(IoC)のみに注目するよりも、悪意のある操作(MalOp)全体を検知することの方が効率的かつ効果的であることを実証しています。そしてこれにより、当社では、アナリストがトリアージや調査を行わなければならないアラートの数を10分の1以下に削減しています。
さらに、各段階での有効性をチェックし、複雑なパズルのピースをMalOpへと組み上げるだけで、検知の有効性の信頼度を20~30%から70~80%へと高めることができます。このようにして、自動化により検知の有効性を実現することが可能となるほか、セキュリティチームがスケーリングを行えるようになります。
RansomOps〜複雑なランサムウェアオペレーションの内側とランサムウェア経済〜
昨今脅威を増しているランサムウェア攻撃により大きなインシデントに見舞われる事例があとを断ちません。ランサムウェアオペレーションは、ここ数年で非常に複雑なビジネスモデルへと劇的に変化しています。
今回の資料では、ランサムウェアの攻撃者がどのようにランサムウェアオペレーション(RansomOps)の役割を実行するのか、またサイバーリーズンがどのようにソリューションを用いてランサムウェアなどの進化する攻撃に対処するのかについてご紹介します。
https://www.cybereason.co.jp/product-documents/white-paper/8110/