- 2020/06/02
- 製品関連情報
スマートフィルタリング、スマートサンプリング、スマートスケーリング
Post by : YOSSI NAAR
ハンティング、検知、およびセキュリティデータ分析の最善策に関して言えば、本当の「スマート」とは何でしょう。
セキュリティデータ分析、ハンティング、およびAIによる自動検知では、結果の品質はデータの品質に大きく左右されます。最終的に、提供されるセキュリティの価値は、収集し、保存し、処理するデータの品質と正確さで決まります。しかし、多くの場合、人やシステムが処理できる量より多くのデータを処理する必要があります。
ここでは、データ処理のためのいくつかの戦略と、各アプローチのメリットとデメリットについて説明します。
- サンプリング – 統計的に有意なデータのサブセットを分析します。
- フィルタリング – 重要でない、または反復と判断したデータを削除します。
- スケールアップ – すべてのデータを効率的に処理できるツールとテクノロジーを見つけます。
もちろん、常にすべてのデータを処理することが理想ですが、時間とコストが制限要因となることもあります。サンプリングは、データの統計的な性質を知るために効果的な方法です。ただし、干し草の山から1本の針を探すような場合、または特定のデータにアクセスする必要がある場合は、あまり役に立ちません。
フィルタリングは、フィルタリング方法の信頼性が高く、収集されたデータの統計を変更せず、重要なデータがすべて保持されることが保証される場合は、優れた戦略になります。
これらの戦略は、それぞれ多くのドメインに適用できますが、ドメインによっては、特定の方法の有効性を制限するような特殊な考慮事項があります。セキュリティに関しては、抜け目のない攻撃者に対抗することが益々難しくなっています。
攻撃者の巧みな手口を考えると、データの整合性が最優先になります。データの欠落の原因は、攻撃者の行動か、予想損失か? 攻撃者がフィルタリング戦略を特定し、単純にそれを使用して気づかれないようにしているのか?
フィルタリングアプローチについて考えてみましょう。例えば、ネットワークデータの収集を1回のプロセスで100接続に制限します。表面上、これは理にかなっています。プロセスごとの平均接続数は、ほとんどのエンドポイントで大幅に少なくなるため、フィルターするデータはわずかであることが期待されます。ただし実際には、コンピューター化された環境のデータパターンは、積極的なべき乗則分布に従い、直線分布や、自然分布にはなりません。
例えば、ワードプロセッサの接続はわずかで、時にはゼロ、時には更新サイトに接続するために1または2の接続を開きますが、それを越えることはめったにありません。しかし、ブラウザは1つのWebサイトを開く時に数十の接続を開き、1日の接続は簡単に数千に達します。
この問題はサーバーでさらに悪化します。サーバーでは、そのサーバーの主要な機能を実行する特定のプロセス(Oracleデータベース、メールサーバーなど)への着信接続数で、すべての受信通信の99.9999%を受信します。
これが原因で、容量ベースのどのタイプのフィルタリングでも、大部分のデータが削除されます。データ収集を制限するためにどのような戦略を選択しても、必ずこの制限に直面します。
問題はもちろん、サーバーに収集または転送されないデータは、可視性を提供できず、ハンティングに使用できず、サーバー側の検知にも使用できないことです。
悪意のある可能性に対して最適な戦略を選択しようとしても、必ず次のような問題に突き当たります。
- 悪意のある不確定性原理 – 悪意がないという判断が100%正しいと確信できません。
- べき乗則 – 限定メカニズムに関係なく、必ずべき乗則行動に突き当たり、任意フィルタリングを余儀なくされます。
- 攻撃者の行動 – 攻撃者がデータ収集の制限方法を理解すると、それを使用して防御を突破できます。
- フォレンジック整合性の崩壊 – データの欠落は必ず発生し、データのべき乗則が原因で、多くのデータが失われます。それによって、インシデント対応に必要不可欠なフォレンジックトレースが不可能なります。
- 検証不可能なデータの損失 – データが失われた場合、それが問題ないかどうかは分かりません。その原因が設計か、エラーか、悪意のある行動かを確認することはできません。
一部のベンダーは「スマートフィルタリング」を話題にします。前述の問題は、フィルタリングにスマートなところはないことを示しています。「ノイズ」を減らすようには設計されていません。これは、サーバー側システムの技術的な制限を克服し、ソリューションコストを節約するための戦略に過ぎません。一方で、データの整合性、検知の品質、およびシステムが提供するセキュリティの価値が大幅に失われることになります。
これらの問題を考慮し、サイバーリーズンは戦略3(スケールアップ)を選択しました。すべてを収集し、すべてを処理し、すべてを保存して、すべてのデータをアナリストに提供します。この戦略の課題は、もちろん時間とコストです。データを十分高速で処理する必要があり、システムにすべてのデータを処理するために十分な能力があることを確認する必要があります。さらに、差分データのサブセットを迅速に収集する必要がありますが、これには新しいアルゴリズムが必要です。
サイバーリーズンでは、すべてのデータを処理するためのスケールアップという、最も困難な戦略を選択しました。これを選択した理由は、何度も同じ結論に達したからです。すなわち、任意/スマート/戦略的フィルタリングを適用すると、必然的に システムの可視性が失われます。
しかも、ハッカーは、どのような決断をしたかを知った上で故意に、あるいは偶然に、そこにつけ込みます。なぜなら、完全に無視しても問題ないデータを100%確実に特定することはできないからです。サイバーリーズンは、データが迅速かつ効果的に処理されることを保証する新しいテクノロジーを開発しました。私たちにとって、データフィルタリングの真にスマートなアプローチは、一切フィルタリングしないことです。
「次世代エンドポイント(EDR)のメリット」とは? Cybereasonの関連情報を公開中
CybereasonのEDR(Endpoint Detection and Response)プラットフォームが提供する7つのユニークな機能をご紹介するホワイトペーパーを公開しております。ぜひご活用ください。
https://www.cybereason.co.jp/product-documents/input/?post_id=1033