Insight Trainerの活用方法 ~Sumo Logic CSEチューニングをより簡単に~

 2024.02.01  株式会社テリロジー 技術統括部

Insight TrainerはSumo LogicCloud SIEM EnterpriseCSE)をご利用いただいている方にとても有効な機能となります。
CSEとは、取り込んだ各製品のログの相関分析を自動で行う機能となり、大量のアラートから特に重要なインシデントを導き出すことができる機能となります。
そもそもCSEって何?と疑問をお持ちの方は、CSEを紹介する記事がありますので詳しくは以下の記事をご参照ください。
Sumo LogicのCloud SIEM機能について

ということで今回は、そのCSEをより活用していくための機能のご紹介です。
もう少しCSEで検知の精度を上げていくにはどうしたらよいか?などの課題をお持ちの方にはとても有効な機能です。

Insight Trainerとは

お客様のCSE環境で生成されたInsightに対してユーザーがクローズしたものをチューニングする機能となります。
試行錯誤してルールのチューニングをしていくことも可能ですが、Insight Trainerではデータ駆動型でチューニングを行っていくことが可能です。
週に1回、過去60日間のデータに基づいて機械学習で履歴パターンを学習し、実際のインシデントを見逃すことなく誤検知を最小限に抑えられるルールのSeverityの値を提案します。

提案されたものに関しましては、自動で設定が変更されるのではなくお客様の判断でチューニングを行っていただきます。提案された変更を定期的に実装することで誤検知のInsightの数を大幅に減らしていくことができます。

Insight Trainerを使用するための条件

  • ユーザーが正しいステータスでInsightをクローズ
    Resolve:正しいInsight
    False Positive:間違ったInsight(誤検知)
    No Action:正しいが対処する必要のないInsight
    Duplicate:同じInsightが重複して作成されている
  • 間違ったステータスでInsightをクローズすると効果がない
  • Custom Insightには適用されない(※)
    ※Custom Insightとは、通常のアクティビティスコアが12以上になったら...とは別で
    ・ルールを定義しておき、そのルールにマッチするとInsightを作成することができる
    ・Signalsの画面から手動でInsightを作成することができる

Insight Trainerダッシュボードの説明

Insight TrainerのダッシュボードはApp CatalogにありますのでApp Catalogを適用することですぐにご利用可能です。
Enterprise Audit – Cloud SIEM

Enterprise Audit – Cloud SIEM > Insight Analysis > Cloud SIEM-Insight Trainer

まず、以下のパネルでどのようなルールに多くマッチしているかを見ていくことができます。

  1. minimize:最小限に抑えたいInsightの選択
    以下のどちらかをフィルターから選択します。
    ・False Positive
    ・False Positive & No Action
  2. show_rules:どのようなルールを子のダッシュボード上に表示させるか
    ・Rules with severity recommendations(Severityを上げたり下げたりする対象のルール)
    ・All rules:すべてのルール
  3. deployment:どのリージョンを使用しているか
    東京リージョンを使用している場合は「jp」となります。
  4. domain
    お客様の環境で設定しているサブドメインを入力します。
  5. Data Range
    上の表示されている日付範囲は学習の期間になります。CSEでInsightをクローズし始めてからの期間が表示されます。
    下のパネルについては、
    All_insights:上の表示期間で出たInsightの数
    Eligble:Insightの中から何件がチューニングの対象か(削減できるInsightの数)
  6. Insight Source:Insightが何で生成されたのかの割合
    Algorithm:クラスタリングエンジンで生成された
    Rule:Custom Insightで生成された
    User:ユーザーが作成したInsight

1.~6.は上記パネルの詳細となっています。

  1. Total Eligible Insights (prior to optimization):削減できるInsightの数
  2. Optimized Labeled Insights (OLI):解決ラベルがついた残りのInsightの数
  3. Forecasted Unlabeled Insights (FUI):解決ラベルがつけられなくなるInsightの数
  4. Total Optimized Insights (FUI + OLI):解決ラベルが追加または削除されたInsightの数
  5. False Positive Rate: Eligible Insights:チューニングの対象となるInsightの誤検知率
  6. False Positive Rate: Optimized Insights:チューニング後のInsightの誤検知率
  7. Insight Counts by Resolution: Eligible v. Optimized Labeled Insights:推奨されたチューニングを行った場合の解決済みInsightと誤検知のInsightの数
    Eligble:現在
    Optimized:チューニングを行った後

  1. rule:Severityの値の変更を推奨するルール
  2. current_severity:現在のルールのSeverityの値
  3. recommended_severity:推奨するSeverityの値
  4. signal_count:期間内にルールによって生成されたシグナルの数
  5. tunability:数値が高いものほど推奨の確度が高い(数値の高い順に並ぶ)
    ※ハイパーリンクで特定のエンティティに飛ぶことができますが、deploymentdomainを入力していないと飛べない可能性があります
  6. eligible_count:対象のルールを使用するFalse Positive, No Actionで解決されたInsightの数
  7. optimized_count:ルールのチューニングを行った場合に、False Positive, No Actionで解決されると予想された数

過去にResolveとしてクローズしたものについてはSeverityを上げる推奨をしてくれる場合もあります。

まとめ

これらのダッシュボードは週1回のペースで更新されるため、Insight Trainerのダッシュボードは週1で確認することをお勧めします。
tunabilityの高いエンティティから確認していき、場合によってはRule Tuning Expressionでチューニングを行っていただくことを検討していただければと思います。

SIEMを導入したのはいいがチューニングにお困りの場合、Insight Trainerはチューニングの手助けをしてくれるツールとなります。ぜひご活用いただければと思います。


RECENT POST「Sumo Logic」の最新記事


Sumo Logic

【第2弾】 Sumo Logic 可視化サービス Terilogy Blend for Cato Networksリリース

Sumo Logic

Sumo LogicのAutomation機能でSlackにメンションするメッセージを送ってみた

Sumo Logic

Sumologicで目にするOpen Telemetry Collectorとは(中編)

Sumo Logic

Sumologicで目にするOpen Telemetry Collectorとは(前編)

Insight Trainerの活用方法 ~Sumo Logic CSEチューニングをより簡単に~