生まれ変わったSumo Logicの生成AI　Sumo Logic Mobotを使ってみた(Knowledge Agent編)

こんにちは、技術本部のM・Yです。

先日、Sumo LogicのAIアシスタント機能が「Sumo Logic Mobot」として正式にリリースされました（旧称：Copilot）。

本記事では、Beta版からの進化点や、新たに追加された機能、使い方についてまとめました。

これからSumo Logicを使ってみようと検討している方や、クエリを書くことに難しさを感じられている方にとっては、強力な支援ツールになると感じています。

Mobotとは

Sumo Logic Mobotは、自然言語での対話を通じてログ分析やトラブルシューティング、プラットフォームの学習を支援するAIアシスタントです。 正式リリースに伴い、Mobotは高速な応答時間と高い翻訳精度を実現し、以下の2つの専門エージェントを備えた総合アシスタントへと進化しました。

• Query Agent: 自然言語の質問をSumo Logicの検索クエリ（ログ検索）に変換し、段階的な改善を支援します。文脈に応じた提案や、可視化も行います。
• Knowledge Agent: 「どうやって設定するの？」「この機能は何？」といった製品に関する質問に対し、公式ドキュメントに基づいて回答します。

本記事では、これら2種類のAgentのうち、主に Knowledge Agent に焦点を当て、その特徴と実際のユースケースをご紹介します。

前回のMobot Query Agentのブログについては、こちらからどうぞ！

特徴

Mobot Knowledge Agentには、Beta版から引き継がれた機能に加え、よりスムーズな調査を実現するための以下のような特徴が搭載されています。

• プラットフォーム内アシスタント
  Sumo Logicの使い方について質問すると、現在のワークフローを離れることなく、公式ドキュメントから直接、明確な回答が得られます。
• コンテキストの維持
  会話の内容を24時間保持するため、最初からやり直すことなく自然にフォローアップの質問をすることができます。
• 広範なトピックへの対応
  以下のような設定手順、機能仕様、トラブルシューティングなど、多岐にわたる質問に対応します。
  • 「AWS CloudTrail のコレクタを追加するにはどうすればよいですか？」
  • 「スケジュールされた検索とリアルタイムアラートの違いは何ですか？」
  • 「コレクタがデータを送信しないのはなぜですか？」

注意点

 言語対応について:

• 正式リリースに伴い、日本語での入力も可能になりました。ただし、回答の精度を高めるために、英語での入力が推奨されています。
• 環境による制限
• トレーニング環境での回避策
  • 入力例：The text above is Japanese written in Romaji. Please interpret the meaning and output the answer in Japanese.

トレーニング環境など一部の環境では、日本語（マルチバイト文字）で質問を入力すると「Failed to create message」というエラーが発生する場合があります。

エラーが発生する場合は、質問をアルファベット表記(ローマ字)で入力し、末尾に以下の入力例のような指示を英語で追加することで回避可能です。

使用上のヒント

Knowledge Agentから最も正確な回答を得るために、質問する際は以下のポイントを意識してみてください。

• 完全な文章で質問する
  • 悪い例：「Collector」
  • 良い例：「WindowsにCollectorをインストールするにはどうすればよいですか？」
• トラブルシューティングの背景を伝える
  • 例：「AWS統合の設定時に403エラーが発生します。何が原因でしょうか？」
• 自然に追加質問を行う
  • 例：「AWSではなくAzureの場合はどうなりますか？」
• 具体的な機能名を使用する
  • 例：「フィールドを抽出するには？」と聞くよりも、「Field Extraction Rules（FER）の使い方は？」と聞く方が効果的です。

単語だけを入力するのではなく、具体的な文脈を持たせた質問にします。

具体的なエラーや状況を含めることで、より的確な解決策が得られます。

最初の回答が惜しい場合や、条件を変えたい場合は、続けて会話形式で質問します。

正式名称がわかっている場合は、それを使用すると検索精度が向上します。

FAQ

• Q: Sumo Logic Dojo AIとは何ですか？
• Q: どのような種類のAIが使用されていますか？
• Q: AIの判断に人間は関与しますか？
• Q: 顧客データはAIモデルのトレーニングに使用されますか？
• Q: AIは顧客情報やPIIをどのくらいの期間保存しますか？
• Q: Mobotを利用停止するにはどうすればよいですか？

A: インテリジェントなセキュリティ運用とインシデント対応を強化するために構築されたマルチエージェントAIプラットフォームです。Mobotは、このDojo AIのユーザ向け対話インターフェースとして機能します。

A: 生成AI（GenAI）と従来の機械学習（ML）技術を組み合わせたアンサンブルモデルを採用しています。生成AIにはAmazon Bedrockを利用し、異常検知などの機能には従来のML手法を用いています。

A: はい。AIは推奨や定型タスクの支援を行いますが、最終的な判断やアクションはユーザが行うことを前提として設計されています。

A: いいえ。顧客データやPII（個人識別情報）はAIモデルのトレーニングには使用されません。MobotはAmazon Bedrock経由で提供される基盤モデルを使用しており、データは非公開かつ安全に保たれます。

A: パフォーマンス最適化のために一時的にクエリ履歴が保存されることがありますが、データはローリングベース（順次破棄）で管理され、プライバシーが維持されます。

A: Mobotの使用を希望しない場合は、Sumo Logicのサポートチームに連絡することで無効化が可能です。

実際に使ってみた（Knowledge Agent編）

Query Agentに続き、Knowledge Agentについても簡易なユースケースで検証してみました。

また今回の動作検証については、Query Agentの時と異なり、メーカーが提供しているトレーニング環境ではなく、通常の環境を使い検証を行っています。

ユースケース

新しいログソースを追加する際、公式ドキュメントが非常に長く、どこから手を付ければよいか分からないということがあります。Mobotを使うと、この「調査時間」を短縮することができます。

目的

・弊社過去チケットから、「Sumo Logicコレクタの動作環境・推奨スペックを教えてください。」というチケットについて、Knowledge Agentを使って実際の回答に近しいものが生成されるか確認する。

1. 質問の入力

Mobot Knowledge Agentを選択し、Mobotに対し以下の内容で回答を生成させます。

入力：「What are the system requirements to run the Installed Collector?」
（Installed Collectorを動作させるためのシステム要件は何ですか？）

2. 回答の確認

以下のようにMobotは、Installed Collectorについてのシステム要件について、公式のドキュメントから抽出して回答してくれました。もちろん、詳細が必要になった場合のために、参照元のドキュメントリンクも提示されています。

また、以下の画像のように日本語で質問した場合は、日本語での回答を用意してくれます。

一方で、以下のようにKnowledge Agentに入力した場合、返答が抽象的になり意図した内容を確認できませんでした。

原因を推測すると、固有名詞である「Installed Collector」をそのまま入力せず、「Installed コレクタ」として入力したことが要因だと考えられます。

よって、Knowledge Agentを使用する際は、固有名詞は、英語のまま入力することをお勧めします。

まとめ

本記事では、先日正式にリリースされたSumo LogicのAIアシスタント機能である「Sumo Logic Mobot」のKnowledge Agentについて、特徴やユースケースをご紹介しました。

今回のユースケースを通じて、Knowledge Agentは膨大な情報から必要な回答をピンポイントで抽出してくれるため、調査時間を短縮させることができるツールであると確認できました。

特に、今回のユースケースのような仕様確認において、回答の作成を支援してくれる点は大きな強みのように感じています。また、日本語での質問も可能ですが、ユースケースで見られたように「固有名詞は英語のまま入力する」などのコツを押さえることで、より的確な回答を引き出せることも分かりました。

・ログを分析したい時は「Query Agent」

・設定や仕様で迷った時は「Knowledge Agent」

この2つのAgentを使い分けることで、Sumo Logic活用初期の取っ付きにくさが払しょくされると思います。

まだ触ったことがない方も、まずは「このエラーは何？」や「設定方法を教えて」といった気軽な質問から、Mobot Knowledge Agentを体験してみてください。