Sumo Logicを利用したハイブリッドクラウド環境に最適なサーバ&ネットワーク監視ソリューション

 2021.06.16  株式会社テリロジー 技術統括部

今回はハイブリッドクラウド環境に最適なサーバ&ネットワーク監視ソリューションをご紹介します。
モニタリングデータの収集部分を弊社で開発、データ蓄積・可視化にSumo Logicを利用することで実現しています。

昨今、オンプレミス環境のサーバやネットワーク機器は減少傾向にありますが、監視が不要というわけではありません。しかし、以前のようなオンプレミス環境メインの時代と同様の投資は、難しくなってきています。
そのような環境下で、現状最小限の投資で行っているサーバ・ネットワーク機器監視と同様のことを実現しながら、加速するクラウド化を念頭に置いた、IaaSやPaaS、SaaSといったクラウドの可視化も同時に行える仕組みが必要です。

弊社で取り扱っているSumo Logicは、Installed Collectorを入れることができないネットワーク機器やアプライアンスなどのオンプレミス機器に対して、Sumo Logic側から直接データ収集を行うことができません。

また、Sumo LogicにはHosted Collectorという外部からHTTPS経由でデータを受信する機能がありますが、現状ではこのHosted Collectorにデータを送るように設定できる製品は非常に少ないです。

また、App Catalogが用意されていない機器のログ分析は、ユーザ側でクエリを作成し可視化するDashboardを作る必要があります。

そこで、Installed Collectorに対応していない機器からデータを収集し、Sumo Logicにデータを送信するモニタリングシステムを弊社で開発いたしました。

発想はsumoxhttps://cloudsolution.terilogy.com/blog/introduction-infoblox-sumologic

と同じですが、より広範囲からデータ収集ができるようにポーリングとデータ受信の両方の機能を備えています。

基本的にエージェントレスの仕組みとしたため、ターゲットにソフトウェアをインストールするような作業は不要です。

前置きが長くなりましたが、中身について紹介していきます。

モニタリングシステムの構成

現状、OSはRedhat系OSを利用しています。

システムの構成イメージは以下のような感じです。

モニタリングシステムの構成

モニタリングシステムは以下の4つの部分から構成されています。

  1. ポーリングの実行やターゲット情報を管理する「本体」
  2. データを収集/受信する「プラグイン(コレクター)」
  3. 収集/受信したデータを解析する「解析処理」
  4. Sumo Logicへデータをアップロードする「データアップロード」

これらの機能でSumo Logicにデータを集め、Dashboard表示やメール通知を行います。

次に、それぞれの役割についてご紹介いたします。

1.モニタリングシステムの本体

モニタリングシステムの本体


本体は、システムの各種設定、ポーリング対象のデバイスやデータを送信してくるデバイスの管理が主な役割となっています。

2.データを収集/受信する「プラグイン(コレクター)」

  データを収集/受信する「プラグイン(コレクター)」

「プラグイン(コレクター)」は収集するデータ毎に独立したプログラムとなっています。例えば、ICMPなどの疎通確認で1つ、Webレスポンス確認で1つといった具合です。CPU使用率、メモリ使用率、ディスク使用率といった一般的なリソースデータ取得のプラグインは実装済みです。

対象機器からのデータ取得は以下の方法で実施します。

・ターゲットにログイン後に、コマンドを実行してデータを収集

主にUnix系(Unix/Linux)、Windows向けの方法で、ターゲットにログインしデータの収集のためのコマンドを実行します。

コマンドで取集できるデータは全てポーリングの対象にすることができます。

・SNMPでデータを収集

主にNW機器向けの方法で、指定したOIDからデータを取得します。

SNMPのバージョンはv1、v2、v3の全てに対応しています。

・モニタリングシステムからコマンドを実行してデータを収集

モニタリングシステム上でコマンドを実行する事で取得できるデータが対象になります。例えばICMPでの疎通やレスポンスタイムであったり、対象機器のポートの状態などのデータが対象になります。

対象機器からのデータ受信は、SNMPトラップとNetFlowが対応しています。

・SNMPトラップ受信

こちらはOS標準のsnmptrapdを使用しています。

・NetFlow受信

NetFlowのデータを受信し、トラフィックデータの解析を行います。

Flowコレクターは他のプログラムと少し異なっており、受信、解析、Hosted Collector へのデータ送信の全てを行っています。

3.収集/受信したデータを解析する「解析処理」

収集/受信したデータを解析する「解析処理」

「取得データ解析処理」は、収集したデータの重要度判定とHosted Collectorが受け取れる形式へのデータ加工を実行します。

ポーリングは一度に送信する件数が多くなるため、データは直接Hosted Collectorへ送信せず「データアップロード」へ渡します。

「Trap解析処理」は、受け取ったトラップデータが管理対象であるかを判断し、管理対象であった場合はトラップ内のデータを解析します。

OIDとvalueの組み合わせを1件のデータとして扱い、「ポーリング解析処理」と同様に重要度判定とデータ加工を実行します。

トラップデータは加工後にHosted Collectorへ送信します。

4.Sumo Logicへデータをアップロードする「データアップロード」

Sumo Logicへデータをアップロードする「データアップロード」

ポーリング解析処理から受け取った、管理対象すべてに対する1回分のポーリングデータを、1セットとしてまとめてHosted Collectorへ送信します。

ネットワークの切断等でHosted Collectorへ接続できなかった場合や、Hosted Collectorからのレスポンスが正常でなかった場合は、正常に送信できるまで1分間隔で再送を行います。

Sumo LogicでのDashboard表示・メール通知

Sumo LogicでのDashboard表示・メール通知 画像1

この部分はSumo Logic標準の機能を使用しています。 

モニタリングシステムで収集したデータをSumo LogicのDashboardで可視化します。

以下が実際の画面です。

Sumo LogicでのDashboard表示・メール通知 画像2

実際に弊社の環境で取得したデータを使い、1項目あたり1パネルで作成しました。

上段3枚のパネル(赤枠部分)はNetFlowの解析結果です。左から順に、

  • IP毎の通信の多いTOP5
  • サービス毎の通信の多いTOP5
  • 通信全件

となっています。

それ以降(青枠部分)は監視製品ではお馴染みのロードアベレージ(1分平均)、ディスク使用率、メモリ使用率等のパネルが続きます。

パネルはDashboard(New)で作成しているため、1つのパネルに複数のデータを表示させています。(2020年7月頃にリリースされた比較的新しい機能です。)

通知メールは、こちらもSumo Logic標準機能の「Scheduled Search」を使用しリアルタイムアラートを行うようにしています。

通知は連続で指定した回数失敗したら通知する事も可能です。

まとめ

今回ご紹介したモニタリングシステムを用いる事で、Sumo Logicにデータが取り込めず個別で管理していた製品のデータをSumo Logicに取り込むことが可能になります。

また、データを取得したい製品用のプラグインや、受信用のコレクター等を付け足すだけで様々な拡張が可能です。

モニタリングシステムはクラウド、オンプレのどちらでもセットアップ可能で、現在はオンプレ、AWS、OCIの環境に導入して使用している実績があります。

環境準備についてはクラウド、オンプレ共にお客様にご用意いただく形でも、弊社でご用意する形でも対応可能です。

今回紹介したポーリングやトラップ、NetFlowの受信以外に、弊社の取り扱い製品であるNozomi Networks社のGuardian、Rapid7社のInsightVM等からデータを収集しSumo Logicにアップロードする機能の開発も行っております。

将来的には、IT/OT、脆弱性等のセキュリティ情報、資産管理、機器のリソースなどなど、分類に関係なくネットワーク上に存在する全てのシステムからデータを収集し、1つのSumo Logicで全てのシステムを俯瞰できる統合Dashboardの開発を行っていく予定です。 

既存のNMSの代替品をご検討の方や、製品データの取り込み、統合Dashboardの開発など、データの可視化に関わるお悩みがございましたら、ぜひお声掛けください。

また、2021年6月22日(火)11:00より、本システムに関するセミナーも実施しますので是非こちらもご参加ください。

www.terilogy.com

以上、モニタリングシステムを使用したサーバ&ネットワーク監視ソリューションのご紹介でした。


RECENT POST「Sumo Logic」の最新記事


Sumo Logic

Sumo Logic ダッシュボードやフォルダ共有について

Sumo Logic

Sumo Logicに関するサポート内容のご紹介

Sumo Logic

Insight Trainerの活用方法 ~Sumo Logic CSEチューニングをより簡単に~

Sumo Logic

ログ収集対象がLinux(Ubuntu)の場合のRemoteCollectorについて

Sumo Logicを利用したハイブリッドクラウド環境に最適なサーバ&ネットワーク監視ソリューション