使用前に

Q. Cloud Log Analyticsとは何ですか?

  • NAVERクラウドプラットフォームから提供するサーバを始めとする多様な商品を利用して発生するログ履歴を保存して分析できるサービスです。
  • 多様な種類のログファイルを収集でき、簡単なスクリプトの実行だけで必要なプログラムのダウンロード、設置、設定、自動開始まで便利に使用できます。
  • 検索機能を通じてデータを簡単に照会でき、必要な情報を便利にダウンロードできる効果的なログ管理が可能です。

Q. どのようなデータを収集できますか?

  • Cloud Log Analyticsはテキスト形式で生成される全ての種類のログデータファイルを収集できます。
  • 多く利用するログはテンプレートで提供し、コンソールから選択するだけで収集対象ログを設定できます。
  • 提供されるテンプレートは以下の通りです。
    • Server syslog
    • Apache ログ(Access log, Apache Error Log)
    • MySQL 設置型商品のログ(Error Log, Slow Log)
    • Microsoft SQL Server 設置型商品のError Log
    • Tomcat ログ(Catalina Log)
    • WindowsサーバのEvent Log
    • Windows サーバの各種text形式のログ
    • Cloud DB for MySQL ログ
    • Cloud DB for MSSQL ログ
    • Bare Metal Server ログ
  • テンプレートで提供されないログもCustom Log 機能で直接対象ログを指定して収集できます。

Q. 保存されたデータはどのように管理されますか?

  • 顧客のデータは論理的に分離された個別保存所に2つ以上のコピーで分散保存されます。
  • データが削除される場合は次の通りです。
    • 保管期間が過ぎたデータは自動で永久に削除されます。
    • データの容量がお客様が加入された商品の保存容量を超過すると過去のデータから順次削除されます。データ削除の際は新たなデータが保存できるように最大30%のデータが削除されることがあります。
    • Cloud Log Analytics商品の利用を解除すると解除と同時にデータ全体が’削除されます。但し、他の連携商品を使っている場合は連携商品の解除または log 連動機能を解除した後にCloud Log Analytics商品を解除できます。

Q. 保存されたログ全体をダウンロードできますか?

  • 全体データに対するダウンロードはObject Storage商品からExport機能を提供します。
  • Cloud Log Analyticsに保存されたデータをObject StorageでExportを実行するためにはObject Storageの使用申し込み及びバケットの生成が必要です。
  • Object StorageでExportされたデータはJSONフォーマットで保存されます。
  • Object Storageに保存されたデータが1GB以上の場合は同じフォルダに1GB単位に分けて保存されます。
  • データの保存速度は1GB当たり10分ほど所要され、状況によって異なります。
  • 今後CSVフォーマットと圧縮保存、日別データ保存機能などを提供する予定です。

Q. Excel ファイルでダウンロードできますか?

  • 検索結果をExcelファイルでダウンロードできます。
  • Excel Downloadは全体データではなく検索結果画面に表示される内容のみダウンロードできます。

Q. 保存容量が足りないです。

  • 2017年11月からは有料サービスに転換され、最大100GBまで保存できます。
  • 100GB容量を超えた場合は追加の保存容量を確保するために最大約30%のデータが削除されることがあります。
  • 保存容量と保存期間をもっと増やしたい時はお客様サポートまでお問い合わせください。
  • 過去のデータを保管する際は"Object Storageへエクスポート"機能を利用して過去のデータをObject Storageにバックアップできます。

Q. 保管期間を延ばしたいです。

  • Cloud Log Analytics サービスは最大30日間データが保管され、検索及びダッシュボードから確認できます。
  • 30日が過ぎたデータは過去のデータから順次削除されます。
  • 30日が過ぎなくても保存されたデータが100GBを超過すると最大30%まで過去のデータから毎日削除されることがあります。

Q. 利用解除ができません。

  • Cloud Log Analytics 商品はNAVERクラウドプラットフォームで使用するいくつかのプラットフォームを統合保存/検索できる商品です。
  • Cloud DB for MySQL, Cloud DB for MSSQLのようなPaas商品でCloud Log Analyticsのログ管理(保存/検索)機能を使用する場合はCloud Log Analytics商品を解除できません。
  • 当該商品をまず解除するか返却した後に Cloud Log Analytics商品の利用を解除できます。

Q. お試しで使ってみたいです。

  • Cloud Log Analyticsに保存されたデータは月平均1GBまで無料で使用でき、月平均の保存容量が1GBを超過したら使用の際に超過分について請求されます。
  • 月平均1GBを超えない場合は請求されません。
  • 現在保存された全体の容量はCloud Log Analytics > Dashboardで確認でき、月平均の使用量はncloud.comのマイページから確認できます。

使用方法

Cloud Log Analytics 利用のお申込み

Cloud Log Analytics 商品はお客様のNCPで発生する多様なログを収集し、これを確認/分析できるように提供されるプラットフォームサービスです。 Cloud Log Analyticsではサーバ、ウェブ、セキュリティログ、 Event Log, db log, Paas商品などのログを収集して照会及び分析できます。 Cloud Log Analyticsサービスを利用するためにはCloud Log Analyticsサービスの利用を申し込む必要があります。

① コンソールから Products & Servicesを選択します。
② 右下の Analytics > Cloud Log Analyticsを選択します。

Cloud Log Analytics サービスへ移動します。 サービスの利用を申し込んでいない場合はサービス利用お申込み後にサービスをご利用できます。

① Cloud Log Analytics サービスが利用申込みされていない場合はサービスの利用お申込み画面に移動します。
② 下段の 利用のお申込み ボタンをクリックすると利用申込みが完了します。

① 利用申込みが完了しました。

Cloud Log Analytics ログ収集設定

データ収集に必要なログデータをウェブ画面から簡単に設定できます。基本で提供される多様なテンプレートを使って収集するログデータをすぐ選択できます。

Cloud Log Analytics ログ収集を設定する際はログを収集するサーバを選択して対象ログタイプとルートを選択します。サーバにアクセスしてログ収集Agentを設置するとログ収集設定が完了します。

1. 収集対象サーバの選択

Cloud Log Analyticsから Management メニューを選択すると使用中のサーバリストを確認できます。

① 収集設定の際は左側メニューからManagementを選択します。
② Management メニューを選択すると保有しているサーバリストが基本画面で表示されます。この画面から次の段階に沿ってサーバを選択してログ収集を設定できます。
③ Cloud DB for MySQLを使用しているお客様の場合はServerの横にCDB-MySQLタブが表示され、保有しているCDB-MySQLリストを一緒に確認できます。
④ Cloud DB for MSSQLを使用しているお客様の場合はServerの横にCDB-MSSQL タブが表示され、保有しているCDB-MSSQLリストを一緒に確認できます。
⑤ Bare Metal Serverを使用する場合は Bare Metal Server タブから一般サーバと同じ方法でサーバリストの確認及びログ収集設定ができます。

使用中のサーバの中、ログを収集したいサーバを選択して収集を設定をクリックします。

① 使用中のサーバリストからログを収集する対象サーバを選択します。
② 対象サーバを選択すると収集を設定が活性化されます。収集を設定をクリックすると収集するログを指定する画面に変更されます。

2. 収集するログの指定

ログ収集設定の部分には一般的に多く使われるログに対するテンプレートを提供するため、テンプレートを選択して使用できます。直接ログタイプとルート、ファイル名を入力できます。

  • ログテンプレートの使用を設定する

    ① ログ設定画面から収集対象ログテンプレートリストを確認します。
    ② 収集するログテンプレートを選択します。ログを選択すると自動で登録されます。
    ③選択したログが現在設定された収集ログリストに追加されます。
    適用をクリックします。

  • Custom Logを設定する:テンプレートで提供されないログを収集設定する方法です。

    ① テンプレートから Custom Logを選択します。
    ② ログタイプを入力します。ここに入力したログタイプで検索またはダッシュボードにデータが表示されます。
    ③ ログファイルのルートとファイル名を入力します。
    ④ このオプションを選択すると、Symbolic Linkファイルのログも収集します。 ⑤ 選択したログを追加します。
    ⑥ 設定を完了します。

3. ログ収集Agentの設置命令語のコピー

収集するログ設定作業が完了したら、当該ログ収集Agentの設置方法が案内されます。ログ収集Agentの設置命令語に設置キー(Install Key)が含まれて提供され、この値が正確であれば正常に設置されます。

収集するログ設定作業が完了してログ収集Agent設置案内ポップアップウィンドウが表示されます。上の"2. 収集するログを指定"段階で選択したオペレーティングシステム (OS) 種類によってログ収集Agentの設置方法が異なる形で表示されます。

① OSが Linuxの場合はLinux横のクリップボードへコピーする ボタンをクリックしてログ収集 Agentの設置命令語をコピーします。
② OSが Windows 2008の場合は Windows 2008 横のクリップボードへコピーする ボタンをクリックしてログ収集 Agentの設置命令語をコピーします。
③ OS가 Windows 2012の場合は Windows 2012横のクリップボードへコピーする ボタンをクリックしてログ収集 Agentの設置命令語をコピーします。
④ ポップアップウィンドウを閉じます。

4. サーバにログ収集 Agentを設置

前の段階でコピーしたログ収集Agent の設置命令語を実行するとログ収集Agent のダウンロード、設置、環境設定、Agent の実行、データ収集が自動で始まります。

設置の際はroot権限が必要であるため、設置するサーバにアクセスして root アカウントやsudo権限のあるアカウントで作業する必要があります。

ログ収集 Agent設置命令語の設置キーが正確でないとデータが収集されません。

Linux(Bare Metal Server)で設置及び確認する

① 設定完了の際に確認した設置命令語を実行すると設定した情報を確認後、Agentのダウンロード及び設置、設定ファイルのダウンロード、Agent実行が進みます。
② 設置が終わるとAgentが実行されます。実行されたAgentのプロセスを確認できます。
③ ログが収集されたかテストします。この例はsyslogにログを残すテストです。

Windowsで設置及び確認する

① 設定完了の際に確認した設置命令語を実行すると設定した情報を確認後、Agentのダウンロード及び設置、設定ファイルのダウンロード、Agent実行が進みます。
② 設置が終わるとAgentが実行されます。実行されたAgentのプロセスを確認できます。

Windows Eventログは Agentを設置及び実行しながら発生したログをダッシュボードや検索を通じて確認できます。

Cloud Log Analytics データを確認する

Cloud Log Analytics データの保管

Cloud Log Analytics サービスは最大100GBのデータを最大1か月間保管し、多様な方法で保存されたデータを検索できます。

1か月が過ぎたデータは順次永久に削除され、100GB容量を超えると過去のデータから順次永久に削除されます。削除されたデータはリカバリーできません。

Cloud Log Analytics のダッシュボード

収集されたデータに対する多様な現況をダッシュボードからリアルタイムで確認できます。

① 全体Log Count: サーバに保存された全体のデータ数を表示します。
② 日別Log Count: 日別データ発生量をグラフで表示します。
③ 最近のLog発生量: 最近1分間の平均データ発生量を表示します。
④ 商品情報: 現在使用している商品情報と使用可能な保存スペースを表示します。
⑤ 保存容量(MB): 全体の使用可能な保存スペースの中、使用している保存スペースを表示します。
⑥ Type別使用容量: 保存された全体のデータの中からタイプ別データ使用割合をパーセント単位で表示します。
⑦ Type別Log発生現況: データ種類別発生現況を比較できるように表示します。
⑧ Server別Log発生現況: データを収集するサーバ別ログの全体数を表示します。

Cloud Log Analytics データ検索

多様なフィルタとキーワードを組み合わせて必要な時点の必要なデータを照会できます。

① 検索しようとするデータの種類を選択します。基本値は全体です。
② 検索しようとするデータの照会期間を選択するか、若しくは直接入力して必要な時間帯を選択できます。基本値は最近1時間です。
Log 発生時間から 直接入力を選択した場合、検索開始日を入力します。
Log 発生時間から 直接入力を選択した場合、検索終了日を入力します。
⑤ ログをキーワードで検索する場合は検索しようとする文字列を入力します。
⑥ ログをキーワードで検索する場合は検索しようとする文字列を入力後、クリックします。
⑦ 検索結果データを時間帯別に表示してくれます。
⑧ 検索結果データの原本メッセージを画面に表示します。1ページ当たり20個のデータが表示されます。
⑨ 検索結果をページをめくりながら確認できます。
⑩ 検索結果をExcelファイルでダウンロードできます。画面に表示されるデータのみダウンロードでき、全体のデータに対するダウンロードは今後サポート予定です。
⑪ 検索結果ページのサイズを修正できます。基本で20個ずつ出力され、20, 30, 50, 100個単位で出力できます。
⑫ 検索結果から必要なページに直接移動できます。
⑬ 検索結果の棒グラフを選択すると選択された時間に再度検索されます。
⑭ 検索結果データの全体をObject Storageに Exportします。

Lucene Queryを使用したデータ検索

① Lucene Queryの検索タブを選択すると、Lucene Queryを通じてデータを照会できます。
② ログをLucene Queryで検索する場合、検索するLucene Queryを入力します。
③ ログをLucene Queryで検索する場合、検索するLucene Queryを入力してからクリックします。
④ ログを特定フィールドに対する条件で検索する場合、フィルタ追加ボタンで条件を設定します。
⑤ 希望するフィールドだけ表示する場合は、検索結果データのフィールドを追加して設定します。
⑥ 検索結果データのフィールド名と各フィールドが持つ重複のないデータの種類数が表示されます。
⑦ 検索結果データのフィールド名をクリックすると、そのフィールドが持つデータのうち数が多い順に5つのデータが表示され、クリックするとフィールドの当該値に対しフィルタが追加されます。
⑧ 検索結果データをクリックすると、そのデータの詳細を確認できます。
⑨ 検索結果データをTable形式やJson形式で確認できます。
⑩ 検索結果データをTable形式で確認する場合、各ボタンでフィルタを設定できます。

  • + : 当該値を含むフィルタ追加
  • - : 当該値を除くフィルタ追加
  • ☆ : 当該フィールドを含むフィルタ追加
    共通に適用されるフィールドに関する説明
  • @timestamp:ログがサーバに届いた時間のtimestamp
  • beat.hostname, host.name, hostname:ログが発生したサーバのホスト名
  • message:ログの内容

Object Storage 使用を準備する

Cloud Log AnalyticsでObject Storageにファイルをエクスポートするためには認証キーを生成する必要があります。 認証キーはマイページ > 認証キー管理 メニューから生成できます。

ポータルマイページ > 認証キー管理 メニューを選択します。
新規 API認証キーを生成 ボタンをクリックします。
③ 認証キーの生成が完了しました。
④ 生成された認証キーを確認します。

Cloud Log Analytics データの作業状態

Cloud Log Analyticsで収集されたデータを使用/管理する作業を確認できます。 現在はObject Storageにエクスポートした結果に対する状態、結果などを確認できます。 Object Storageに保存されたデータは Object Storage コンソールからダウンロードできます。

① メニューから Export Logをクリックします。

② Object StorageにExportされたリストを確認します。

  • 設定時間: Object Storageにエクスポートを開始した時間
  • タイプ: ユーザーが直接エクスポートを実行した場合は受動に表示され、自動設定でエクスポートした場合自動に表示
  • リージョン: エクスポートを実行したリージョン
  • 対象Bucket: 対象バケットと保存されたルートを表示
  • フォルダ名: Object Storageに生成されたディレクトリ名
  • Exportログ種類:検索の際に指定したログタイプ
  • 進行率: アップロード(Upload)進行率
  • 状態: 作業に対する状態(Complete, Processing, Fail)
  • 説明: Object StorageにUploadを失敗した場合の理由

③ 自動エクスポートを設定します。

ログの自動エクスポート設定

① 自動設定履歴

  • 実行時間: 自動エクスポートを設定した実行時間です。
  • 設定/解除: ログの自動エクスポート設定状態を表し、テーブルの一番上段の値である最新の設定基準で反映されます。
  • リージョン: 自動エクスポートを設定したリージョンの情報
  • 対象Bucket: 自動エクスポートに設定したBucket情報
  • Exportのログ種類: 自動エクスポートに設定したログの情報

② 自動エクスポート設定
③ Object Storageのリージョン, Bucket, ログ情報などの設定情報を入力します。
④ 設定情報を保存すると次の日から早朝に前日1日間のデータがバックアップされます。

ログの自動エクスポートを解除

① 自動エクスポートを解除
② 設定解除を申し込む
③ 確認ボタンを押してポップアップを閉じます。

ログの収集を解除する

ログの収集を解除する際はCloud Log AnalyticsのManagement メニューからログの収集を解除しようとするサーバを選択して 収集を解除をクリックします。 ログ収集を解除した後、ポップアップウィンドウで案内する通りにログ収集Agent 削除の命令語を実行してサーバからログの収集Agentを削除します。

サーバからログの収集 Agentを削除しないとCloud Log Analyticsにデータが保存はされませんがデータがCloud Log Analyticsに引き続き転送されて不要な内部データトラヒックが発生します。

① データの収集を中断しよとするサーバを選択します。
② 選択したサーバからデータ収集を中断するためには 収集を解除をクリックします。

① 収集を中断する対象となるサーバに設定された収集設定情報を確認します。
② 収集の中断設定を完了するためには適用をクリックします。

① サーバにアクセスして収集を中断するためにはログ収集Agentを削除する命令語をコピーします。クリップボードにコピーするをクリックすると命令語がクリップボードにコピーされます。
② 複数のOSを選択して収集を解除する場合はOS種類別にcommandに差がありますのでよく確認してから使う必要があります。
③ LinuxサーバとBare Metal Serverは収集設定/解除commandが同じです。
閉じるをクリックしてポップアップウィンドウを閉じます。

① 各サーバにアクセスして上の段階でコピーしたログ収集 Agentの削除命令語を実行します。
② 命令語を実行すると設置された Agentが停止されてAgent及び設定ファイルが削除されます。

Cloud Log Analytics 商品を解除する

商品を解除するためにはコンソールの CLOUD LOG ANALYTICS メニューから 利用を解除をクリックします。商品の解除と同時に以前保存されたデータは全て削除されます。

Cloud DB for MySQL商品を使用しているとCloud Log AnalyticsデータがCloud DB for MySQL Log Viewer機能のデータソースに使われるためCloud Log Analytics商品を解除するとCloud DB for MySQL商品からログを収集/照会できません。

Cloud Log Analytics 商品の解除前にまず他の商品を通じたログ収集が全て中断されていないとCloud Log Analytics 商品を解除できません。
収集を解除してからサーバでログ収集 Agent削除の命令語を実行しないと不要な内部トラヒックが発生します。

利用を解除をクリックすると解除を最終確認するポップアップウィンドウが表示されます。
②他の商品でログ収集を使用している場合は、他の商品を使用しているため解除できないというメッセージが表示され、解除されません。
③ ポップアップウィンドウから 確認をクリックするとCloud Log Analytics商品が利用解除され、データもすぐ削除されます。

参考事項

  • Cloud Log Analytics 商品はNAVERクラウドプラットフォームのPaaS商品のログと一緒に保存して統合されたビュー(view)を提供します。
  • PaaS 商品から発生するログは登録したCloud Log Analytics 商品の保存期間と容量内で収集して照会できます。
  • 2017年11月基準でCloud DB for MySQLのSlow Log, Error Logのデータを一緒に保存し、Cloud DB for MySQLで照会するログをCloud Log Analyticsで他のログと統合して照会できます。
  • 2017年12月 FileStorageにデータをエクスポートする機能が追加されました。
  • 2018年2月Cloud DB for MSSQL의 EventログとBare Metal Serverログの収集機能が追加されました。
  • 2018年2月 シンガポールリージョンサーバのログ収集が可能です。リージョン選択の際、当該リージョンのサーバのみ確認できます。
  • 2018年3月 Secure Zone Firewall, App Saferサービスのログ収集機能が追加されました。
  • 2018年4月 Image Optimizer, Cloud Activity Tracer サービスのログ収集機能が追加されました。
  • 2018年11月 FileStorageにデータをエクスポートする機能がFade-outされました。
  • 2018年11月Object Storageにデータをエクスポートする機能が追加されました。
  • 2020年7月 シンボリックリンクファイルからログを収集し、Cloud Activity Tracerからログを収集する機能は廃止されている。

追加で提供予定の機能

  • イベント基盤通知:ログで特別なイベントが発生したりイベント(ログ発生数とログのサイズ)が急増するなどの状況に対する多様な通知を提供予定です。
  • 多様な形のダッシュボード:ログ種類別オーダーメイドダッシュボード、リアルタイムAggregation Chart、拡張可能なウィジェット形態のダッシュボードと顧客がダッシュボードの種類を直接設定できるcustomダッシュボード機能を継続的にアップグレードして提供していく予定です。
  • Sub Account, ログイン, ユーザーアクション, ファイアウォール, CDN+(Content Delivery Network), Load Balancer, Auto Scaling, コンソールなどのログを統合して保存し、照会できる機能を提供予定です。

関連情報

に対する検索結果は~件です。 ""

    に対する検索結果がありません。 ""

    処理中...