Classic環境で利用できます。

Elasticsearch Serviceのご紹介

NAVERクラウド Elasticsearch Service 設置型商品の概念と基本構造をご説明します。

Elasticsearch

ElasticsearchはApache Luceneを基盤とするオープンソースRESTful 検索及び分析エンジンです。Elasticsearchは現在最も人気のある検索エンジンで、定型/非定型データ、位置情報、マトリックスなど多様な形のデータを保存して多様な方法で検索できます。

Fulltext Search, ログ分析、セキュリティ、ビジネス分析など多様な分野で使用されます。

Kibana

KibanaはElasticsearchのデータを分析して視覚化するソリューションです。

NAVERクラウドプラットフォームの "Elasticsearch Service"はルシーン基盤の検索エンジンであるオープンソースElasticsearchを利用しています。Apache 2.0のライセンスであるElasticsearch & KibanaのOSSバージョンを設置して設定し、クラスタ(Cluster)形態で提供します。

Elasticsearch Service の構成

Elasticsearch Service クラスタは1台のマネージャーノードと3台以上のデータノードで構成され、最小4台のサーバで構成されます。データノードの数は設置の際に必要な分だけ増やすことができます。

  • マネージャーノードはElasticsearch Service クラスタを管理し、コーディネーターノードに設定されてデータが入り込む通路として使われます。
    • クラスタ当たり1個のパブリックIPアドレスがマネージャーノードに与えられます。
    • NAVERクラウドプラットフォーム外部からのデータ転送/検索はパブリックIPアドレスで、内部でのデータ転送/検索はマネージャノードのプライベート/パブリックIPアドレスでアクセスされます。
    • Kibanaはマネージャーノードに設置され、外部からパブリックIPアドレスにアクセスできます。
  • データノードは実際のデータが保存されるサーバであり、コーディネートノードにのみ通信します。全てのデータは二重化されて保存され、1台のサーバに障害が発生しても正常に作動できます。

Elasticsearch Service を使用する

Elasticsearch Serviceは設置型商品で別途の利用申込み/解除がなく、クラスタ生成の際に契約が成立します。

クラスタが削除されたら契約が終了します。

Elasticsearch Service クラスタを生成する

Elasticsearch Service メニューから Clusterを生成 ボタンをクリックします。

Elasticsearch Service クラスタ設定情報を入力する

① クラスタ名を入力します。

② Elasticsearchバージョンを選択

③ Elasticsearchバージョンを選択する画面です。

④ ACG情報です。

  • Elasticsearch Serviceで使用されるACGはelasticsearch-クラスタ名で自動で生成されます。

⑤ Elasticsearch HTTP Portを入力します。

  • 基本設定は 9200です。

⑥ Kibana アクセス Portを入力します。

  • 基本設定は 5601です。

⑦ KibanaにアクセスするためのIDを入力します。

⑧ Kibana アクセス用 Passwordを入力します。

⑨ Kibana アクセス用 Passwordをもう一度入力します。

⑩ ノード設定情報を入力するために 次へをクリックします。

Elasticsearch Service ノードを設定する

① OSを選択します。

② Zoneを選択します。

③ Manager node 個数に関する情報です。

  • 1個で, 値を変更することはできません。

④ マネージャーノードサーバタイプを選択します。

  • 選択可能なサーバタイプが表示されます。

⑤ データのノード数を入力します。

  • 最小 3台から最大10台まで生成できます。
  • 基本設定は3台です。

⑥ データのノードサーバタイプを選択します。

  • 選択可能なサーバタイプが表示されます。

⑦ データのノードストレージ容量です。

  • OS ストレージではない別途のBlockStorageを使用します。
  • BlockStorageはアカウント当たりNAVERクラウドプラットフォーム全体のサービスから最大 2000GBまで使用できます。

⑧ 選択可能なマネージャーノードサーバタイプです。

  • サーバタイプは変更されることがあります。

⑨ 選択可能なデータのノードサーバタイプです。

  • サーバタイプは変更されることがあります。

⑩ 認証キー設定のために 次へをクリックします。

認証キーを設定する

認証キーの設定画面です。

① 保有している認証キーを選択します。

②新たな認証キーを生成して使用する場合は、新たな認証キーを生成します。

③ 最終情報を確認するため、次へをクリックします。

入力情報を最終確認する

① 入力された情報が正しいか確認します。

② クラスタ生成のために クラスタを生成 ボタンをクリックします。

Elasticsearch Serviceクラスタ生成の確認

① Elasticsearch Service クラスタ生成が始まりました。

  • 生成時間は数分から数十分かかります。

Elasticsearch Service クラスタを管理する

生成されたElasticsearch Serviceの 削除、ノードの追加、kibanaへアクセス、kibanaアクセスpasswordの変更、サーバアクセスのための認証キー管理 機能です。

生成されたクラスタの確認

① クラスタの生成が完了したらクラスタの要約情報が表示され、当該クラスタの要約情報を選択すると下段の詳細情報が表示されます。

② クラスタの詳細情報を確認できます。

  • ACG 情報とManager nodeサーバへのSSHアクセス方法、Data Node Listをリンクを通じて追加で確認できます。
  • クラスタが選択されたら上段のメニュー 削除/クラスタ管理/サーバアクセス管理 メニューが有効化されます。

③ 選択クラスタの削除メニューです。

④ クラスタ管理メニューです。

⑤ サーバアクセスメニューです。

クラスタの削除メニュー

① クラスタを選択して削除メニューを選択すると、選択されたクラスタリストを確認でき、最終削除を進めるかを選択します。

② 実際にクラスタを削除するかを選択します。

クラスタ管理メニュー

① クラスタを選択してクラスタ管理メニューを選択の際に データノードの追加, Kibanaアクセス, Kibana アクセスパスワードの初期化 メニューが表示されます。

クラスタ管理 > データノードの追加

データノードを追加 メニューを選択するとノードを追加できる画面が表示されます。

② 現在のクラスタのデータノードが表示され、最大10台まで増設を選択できます。

  • 例:追加するノード数10を選択すると既存の3台に10台のデータノードが追加されます。

③ データノードの増設を実行します。

④ ノードの増設が始まるとサーバ生成が進み、サーバ状態が変更中に表示されます。

⑤ サーバの増設が完了すると Elasticsearch 設置及びクラスタ登録のためにクラスタ状態が変更中に変わります。

  • Elasticsearch の設置及びリスタートのためElasticsearch Service クラスタへのアクセスが遮断されます。

クラスタ管理 > Kibana へアクセス

クラスタ管理 > Kibana へアクセスを選択すると Kibanaアクセスのための事前作業 ポップアップが表示されます。

Kibanaアクセスのための事前作業 ポップアップから Kibanaへショートカットを選択します。

③ 最初に生成の際にクラスタ設定段階で入力したkibana アクセスIDPASSWORDを入力します。

④ ログインすると最初のアクセスの際に Welcome 画面が表示されます。

Kibana を使用する

① ログイン後最初に表示される Kibana 画面です。

  • 初期にはデータがないため、説明のためにelastic社から提供するsampleデータを使用するので、Try our sample dataを選択します。

② サンプルデータの種類を選択します。

  • 説明のためSample web logsを選択しました。

③ Kibana 左側メニューの Discoverメニューです。

  • データを検索する際に使用します。

Dashboard メニューです。多様な視覚化ツールとダッシュボードをサポートします。

  • サンプルでweb log用ダッシュボードが表示されます。

クラスタ管理 > Kibanaアクセスパスワードの初期化

① Kibana アクセス用 PASSWORDを失くした場合はPASSWORDを初期化します。

② 新たな PASSWORDを入力して確認を選択すると新たなPASSWORDでKibanaにアクセスできます。適用時間は数分所要されます。

サーバアクセスの管理

サーバにアクセスするための認証キー管理のためのメニューです。

サーバアクセスの管理> クラスタに直接アクセス認証キーを変更

サーバアクセスの管理 > クラスタ直接アクセス認証キーを変更 メニューを選択します。

② 管理者パスワードを入力します。

認証メールを送信ボタンをクリックしてメールを通じて認証番号を確認して認証します。

④ 保有している認証キーを利用の中から選択して使用します。

⑤ 新たな認証キーを生成して変更します。

サーバアクセスの管理 > 認証キー管理

① 有している全部の証明書を確認でき、Elasticsearch Serviceで使用中でない認証キーを削除できます。

② 削除ボタンをクリックして画面からなくなった認証キーを削除します。確認ボタンを押さないとに認証キーが削除されません。

ダッシュボード

生成されたElasticsearch Service クラスタの情報と各クラスタの詳細な状態及びインデックス、document, disk usage, health/status のような詳細情報を確認できます。

クラスタのダッシュボード

① 左側の Dashboard メニューを選択します。

② 現在生成されているクラスタリストの中から詳細情報を確認するクラスタを選択します。

クラスタの詳細なダッシュボード

① 選択したクラスタのノードリストです。

② クラスタの全判的な状態に関する情報です。

③ クラスタのインデックス情報です。

Elasticsearch Service を活用する

Elasticsearchにデータを保存して検索する方法をご説明いたします。

Elasticsearchにデータを保存する

① 左側の Dev Tools メニューを選択します。

Console 画面にデータを入力します。

③ 入力したデータを Elasticsearchに保存する際は ボタンをクリックしたり CTRL+ENTERキーを押します。

④ 入力された結果が表示されます。

Elasticsearchに保存されたデータを照会する

① 保存されたデータを検索する際は SEARCHを選択します。

② 実行します。

③ 照会された結果が表示されます。

Kibana を活用する

Management

① Elasticsearchに保存されたデータをKibanaから確認する際は Managementを選択します。

② Index Patternsを選択します。

Create index pattern

Create index patternを選択します。

② Kibanaから確認するためのインデックスパターンを入力します。 上で入力したデータを確認する際は test*を入力します。

③ 入力した patternに該当するインデックスが表示されます。

Next stepをクリックします。

Create index pattern (2)

Configure settings の内容を確認します。

  • 日付/時間データがある場合は該当する Fieldを選択します。

Create index patternをクリックすると Kibanaから確認できる index patternが生成されます。

Index pattern & Fields

① 生成された test index patternに関する情報を確認します。

Select Index pattern

① 生成された index patternを利用する際は Discover メニューを選択します。

② すぐ横のボックス部分を選択すると登録された index patternが表示されます。

test*を選択します。

④ 選択された index patternに含まれた indexのデータが検索されます。

Search Field

① Kibana 検索ウィンドウを利用する際は上で入力した name: yuriを入力して ENTER キーを押して実行します。

name: yuriで検索された結果を確認します。

Notification

① クラスタ生成、ノードの追加など時間がかかる作業が進められる場合など通知情報がある際は、右上のベルの形のNotificationに赤字の数字が表示されます。

② ベル部分をクリックすると通知内容を確認できます。

SSHサーバにアクセスする

SSHを使用してマネージャーノードに接続

SSHを使用して Elasticsearch Service クラスタ内にマネージャーノードに接続する方法をご説明します。

事前作業

SSH アクセスのための情報を確認します。

① マネージャーノードの ACGを確認します。ACG設定はACG へショートカットメニューから変更できます。

  • Elasticsearch Serviceは基本的に必ず必要なポート以外は全て遮断するように設定されています。
  • SSH接続のためには当該クラスタに適用されたACGに 22番ポートが開かれていなければなりません。

②アクセスガイドを確認します。

③ マネージャーノードのパブリック IPを確認します。

④ 認証キーを確認します。サーバにアクセスするためには必ず認証キーが必要です。

ACG を設定する

① SSHアクセスに必要なルールを設定するACGを選択します。画像ではマネージャーノードのACGを選択しました。

ACG 設定をクリックしてルール設定画面に移動します。

該当するACGに追加が必要なルールを入力します。

① プロトコルを選択します。

② アクセスソース情報を入力します。

  • myip ボタンをクリックして本人のパブリックIPアドレスを確認して当該IPアドレスをアクセスソースに登録します。

注意

全てのIPアドレス帯域を含むインターネット全体を対象に(IPアドレス: 0.0.0.0/0) アクセスソースを許可する場合、セキュリティ上非常に脆弱で外部から攻撃を受け、クラスタで実行している作業に影響を及ぼす可能性があるので注意が必要です。

③ 許可するポートを登録します。

  • 特定ポートや範囲で登録できます。

追加をクリックすると下のリストに入力した情報が表示されます。

⑤ 入力したルールをもう一度確認して 適用をクリックすると該当するルールがACGに適用されます。

注意

以前登録されているルールは Elasticsearch Service 管理のために必要な ACGルールです。

ユーザーが任意で削除したり修正するとクラスタの動作に影響を及ぼすことがありますのでご注意ください。(ACG使用ガイド を参照).

マネージャーノードのSSH アクセス

パブリックIPアドレスが割り当てられたマネージャーノードにのみ外部から SSH直接アクセスが可能です。

[Case 1] macOSまたはLinux

macORlinux

① ターミナルウィンドウを開きます。

  • macOS X: Application > Utilities > Terminal
  • Linux: Application > Accessories > Terminal

② .pem ファイルがあるルートに移動します。

cd /path

③ chmod 命令を使用してプライベートキーファイルを公開で見れないように変更します。

chmod 400 key.pem

④ マネージャーノードに接続する際は以下の命令語を入力します。key fileはElasticsearch Serviceクラスタ生成の際に選択した.pem ファイル名です。

Public IPは Elasticsearch Service コンソール > 詳細をみる > Public IP 項目から確認できます。

ssh -i /path/(key file).pem sshuser@(public_ip)

⑤ セキュリティ警報が出たら yesを入力するとマネージャーノードにアクセスできます。

[Case 2] Windows

Windows

事前作業

PuTTYではElasticsearch Serviceで生成されたプライベートキー形式(.pem)を基本的にサポートしません。

PuTTYから提供するPuTTYgenというツールを使用するとキーをPuTTYで使用する形式(.ppk)に変換できます。

PuTTYを使用してマネージャーノードに接続する前にプライベートキーをこの形式(.ppk)に変換する必要があります。

PuTTYgenを始めます(スタートメニューから All Programs > PuTTY > PuTTYgen)。

Type of key to generateから RSAを選択します。

Loadをクリックしてクラスタ生成の際に指定した認証キーに対する .pemファイルを選択してOpenをクリックします。OKをクリックして確認ダイアログボックスを閉じます。

.pem ファイルを探す際は全てのタイプのファイルを表示するオプションを選択します。

.pem ファイルは現在クラスタに適用されている認証キーのファイル名であり、ユーザのローカルパソコンに当該 .pemファイルが保存されていなければなりません。

.pem ファイルを失くした場合は コンソール > サーバアクセス管理 > クラスタ直接アクセスの認証キー管理 メニューからアクセスする認証キーを変更できます。

.ppk ファイルを保存する

① 認証キーが正常に Loadされると認証キー情報を確認します。

Save private keyを選択してPuTTYで使用できる形にキーを保存します。

③ PuTTYgenでパスワードなしでのキー保存に関する警告が表示されたら Yesを選択します。

④ 以前生成した認証キーと同じ名前で保存します。PuTTYが自動で .ppkファイル拡張子を追加します。

サーバアクセス

Category ウィンドウから Connection, SSHを拡張した後 Authを選択します。

Browseをクリックします。 1) .pem ファイルを返還して生成した .ppk ファイルを選択して Openをクリックします。 2) Openをクリックして PuTTY セッションを選択します。

③ PuTTYで Category ウィンドウから Sessionを選択します。

④ サーバアクセスのための情報を入力します。

sshuser@パブリックIP

Connection typeSSHを選択して、Port22を入力します。

Openを選択します。

⑥ マネージャーサーバにアクセスしました。

に対する検索結果は~件です。 ""

    に対する検索結果がありません。 ""

    処理中...