Cloud Hadoop API 参照書へショートカット >>
Cloud Hadoop説明書へショートカット >>

使用前に

Q. Cloud Hadoopはどのような商品ですか?

  • Cloud Hadoop商品はHadoopクラスタを簡単で便利に構築して管理できるサービスです、 Hadoop, HBase, Spark, Presto などの構成要素を作成して大容量データ処理のためのシステムを構築して運営できます。
  • Cloud Hadoopはオープンソースコンポーネントが構築されたクラスタをユーザーが自由に使用できるというのが特徴です。ターミナルを通じたサーバ直接アクセスを許可してAmbariで提供される便利なクラスタ管理機能を通じてユーザーが直接管理する設置型クラスタサービスです。
  • Cloud Hadoopは大量の資料を処理できるオープンソースフレームワークであるApache Hadoop, HBase, Hive, Sparkを利用しています。
  • Cloud Hadoop アーキテクチャのご紹介

Q. クラスタを生成する前に予め準備するものはありますか?

  • クラスタを生成する前にクラスタに使用するObject Storageバケットをまず生成する必要があります。Object Storage使用ガイドをご参照ください。
  • 使用量がどれぐらいになるか予め予測し、マスターノードと作業机ノードをどのサーバタイプで生成するか予め決めておく必要があります。サーバ作成後はサーバタイプを変更できません。

Q. マスターノードと作業机ノードとは何ですか?

  • マスターノード: マスターの役割をするコンポーネントが構成されるノードです。高可用性サポートで2台のマスターノードが生成され、個数の変更はできません。
  • 作業机ノード: 実際にデータ分析などの作業を実行するノードです。最初の生成は最小で1個、最大で8個まで可能で、その後は動的にノードを追加、削除できます。

Q. クラスタ生成の手続きはどうなりますか?

  • コンソールにアクセスして次の段階を通じて簡単にクラスタを生成できます。

chadoop-1-1-101

  1. コンソールへアクセス: NAVERクラウドプラットフォームで提供する コンソール にアクセスします。
  2. クラスタ設定:クラスタ名、クラスタバージョン、Application の種類、管理者アカウント/パスワード、ACGなどを決めます。
  3. ストレージ&サーバ設定: Object Storageバケット、マスターノードサーバタイプ及び個数、作業机ノードサーバタイプ及び個数などを決めます。
  4. 認証キーの設定:SSHアクセスのための認証キーを決めます。
  5. 最終確認:クラスタ情報、ストレージ&サーバ情報、認証キー情報などユーザーが選択した情報を最終確認してクラスタを生成します。

Q. クラスタが生成され際にオペレーティングシステムが設置されて提供されるディスクのサイズはどうなりますか?

  • Cloud Hadoop商品の場合、オペレーティングシステムのための基本ディスクは各ノード当たり50GBが基本提供され、商品料金に含まれています。
  • オペレーティングシステムが設置されている基本ディスクは容量を変更できません。

Q. いくつかのクラスタが同じObject Storageバケットを使用してクラスタを生成することはできますか?

  • 他のクラスタで使用中のバケットはクラスタ生成に使用できません。
  • クラスタ生成後、他のバケットを連動して使用することは可能です。

クラスタの生成

事前作業

クラスタを生成する前にクラスタで使用するObject Storageバケットをまず生成する必要があります。Object Storageバケットはユーザーが分析に必要なデータを保存するスペースです。詳しくは Object Storage使用がイドをご参照ください。

Step 1.コンソールへアクセス

コンソールへアクセスします。

chadoop-1-1-102

① 生成したクラスタがないので クラスタを生成をクリックして新規クラスタを生成します。

Step 2. クラスタの設定

クラスタを設定します。

chadoop-1-1-103

① クラスタ名を入力します。

  • クラスタ名は顧客がクラスタを区別するための名称です。
  • 一般的に2台のマスターノード、多数の作業机ノードで構成されます。

② クラスタバージョンを入力します。

  • 内部のリリース計画によってクラスタバージョンがアップされることがあります。最新バージョンを使われることをお勧めします。
  • 全てのバージョンはクラスタを構成するApplicationの互換性が保障されてパッケージングされたバージョンです。

③ 必要なクラスタTypeを選択します。

  • 各クラスタType別に設置されるコンポーネントが異なるので用途に応じて選択してください。
    • Core Hadoop: Hadoopを使用するための基本コンポーネントです。
    • HBase: Key/value基盤のnosql保存所です。
    • Presto: Prestoは Hadoop YARNの代わりに使用できるクエリエンジンです。 多様な種類のConnectorをサポートするため、各場所に保存されたデータを一つのクエリエンジンで分析するのに適しています。
    • Spark: 大量データセットにinterative計算をする際に適しています。インメモリ構造で MapReduceフレームワークより迅速にタスクを実行できます。また、Data Streaming用途で(Spark Streaming)使用することができます。

④ 管理者アカウント情報を入力します。

  • Ambari Ambari 管理コンソールにアクセスするために必要な管理者アカウント名を入力します。(admin, rootアカウントは使用できません。)

⑤ Cloud HadoopのためのACGは自動生成されます(例: cloud-hadoop-*)。

  • ウェブサーバまたは応用アプリからHadoopサーバにアクセスするためにはアクセスをしようとするサーバIPアドレスまたはサーバが属したACGを Cloud Hadoopと一緒に生成されたACGに追加する必要があります。詳しい設定方法は ACG使用ガイドをご参照ください。

Step 3. ストレージ&サーバ設定

ストレージとサーバ関連項目を設定します。

chadoop-1-1-104

① 現在NAVERクラウドプラットフォームではKR-1とKR-2のマルチゾーンを提供し、Cloud Hadoop商品はKR-2 zoneのみ選択できます。

② ストレージは予め生成されたObject Storageバケットの中から選択できます。

  • 選択できるバケットがなければObject Storageバケットをまず生成する必要があります。詳しくはObject Storage 使用ガイドをご参照ください。

③ Cloud Hadoop商品は高可用性サポートを必ず選択する必要があり、2台のマスターノードが基本で生成されます。

④ 必要なマスタードと作業机ノードのサーバタイプを選択します。

  • vCPUは4個から32個まで、Memoryは8GBから256GBまで選択できます。
  • クラスタ生成後はサーバタイプを変更できません。

⑤ 作業机ノードは最初に生成の際に最小で1個、最大で8個まで生成できます。クラスタ生成後にノードを追加したり削除して個数を変更できます。

Step 4. 認証キーの設定

認証キーを設定します。

chadoop-1-1-105

① 認証キーの設定

  • 保有している認証キーがなければ認証キーを発行して安全な位置に保存します。認証キーはサーバ直接アクセスなどに使います。

Step 5. 最終確認

設定した内容を最終確認します。

chadoop-1-1-106

① クラスタ名、クラスタTypeなどが正常に設定されたか確認します。

② 最終確認後は 生成をクリックしてクラスタを生成します。

  • クラスタが生成されるまではクラスタTypeとノード数によって約30~50分かかります。

クラスタリストと詳細情報の確認

生成したクラスタはリストで確認でき、各クラスタをクリックすると詳細情報を確認できます。

詳細情報ではサーバアクセスのための Public ドメイン、Ambari server host、高可用性の可否、クラスタ状態、パブリックIP、ACG情報などを確認できます。

chadoop-1-1-107

① 生成したクラスタがリストに表示されます。

② マスターノードと作業机ノードの情報が表示されます。

③ Publicドメイン

  • Cloud Hadoop 商品はPublicドメインが基本で設定されており、外部ネットワークでもアクセスできます。

④ Ambari server host

  • Ambari webコンソールで使用するhost情報です。

⑤ クラスタ直接アクセスアカウント

  • クラスタのマスターノードにSSHで直接アクセスできるアカウント名です。

⑥ パブリックIP

  • Cloud HadoopサーバにアクセスするためにマスターノードにパブリックIPアドレスが自動で割り当てられ、 SSHでアクセスできます。

⑦ ACG

  • Hadoopクラスタのために自動生成されたACGを確認します。
  • ウェブサーバまたは応用アプリからHadoopサーバにアクセスするためにはアクセスしようとするサーバIPアドレスまたはサーバが属したACGを生成されたACGに追加する必要があります。
  • Cloud Hadoop ACG の設定及びアクセス方法は ACG使用ガイドをご参照ください。

関連情報へショートカット

Hadoopクラスタ生成後の管理及び使用と関連しては以下の使用ガイドを参照できます。

に対する検索結果は~件です。 ""

    に対する検索結果がありません。 ""

    処理中...