当該コンテンツは、ローカリゼーションサービスを準備しております。早急にローカライズサービスをご提供できるよう、努めております。

Cloud Hadoop 開始する (on VPC)

今回のページでは、民間VPCベースCloud Hadoopクラスタを作成するための手順について説明します。

目次

前処理

1. Object Storage 生成

Object Storageの作成に関する詳細については、 Object Storage ガイドを参照してください。

2. VPC, Subnet 生成

コンソール > VPCで VPC, Subnetを 生成します. を参照してください VPC ガイドを参照してください。クラスタの数に関係なく、VPCは、少なくとも1個が必要です。複数のクラスタを同じVPCに置いて使用することができます。

Cloud Hadoopを生成するためには、少なくとも1つのPublic SubnetとPrivate Subnetが必要です。民間VPC環境では、KR-2リージョンのみVPC環境でのみ生成可能です。ここPrivate Subnet 1個、Public Subnet 2つを作成しました。

VPC SUBNET 1 (PRIVATE) SUBNET 2 (PUBLIC) SUBNET 3 (PUBLIC)
172.16.0.0/16 172.16.0.0/24 172.16.1.0/28 172.16.2.0/28

3. 予想される使用に基づいて、ノードタイプ選択

クラスタの作成

1. クラスタの設定

  • クラスタ名 : 使用するクラスターの名前を入力します。

  • クラスタのバージョン: 現在Cloud Hadoop 1.3と1.4のバージョンを提供しています。バージョンに関する情報は、[リリースノート](./ chadoop-0.md)を参照してください。

  • クラスタタイプ:クラスタタイプは、現在以下のように4つを提供しています。必要なコンポーネントがインストールされてタイプを選択することができます。追加で必要となるサービスがある場合は、クラスタ管理ツールである[Ambari](https://github.com/apache/ambari)** Add Service **機能を使用して追加することができます。

    • Core Hadoop
    • Presto
    • HBase
    • Spark
  • Enable Kerberos Authentication :[Kerberos](https://web.mit.edu/kerberos/)を使用してSecure Hadoopクラスタを構成しようとする場合に選択します。以下の設定値のままにKDCが構成されます。

    • Realm:KDCのRealm情報
    • KDC admin password:KDC adminアカウントのパスワード
  • VPC: [前の仕事](#前の仕事)で作成したVPCを選択します。

  • クラスタ管理者のアカウントとパスワード:Ambari、Hue、Zeppelin UIのアカウントを設定します。

Cloud Hadoop 1.3バージョンのRanger UIのアカウント(ID / Password)は、ここで作成したアカウントではなく、admin / adminに設定されます。 Cloud Hadoop 1.4バージョンのRanger UIのアカウント(ID / Password)は、ここで作成したアカウントではなく、admin /ユーザーが入力したパスワードに設定されます。 バージョンによって違いがありますので、参考お願いいたし。

  • ACG設定:Cloud HadoopはACGを事前に作成することができません。クラスタを作成するたびに、ACGが自動的に生成された形です。ネットワークACLを設定しようとする場合には、自動的に生成されたACGを選択してルールを変更することができます。

    2. ストレージ&サーバの設定

  • Object Storage バケット:[事前作業(#前の仕事)で生成されたObject Storageを選択します。 Cloud Hadoopクラスタは、ここで選択されたバケットからデータを読み取り、/書くことができます。

  • 高可用性のサポート:Cloud Hadoopは、基本的にHDFS Namenode、YARN Resource Manager、Oozie Server、Hive Serverの冗長性を提供します。この仕様は、最小スペックなので、選択は解除することができません。

  • エッジノードSubnet :[エッジノード(./ chadoop-1.md#エッジノード)を位置させることがSubnetを選択します。エッジノードは、Private / Public Subnetの中に位置することができます。ここでエッジノードをPublicに生成されたSubnet(172.16.2.0/28)に位置しました。

  • エッジノードサーバータイプ:エッジノードで使用できるサーバースペックは以下の通りです。
CPU Memory Disk (SSD)
vCPU 4本 8GB 50GB
vCPU 4本 16GB 50GB
vCPU 4本 32GB 50GB
vCPU 8本 16GB 50GB
vCPU 8本 32GB 50GB
vCPU 8本 64GB 50GB
  • エッジノード数: エッジノードの数は、1本で固定されています。

  • マスターノードSubnet :[マスターノード(./ chadoop-1.md#マスターノード)を位置させることがSubnetを選択します。マスターノードは、Private / Public Subnetの中に位置することができます。ここで、マスターノードをPublicに生成されたSubnet(172.16.1.0/28)に位置しました。

  • マスターノードサーバータイプ:マスターノードで使用できるサーバースペックは以下の通りです。マスターノードのコンポーネントが多いのでMemory 16GB以上での使用をお勧めします。

CPU Memory Disk (SSD)
vCPU 4本 8GB 50GB
vCPU 4本 16GB 50GB
vCPU 4本 32GB 50GB
vCPU 8本 16GB 50GB
vCPU 8本 32GB 50GB
vCPU 8本 64GB 50GB
vCPU 16本 32GB 50GB
vCPU 16本 64GB 50GB
vCPU 16本 128GB 50GB
vCPU 32本 64GB 50GB
vCPU 32本 128GB 50GB
vCPU 32本 256GB 50GB
  • マスターノード数:Cloud Hadoopは、最小仕様で高可用性を提供するため、マスターノードの数は2個で固定されています。

  • マスターノードストレージタイプ:ディスクタイプを選択します。 SSDとHDDの中から選択することができます。

  • マスターノードのストレージ容量:ディスク容量を選択します。最小100GBから2Tまで選択することができ、10GB単位で指定することができます。

選択されたマスターノードのスペック通り、2つのマスターノードが作成されます。

  • 作業者ノードSubnet :[オペレータノード(./ chadoop-1.md#作業者ノード)を位置させることがSubnetを選択します。作業者ノードは、Private Subnet内のみ位置することができます。ここで、作業者のノードをPrivateに生成されたSubnet(172.16.0.0/24)に位置しました。

  • 作業者ノードサーバータイプ:作業者ノードで使用できるサーバースペックは以下の通りです。

CPU Memory Disk (SSD)
vCPU 4本 8GB 50GB
vCPU 4本 16GB 50GB
vCPU 4本 32GB 50GB
vCPU 8本 16GB 50GB
vCPU 8本 32GB 50GB
vCPU 8本 64GB 50GB
vCPU 16本 32GB 50GB
vCPU 16本 64GB 50GB
vCPU 16本 128GB 50GB
vCPU 32本 64GB 50GB
vCPU 32本 128GB 50GB
vCPU 32本 256GB 50GB
  • 作業ノード数:オペレータノード数は、1〜8個の選択することができます。作業者ノードは、クラスタの作成後にも追加/削除を行うことができますので、実際の使用量が予想と異なる場合調節することができます。

  • 作業者ノードストレージタイプ:ディスクタイプを選択します。 SSDとHDDの中から選択することができます。

  • 作業者ノードのストレージ容量:ディスク容量を選択します。最小100GBから2Tまで選択することができ、10GB単位で指定することができます。

{% hint style = "info" %} 選択された作業者ノードのスペック通り同じように、すべての作業者のノードが作成されます。 {% endhint %}

  • プラン:アカウントの作成時に選択された料金プランが適用されます。

サーバースペックの調整(scale up / down)は、提供していないので、最初にクラスタを構成する際に予想される使用とノードの役割(エッジ/マスター/オペレータ)を考慮して選択する必要があります。

Public Subnet中属するノードの場合、ノードの外部への通信が可能です。 Sqoopなどを使用して、クラウドのHadoopクラスタで外部データストアにデータを送信するには、クライアントがインストールされてエッジまたはマスターをPublic Subnetに位置必要があります。

3.認証キーの設定

![](./ images / chadoop-2-1-03.png)

ノードに直接接続するときに必要なSSH認証キーを設定します。事前に作成しておいたキーがあれば、そのまま使用することができ、新たに生成することもできます。クラスタの作成後に認証キーを変更することができます。

4. 最終確認

前のページで選択した内容を最終確認するページです。修正が必要な場合に戻って変更することができます。ここCloud HadoopのためのACGは自動生成されます。選択したクラスタタイプによって異なりますが、通常30〜50分以内に生成が完了します。

に対する検索結果は~件です。 ""

    に対する検索結果がありません。 ""

    処理中...