Cloud HadoopクラスタでHueの使用

目次
Hueのご紹介
Hueアクセス
Hiveクエリの実行
ブラウザの照会

このページではCloud HadoopクラスタでのHueの機能とHueでのHive編集機, Hueブラウザの使用方法についてご紹介します。

HueはCore HadoopとSpark Hadoop Typeで使用可能なコンポーネントです。

Hueのご紹介

Hue(Hadoop User Experience)はApache Hadoopクラスタと一緒に利用されるウェブ基盤のユーザーインターフェースです。

Hueは他のHadoopエコシステムと一緒にグループ化されてHive作業及びSpark Jobなどを実行できます。

Cloud Hadoop クラスタのHueは次の構成要素をサポートします。

  • ブラウザ

    • 文書: Hueで保存したWorkflow、クエリ、スクリプトファイルを閲覧できる
    • ファイル: HDFSに保存されたファイルを閲覧できる
    • S3: Object Storage バケットに保存されたファイルを閲覧できる
    • テーブル: Hive Warehouseに保存されたテーブルを閲覧できる
    • Job: 実行したOozie Jobの状態、ログを閲覧できる

  • 編集機

    • Hive: Hive Queryを実行できる
    • Scala, PySpark: spark-shellのようにInteractiveに文を実行できる
    • Spark Submit Jar, Spark: それぞれのjar, py ファイルをSpark Jobに提出できる
    • Java: jarをOozie Workflowを通じて実行できる
    • Distcp: Distcp 作業をOozie Workflowを通じて実行できる
    • Shell: .shファイルをOozie Workflowを通じて実行できる
    • MapReduce: MapReduceアプリをOozie Workflowを通じて実行できる

  • スケジューラ

    • Workflow: Oozie Workflowを生成できる
    • 予約：生成したWorkflowをスケジューリングできる

Hueアクセス

HueはCore HadoopとSpark Typeに基本的に設置され、次の2つの方法でアクセスできます。

Hue web UI接続

コンソールから Application別にみるを通じてHue web UIにアクセスできます。Application別にみるをクリックすると次のようなポップアップウィンドウが表示されます。

確認をクリックしてポップアップウィンドウを閉じた後、Application別にみる > Hue Adminをクリックします。

パブリックIPアドレスを利用した接続

パブリックIPアドレスを利用してHue web UIにアクセスするためには次の手順で進めます。

  1. コンソール > クラスタの詳細をみる画面からパブリックIPアドレスを確認します。

  2. ウェブブラウザのアドレス入力欄に次のようにパブリックIPアドレスとポート番号を入力してHueウェブページを開きます。

     http://{パブリックIPアドレス}:8000

    Hueのログイン

  • クラスタ生成の際に入力したクラスタ管理者アカウント及びパスワードを通じてHue web UIアクセスが可能です。
  • コンソールでクラスタ管理者アカウントを初期化してもHueのアカウント情報は初期化されません。パスワードは Hueのウェブページで変更しなければなりません。

Hiveクエリの実行

  1. 上段のメニューバーから クエリ ->Hive(Hive UI) をクリックして編集機を開きます。

  2. 編集ウィンドウでクエリを実行するDATABASEをリストから選択します。

    Query Editor ウィンドウでクエリを入力して 実行ボタン ➤をクリックするとクエリが実行されます。

    結果 タブからは実行したクエリの結果を確認できます。

    クエリ記録 タブから実行したクエリリストを確認できます。

ブラウザの照会

  1. 上段のメニューバーから ブラウザをクリックします。

  2. ファイルブラウザはHDFS下のファイルを照会できます。

    hdfsの基本ディレクトリアドレスは 'hdfs://user/アカウント名’です。アカウント名の前またはrootのスラッシュをクリックして移動できます。 新たに生成するをクリックした新たなファイルやディレクトリを生成できます。また +アップロードをクリックして現在のディレクトリにファイルをアップロードできます。

  3. S3 ブラウザではユーザーのAPI ACCESS KEYで認証できる全てのバケットを照会できます。

    s3の基本ディレクトリアドレスは's3a://バケット名'です。rootのスラッシュをクリックして移動できます。新たに生成するをクリックして新たなファイルやディレクトリを生成できます。また +アップロードをクリックして現在のディレクトリにファイルをアップロードできます。

  4. テーブルブラウザはHiveで生成したデータベースとテーブルを照会できます。

関連情報へショートカット

Hadoopクラスタの生成、管理及び使用については以下の使用ガイドをご参照ください。

に対する検索結果は～件です。 ""

    に対する検索結果がありません。 ""

    処理中...