Cloud HadoopクラスタでHueの使用
このページではCloud HadoopクラスタでのHueの機能とHueでのHive編集機, Hueブラウザの使用方法についてご紹介します。
HueはCore HadoopとSpark Hadoop Typeで使用可能なコンポーネントです。
Hueのご紹介
Hue(Hadoop User Experience)はApache Hadoopクラスタと一緒に利用されるウェブ基盤のユーザーインターフェースです。
Hueは他のHadoopエコシステムと一緒にグループ化されてHive作業及びSpark Jobなどを実行できます。
Cloud Hadoop クラスタのHueは次の構成要素をサポートします。
ブラウザ
- 文書: Hueで保存したWorkflow、クエリ、スクリプトファイルを閲覧できる
- ファイル: HDFSに保存されたファイルを閲覧できる
- S3: Object Storage バケットに保存されたファイルを閲覧できる
- テーブル: Hive Warehouseに保存されたテーブルを閲覧できる
- Job: 実行したOozie Jobの状態、ログを閲覧できる
編集機
- Hive: Hive Queryを実行できる
- Scala, PySpark:
spark-shell
のようにInteractiveに文を実行できる - Spark Submit Jar, Spark: それぞれのjar, py ファイルをSpark Jobに提出できる
- Java: jarをOozie Workflowを通じて実行できる
- Distcp: Distcp 作業をOozie Workflowを通じて実行できる
- Shell: .shファイルをOozie Workflowを通じて実行できる
- MapReduce: MapReduceアプリをOozie Workflowを通じて実行できる
スケジューラ
- Workflow: Oozie Workflowを生成できる
- 予約:生成したWorkflowをスケジューリングできる
Hueアクセス
HueはCore HadoopとSpark Typeに基本的に設置され、次の2つの方法でアクセスできます。
Hue web UI接続
コンソールから Application別にみるを通じてHue web UIにアクセスできます。Application別にみるをクリックすると次のようなポップアップウィンドウが表示されます。
確認をクリックしてポップアップウィンドウを閉じた後、Application別にみる > Hue Adminをクリックします。
パブリックIPアドレスを利用した接続
パブリックIPアドレスを利用してHue web UIにアクセスするためには次の手順で進めます。
- コンソール > クラスタの詳細をみる画面からパブリックIPアドレスを確認します。
ウェブブラウザのアドレス入力欄に次のようにパブリックIPアドレスとポート番号を入力してHueウェブページを開きます。
http://{パブリックIPアドレス}:8000
Hueのログイン
- クラスタ生成の際に入力したクラスタ管理者アカウント及びパスワードを通じてHue web UIアクセスが可能です。
- コンソールでクラスタ管理者アカウントを初期化してもHueのアカウント情報は初期化されません。パスワードは Hueのウェブページで変更しなければなりません。
Hiveクエリの実行
上段のメニューバーから クエリ ->Hive(Hive UI) をクリックして編集機を開きます。
編集ウィンドウでクエリを実行するDATABASEをリストから選択します。
Query Editor ウィンドウでクエリを入力して 実行ボタン ➤をクリックするとクエリが実行されます。
結果 タブからは実行したクエリの結果を確認できます。
クエリ記録 タブから実行したクエリリストを確認できます。
ブラウザの照会
上段のメニューバーから ブラウザをクリックします。
ファイルブラウザはHDFS下のファイルを照会できます。
hdfsの基本ディレクトリアドレスは 'hdfs://user/アカウント名’です。アカウント名の前またはrootのスラッシュをクリックして移動できます。 新たに生成するをクリックした新たなファイルやディレクトリを生成できます。また +アップロードをクリックして現在のディレクトリにファイルをアップロードできます。
S3 ブラウザではユーザーのAPI ACCESS KEYで認証できる全てのバケットを照会できます。
s3の基本ディレクトリアドレスは's3a://バケット名'です。rootのスラッシュをクリックして移動できます。新たに生成するをクリックして新たなファイルやディレクトリを生成できます。また +アップロードをクリックして現在のディレクトリにファイルをアップロードできます。
テーブルブラウザはHiveで生成したデータベースとテーブルを照会できます。
関連情報へショートカット
Hadoopクラスタの生成、管理及び使用については以下の使用ガイドをご参照ください。