Cloud Hadoop 클러스터에서 Hue 사용

목차
Hue 소개
Hue 접속
Hive 쿼리 실행
브라우저 조회

이 페이지에서는 Cloud Hadoop 클러스터에서 Hue의 기능과 Hue에서 Hive 편집기, Hue 브라우저 사용 방법을 알아보겠습니다.

Hue는 Core Hadoop과 Spark Hadoop Type에서 사용 가능한 컴포넌트입니다.

Hue 소개

Hue(Hadoop User Experience)는 Apache Hadoop 클러스터와 함께 사용되는 웹 기반 사용자 인터페이스입니다.

Hue는 다른 Hadoop 에코시스템과 함께 그룹화되어 Hive 작업 및 Spark Job 등을 실행할 수 있습니다.

Cloud Hadoop 클러스터의 Hue는 다음 구성 요소를 지원합니다.

  • 브라우저

    • 문서: Hue에서 저장한 Workflow, 쿼리, 스크립트 파일을 볼 수 있음
    • 파일: HDFS에 저장된 파일을 볼 수 있음
    • S3: Object Storage 버킷에 저장된 파일을 볼 수 있음
    • 테이블: Hive Warehouse에 저장된 테이블을 볼 수 있음
    • Job: 실행한 Oozie Job의 상태, 로그를 볼 수 있음
  • 편집기

    • Hive: Hive Query를 실행할 수 있음
    • Scala, PySpark: spark-shell처럼 Interactive하게 구문을 실행할 수 있음
    • Spark Submit Jar, Spark: 각각 jar, py 파일을 Spark Job으로 제출할 수 있음
    • Java: jar를 Oozie Workflow를 통해 실행할 수 있음
    • Distcp: Distcp 작업을 Oozie Workflow를 통해 실행할 수 있음
    • Shell: .sh 파일을 Oozie Workflow를 통해 실행할 수 있음
    • MapReduce: MapReduce 애플리케이션을 Oozie Workflow를 통해 실행할 수 있음
  • 스케줄러

    • Workflow: Oozie Workflow를 생성할 수 있음
    • 예약: 생성한 Workflow를 스케줄링할 수 있음

Hue 접속

Hue는 Core Hadoop과 Spark Type에 기본적으로 설치되고 다음 2가지 방법으로 접속이 가능합니다.

Hue web UI 연결

콘솔에서 Application 별 보기를 통해 Hue web UI 접속이 가능합니다. Application 별 보기를 클릭하면 다음과 같은 팝업 창이 나타납니다.

확인을 클릭하여 팝업 창을 닫은 후 Application 별 보기 > Hue Admin을 클릭합니다.

공인 IP 주소를 이용한 연결

공인 IP 주소를 이용하여 Hue web UI에 접속하기 위해서는 다음 순서대로 진행합니다.

  1. 콘솔 > 클러스터 상세보기 화면에서 공인 IP 주소를 확인합니다.
  2. 웹 브라우저 주소 입력란에 다음과 같이 공인 IP 주소와 포트 번호를 입력하여 Hue 웹페이지를 엽니다.

     http://{공인 IP 주소}:8000
    

    Hue 로그인

  • 클러스터 생성 시 입력한 클러스터 관리자 계정 및 패스워드를 통해 Hue web UI 접속이 가능합니다.
  • 콘솔에서 클러스터 관리자 계정을 초기화하더라도 Hue 계정 정보는 초기화되지 않습니다. 패스워드는 Hue 웹페이지에서 변경해야 합니다.

Hive 쿼리 실행

  1. 상단 메뉴 바에서 쿼리 ->Hive(Hive UI)를 클릭하여 편집기를 엽니다.

  2. 편집창에서 쿼리를 실행할 DATABASE를 목록에서 선택합니다.

    Query Editor 창에서 쿼리를 입력하고 실행 버튼 ➤를 클릭하면 쿼리가 실행됩니다.

    결과 탭에서는 실행한 쿼리의 결과를 볼 수 있습니다.

    쿼리 기록 탭에서 실행하였던 쿼리 목록을 확인할 수 있습니다.

브라우저 조회

  1. 상단 메뉴바에서 브라우저를 클릭합니다.

  2. 파일 브라우저는 HDFS 아래 파일들을 조회할 수 있습니다.

    hdfs의 기본 디렉터리 주소는 'hdfs://user/계정명'입니다. 계정명 앞이나 root의 슬래시를 클릭하여 이동이 가능합니다. 새로 만들기를 클릭하여 새로운 파일이나 디렉터리를 생성할 수 있습니다. 또한 +업로드를 클릭하여 현재의 디렉터리에 파일을 업로드할 수 있습니다.

  3. S3 브라우저로는 사용자의 API ACCESS KEY로 인증할 수 있는 모든 버킷을 조회할 수 있습니다.

    s3의 기본 디렉터리 주소는 's3a://버켓이름'입니다. root의 슬래시를 클릭하여 이동이 가능합니다. 새로 만들기를 클릭하여 새로운 파일이나 디렉터리를 생성할 수 있습니다. 또한 +업로드를 클릭하여 현재의 디렉터리에 파일을 업로드할 수 있습니다.

  4. 테이블 브라우저는 Hive에서 생성한 데이터베이스와 테이블을 조회할 수 있습니다.

연관 정보 바로가기

Hadoop 클러스터 생성, 관리 및 사용 관련하여 아래 사용 가이드를 참고하실 수 있습니다.

""에 대한 건이 검색되었습니다.

    ""에 대한 검색 결과가 없습니다.

    처리중...