Hue 사용하기

Hue는 Core Hadoop과 Spark Hadoop Type에서 사용 가능한 컴포넌트입니다. 이 페이지에서는 Cloud Hadoop 클러스터에서 Hue의 기능과 Hue에서 Hive 편집기, Hue 브라우저 사용 방법을 알아보겠습니다.

목차

Hue 소개

Hue(Hadoop User Experience)는 Apache Hadoop 클러스터와 함께 사용되는 웹 기반 사용자 인터페이스입니다. Hue는 다른 Hadoop 에코시스템과 함께 그룹화되어 Hive 작업 및 Spark Job 등을 실행할 수 있습니다.

Cloud Hadoop 클러스터의 Hue는 다음 구성 요소를 지원합니다.

  • 브라우저

    • 문서: Hue에서 저장한 Workflow, 쿼리, 스크립트 파일을 볼 수 있음
    • 파일: HDFS에 저장된 파일을 볼 수 있음
    • S3: Object Storage 버킷에 저장된 파일을 볼 수 있음
    • 테이블: Hive Warehouse에 저장된 테이블을 볼 수 있음
    • Job: 실행한 Oozie Job의 상태, 로그를 볼 수 있음
  • 편집기

    • Hive: Hive Query를 실행할 수 있음
    • Scala, PySpark: spark-shell처럼 Interactive하게 구문을 실행할 수 있음
    • Spark Submit Jar, Spark: 각각 jar, py 파일을 Spark Job으로 제출할 수 있음
    • Java: jar를 Oozie Workflow를 통해 실행할 수 있음
    • Distcp: Distcp 작업을 Oozie Workflow를 통해 실행할 수 있음
    • Shell: .sh 파일을 Oozie Workflow를 통해 실행할 수 있음
    • MapReduce: MapReduce 애플리케이션을 Oozie Workflow를 통해 실행할 수 있음
  • 스케줄러

    • Workflow: Oozie Workflow를 생성할 수 있음
    • 예약: 생성한 Workflow를 스케줄링할 수 있음

Hue 접속

Hue는 Core Hadoop과 Spark Type에 기본적으로 설치되고 다음 2가지 방법으로 접속이 가능합니다.

Hue web UI 연결

콘솔에서 Application 별 보기를 통해 Hue web UI 접속이 가능합니다. Application 별 보기를 클릭하면 다음과 같은 팝업 창이 나타납니다.

확인을 클릭하여 팝업 창을 닫은 후 Application 별 보기 > Hue Admin을 클릭합니다.

도메인를 이용한 연결

도메인을 이용하여 Hue web UI에 접속하기 위해서는 다음 순서대로 진행합니다.

  1. 콘솔 > 클러스터 상세보기 화면에서 도메인 주소를 확인합니다.
  2. 웹 브라우저 주소 입력란에 다음과 같이 공인 IP 주소와 포트 번호를 입력하여 Hue 웹페이지를 엽니다.

     https://{도메인주소}:8081
    

    Hue 로그인

  • 클러스터 생성 시 입력한 클러스터 관리자 계정 및 패스워드를 통해 Hue web UI 접속이 가능합니다.
  • 콘솔에서 클러스터 관리자 계정을 초기화하더라도 Hue 계정 정보는 초기화되지 않습니다. 패스워드는 Hue 웹페이지에서 변경해야 합니다.

Hive 쿼리 실행

  1. 상단 메뉴 바에서 쿼리 ->Hive(Hive UI)를 클릭하여 편집기를 엽니다.

  2. 편집창에서 쿼리를 실행할 DATABASE를 목록에서 선택합니다.

    Query Editor 창에서 쿼리를 입력하고 실행 버튼 ➤를 클릭하면 쿼리가 실행됩니다.

    결과 탭에서는 실행한 쿼리의 결과를 볼 수 있습니다.

    쿼리 기록 탭에서 실행하였던 쿼리 목록을 확인할 수 있습니다.

브라우저 조회

  1. 상단 메뉴바에서 브라우저를 클릭합니다.

  2. 파일 브라우저는 HDFS 아래 파일들을 조회할 수 있습니다.

    hdfs의 기본 디렉터리 주소는 'hdfs://user/계정명'입니다. 계정명 앞이나 root의 슬래시를 클릭하여 이동이 가능합니다. 새로 만들기를 클릭하여 새로운 파일이나 디렉터리를 생성할 수 있습니다. 또한 +업로드를 클릭하여 현재의 디렉터리에 파일을 업로드할 수 있습니다.

  3. S3 브라우저로는 사용자의 API ACCESS KEY로 인증할 수 있는 모든 버킷을 조회할 수 있습니다.

    s3의 기본 디렉터리 주소는 's3a://버켓이름'입니다. root의 슬래시를 클릭하여 이동이 가능합니다. 새로 만들기를 클릭하여 새로운 파일이나 디렉터리를 생성할 수 있습니다. 또한 +업로드를 클릭하여 현재의 디렉터리에 파일을 업로드할 수 있습니다.

  4. 테이블 브라우저는 Hive에서 생성한 데이터베이스와 테이블을 조회할 수 있습니다.

""에 대한 건이 검색되었습니다.

    ""에 대한 검색 결과가 없습니다.

    처리중...