네이버 클라우드 플랫폼의 상품 사용 방법을 보다 상세하게 제공하고, 다양한 API의 활용을 돕기 위해 [설명서][API 참조서]를 구분하여 제공하고 있습니다.

Cloud Hadoop API 참조서 바로가기 >>
Cloud Hadoop 설명서 바로가기 >>

사용하기 전에

Q. Cloud Hadoop은 어떤 상품인가요?

  • Cloud Hadoop 상품은 Hadoop 클러스터를 쉽고 간편하게 구축하고 관리할 수 있는 서비스로, Hadoop, HBase, Spark 등의 구성 요소를 만들어 대용량 데이터 처리를 위한 시스템을 구축하고 운영할 수 있습니다.
  • Cloud Hadoop은 오픈 소스 컴포넌트가 구축된 클러스터를 사용자가 자유롭게 사용할 수 있다는 것이 특징입습니다. 터미널을 통한 서버 직접 접속을 허용하고 Ambari를 통해서 제공되는 편리한 클러스터 관리 기능을 통해 사용자가 직접 관리하는 설치형 클러스터 서비스입니다.
  • Cloud Hadoop"은 대량의 자료를 처리할 수 있는 오픈 소스 프레임워크인 Apache Hadoop, HBase, Hive, Spark를 이용하고 있습니다.

Q. 클러스터를 생성하기 전에 미리 준비해야 할 것들이 있나요?

  • 클러스터 생성 전에 클러스터에서 사용할 Object Storage 버킷을 먼저 생성해야 합니다. 생성 절차는 Object Storage 사용 가이드를 참고하세요.
  • 사용량이 얼마나 될지 미리 예측하여, 마스터 노드와 작업자 노드를 어떤 서버 타입으로 생성할지 미리 결정해야 합니다. 서버 생성 후에는 서버 타입을 변경할 수 없습니다.

Q. 마스터 노드와 작업자 노드는 무엇인가요?

  • 마스터 노드: 작업자 노드를 모니터링하는 관리자노드입니다. 고가용성 지원으로 2대의 마스터 노드가 생성되며 개수 변경은 불가능합니다.
  • 작업자 노드: 마스터 노드의 명령을 받고 실제 데이터 분석 등의 작업을 수행하는 노드입니다. 최초 생성은 최소 1개, 최대 8개까지 가능하며, 그 이후에는 동적으로 노드 추가/삭제가 가능합니다.

Q. 클러스터 생성 절차는 어떻게 되나요?

  • 콘솔에 접속한 후 다음의 단계를 통해 쉽게 클러스터를 생성할 수 있습니다.

chadoop-1-1-101

  1. 콘솔 접속: 네이버 클라우드 플랫폼에서 제공하는 콘솔에 접속합니다.
  2. 클러스터 설정: 클러스터 이름, 클러스터 버전, Application 종류, 관리자 계정/패스워드, ACG 등을 정합니다.
  3. 스토리지&서버 설정: Object Storage 버킷, 마스터 노드 서버 타입 및 개수, 작업자 노드 서버 타입 및 개수 등을 정합니다.
  4. 인증키 설정: SSH 접속을 위한 인증키를 정합니다.
  5. 최종 확인: 클러스터 정보, 스토리지 & 서버 정보, 인증키 정보 등 사용자가 선택한 정보를 최종 확인하고 클러스터를 생성합니다.

Q. 클러스터가 생성될 때 운영 체제가 설치되어 제공되는 디스크의 크기는 얼마입니까?

  • Cloud Hadoop 상품의 경우 운영체제를 위한 기본 디스크는 각 노드당 50GB가 기본 제공되며 상품 요금에 포함되어 있습니다.
  • 운영체제가 설치되는 기본 디스크는 용량을 변경할 수 없습니다.

Q. 클러스터 여러 개가 동일한 Object Storage 버킷을 사용할 수 있나요?

  • 다른 클러스터에서 사용 중인 버킷은 사용할 수 없습니다.

클러스터 생성

사전 작업

클러스터 생성 전에 클러스터에서 사용할 Object Storage 버킷을 먼저 생성해야 합니다. Object Storage 버킷은 데이터가 저장되는 공간입니다. 자세한 내용은 Object Storage 사용 가이드를 참고하세요.

Step 1. 콘솔 접속

콘솔에 접속합니다.

chadoop-1-1-102

① 생성한 클러스터가 없으므로 클러스터 생성을 클릭하여 신규 클러스터를 생성합니다.

Step 2. 클러스터 설정

클러스터를 설정합니다.

chadoop-1-1-103

① 클러스터 이름을 입력합니다.

  • 클러스터 이름은 고객이 클러스터를 구분하기 위한 명칭입니다.
  • 일반적으로 2대의 마스터 노드, 다수의 작업자 노드로 구성되고 Object Storage 버킷에 데이터가 저장됩니다.

② 클러스터 버전을 입력합니다.

  • 안정성이 검증된 버전인 Cluster Hadoop 1.0만 지원합니다. 클러스터를 구성하는 Application의 호환성이 보장되어 패키징된 버전입니다.

③ 원하는 클러스터 Type을 선택합니다.

  • 각 클러스터 Type별로 설치되는 컴포넌트가 다르니 용도에 맞게 선택하세요.
    • Core Hadoop: Hadoop을 사용하기 위한 기본 컴포넌트입니다.
    • HBase: 대량의 병렬 분석이 가능하고 빠르게 데이터를 얻을 수 있습니다.
    • Spark: 머신 러닝/데이터 분석에 용이한 프레임워크입니다.

④ 관리자 계정 정보를 입력합니다.

  • Ambari 관리 콘솔 접속을 위해 필요한 관리자 계정명을 입력합니다.(admin, root 계정은 사용할 수 없습니다.)

⑤ Cloud Hadoop을 위한 ACG는 자동 생성됩니다(예: cloud-hadoop-*).

  • 웹 서버 또는 응용 애플리케이션에서 Hadoop 서버에 접근하려면 접근을 원하는 서버 IP 주소 또는 서버가 속한 ACG를 Cloud Hadoop과 함께 생성된 ACG에 추가해야 합니다. 자세한 설정 방법은 ACG 사용 가이드를 참고하세요.

Step 3. 스토리지 & 서버 설정

스토리지와 서버 관련 항목을 설정합니다.

chadoop-1-1-104

① 현재 네이버 클라우드 플랫폼에는 KR-1과 KR-2의 멀티존을 제공하며 Cloud Hadoop 상품은 KR-2 zone만 선택 가능합니다.

② 스토리지는 미리 생성된 Object Storage 버킷 중에서 선택할 수 있습니다.

  • 선택할 수 있는 버킷이 없다면 Object Storage 버킷을 먼저 생성해야 합니다. 자세한 내용은 Object Storage 사용 가이드를 참고하세요.

③ Cloud Hadoop 상품은 고가용성 지원을 반드시 선택해야 하며, 2대의 마스터 노드가 기본 생성됩니다.

④ 원하는 마스터 노드와 작업자 노드의 서버 타입을 선택합니다.

  • vCPU는 4개부터 32개까지, Memory는 8GB부터 256GB까지 선택이 가능합니다.
  • 클러스터 생성 이후 서버 타입은 변경할 수 없습니다.

⑤ 작업자 노드는 최소 1개, 최대 8개까지 생성이 가능하며 클러스터 생성 이후 노드를 추가하거나 삭제하여 개수를 변경할 수 있습니다.

Step 4. 인증키 설정

인증키를 설정합니다.

chadoop-1-1-105

① 인증키 설정

  • 기존 인증키가 없다면 인증키를 발급받아 안전한 위치에 저장합니다. 인증키는 서버 직접 접속 등에 사용됩니다.

Step 5. 최종 확인

설정한 내용을 최종 확인합니다.

chadoop-1-1-106

① 클러스터 이름, 클러스터 Type 등이 정상적으로 설정되었는지 확인합니다.

② 최종 확인 후에는 생성을 클릭하여 클러스터를 생성합니다.

  • 클러스터가 생성되기까지는 클러스터 Type과 노드 수에 따라 약 30~50분 정도 소요됩니다.

클러스터 리스트와 상세 정보 확인

생성한 클러스터는 리스트에서 확인할 수 있으며, 각 클러스터를 클릭하면 상세 정보들을 확인할 수 있습니다.

상세 정보에서는 서버 접근을 위한 Public 도메인, Ambari server host, 고가용성 여부, 클러스터 상태, 공인 IP, ACG 정보 등을 확인할 수 있습니다.

chadoop-1-1-107

① 생성한 클러스터가 목록에 표시됩니다.

② 마스터 노드와 작업자 노드의 정보가 표시됩니다.

③ Public 도메인

  • Cloud Hadoop 상품은 Public 도메인이 기본 설정되어 있으며, 외부망에서 접근이 가능합니다.

④ Ambari server host

  • Ambari web 콘솔에서 사용할 host 정보입니다.

⑤ 클러스터 직접 접속 계정

  • 클러스터의 마스터 노드에 SSH로 직접 접속할 수 있는 계정명입니다.

⑥ 공인 IP

  • Cloud Hadoop 서버에 접속하기 위하여 마스터 노드에 공인 IP 주소가 자동으로 할당되며 SSH로 접속할 수 있습니다.

⑦ ACG

  • Hadoop 클러스터를 위해 자동 생성된 ACG를 확인합니다.
  • 웹 서버 또는 응용 애플리케이션에서 Hadoop 서버에 접근하려면 접근을 원하는 서버 IP 주소 또는 서버가 속한 ACG를 생성된 ACG에 추가해야 합니다.
  • Cloud Hadoop ACG 설정 및 접근 방법은 ACG 사용 가이드를 참고하세요.

연관 정보 바로가기

Hadoop 클러스터 생성 후 관리 및 사용 관련하여 아래 사용 가이드를 참고하실 수 있습니다.

""에 대한 건이 검색되었습니다.

    ""에 대한 검색 결과가 없습니다.

    처리중...