사용하기 전에

Q. Cloud Hadoop 서버에는 어떻게 직접 접속할 수 있나요?

  • 외부에서는 클러스터 내에 공인 IP가 할당된 마스터 노드로 SSH 접속이 가능합니다. 마스터 노드 접속 후에 다른 노드에 접속도 SSH를 통해 가능합니다.

Q. 클러스터 접속에 필요한 정보는 어디서 확인할 수 있나요?

  • Cloud Hadoop 콘솔 화면에서 생성한 클러스터의 상세 보기 화면에서 Ambari server host, 클러스터 직접 접속 계정명, 공인 IP 주소 등 클러스터 접속에 필요한 정보 확인이 가능합니다.

Q. Ambari 웹 UI 접속은 어떻게 하나요?

  • Cloud Hadoop 콘솔 화면에서 Application별 보기 메뉴를 통해 바로가기 링크를 제공합니다.

Q. Ambari 접속 계정의 패스워드를 잊어버리면 어떻게 하나요?

  • 클러스터 생성 시 사용자가 입력한 클러스터 관리자 계정 및 패스워드 정보가 초기 설정됩니다. 클러스터 관리자 계정은 생성 이후 변경할 수 없습니다.
  • 단, 패스워드 분실 시 Cloud Hadoop 콘솔 > 클러스터 관리 > 클러스터 관리자 패스워드 초기화 메뉴에서 패스워드를 초기화할 수 있습니다.

SSH를 사용하여 마스터 노드 연결

SSH를 사용하여 Cloud Hadoop 클러스터 내에 마스터 노드에 연결하는 방법에 대한 설명입니다.

Linux, Unix 및 macOS 시스템은 SSH 및 SCP 명령을 제공합니다. SSH 클라이언트는 일반적으로 Linux 또는 Unix 기반 시스템에서 원격 명령줄 세션을 만드는 데 사용됩니다.

SCP 클라이언트는 클라이언트와 원격 시스템 간에 파일을 안전하게 복사하는 데 사용됩니다.

사전 작업

Cloud Hadoop은 기본적으로 꼭 필요한 포트 외엔 모두 차단하도록 설정되어 있습니다. SSH 연결을 위해서는 해당 클러스터에 적용된 ACG에 22번 포트가 열려 있어야 합니다.

1532661671455

ACG 설정은 클러스터 상세 정보 화면에서 ACG 바로가기 메뉴를 통해 변경할 수 있습니다.

1532662106866

① 클러스터에 적용된 ACG 이름을 선택합니다.

ACG 설정을 클릭하여 규칙 설정 화면으로 이동합니다.

해당 ACG에 추가가 필요한 규칙들을 입력합니다.

1532669529749

① 프로토콜을 선택합니다.

② 접근 소스 정보를 입력합니다.

  • myip 버튼을 클릭해서 자신의 공인 IP 주소를 확인하고 해당 IP 주소를 접근 소스에 등록합니다.

주의

모든 IP 주소 대역을 포함한 인터넷 전체를 대상으로(IP 주소: 0.0.0.0/0) 접근 소스를 허용하는 경우, 보안상 매우 취약하여 외부로부터 공격이 들어와 클러스터에서 수행 중인 작업에 영향을 미칠 수 있으니 주의가 필요합니다.

③ 허용할 포트를 등록합니다.

  • 특정 포트나 범위로 등록이 가능합니다.

추가를 클릭하면 아래 리스트에 입력한 정보가 보입니다.

⑤ 입력한 규칙을 한번 더 확인한 후 적용을 클릭하면 해당 규칙이 ACG에 적용됩니다.

주의

기존에 등록되어 있는 규칙은 Cloud Hadoop 관리를 위해 필요한 ACG 규칙입니다. 사용자가 임의로 삭제하거나 수정할 경우 클러스터 동작에 영향을 미칠 수 있으니 주의해 주세요(ACG 사용 가이드 참고).

마스터 노드 SSH 접속

공인 IP 주소가 할당된 마스터 노드에만 외부에서 SSH 직접 접속이 가능합니다.

[Case 1] macOS 또는 Linux

macORlinux

① 터미널 창을 엽니다.

  • macOS X: Application > Utilities > Terminal
  • Linux: Application > Accessories > Terminal

② .pem 파일이 있는 경로로 이동합니다.

cd /path

③ chmod 명령을 사용하여 프라이빗 키 파일을 공개적으로 볼 수 없도록 변경합니다.

chmod 400 key.pem

④ 마스터 노드에 연결하기 위해 아래 명령어를 입력합니다. key file은 Cloud Hadoop 생성 시 선택한 .pem 파일명입니다.

Public 도메인은 Cloud Hadoop 콘솔 > 상세보기 > Public 도메인 항목에서 확인할 수 있습니다.

ssh -i /path/(key file).pem sshuser@(Public 도메인).hadoop.ntruss.com or
ssh -i /path/(key file).pem sshuser@(public_ip)

⑤ 보안 경고가 나오면 yes를 입력하면 마스터 노드에 접속됩니다.

[Case 2] Windows

Windows

사전 작업

PuTTY에서는 Cloud Hadoop에서 생성된 프라이빗 키 형식(.pem)을 기본적으로 지원하지 않습니다. PuTTY에서 제공하는 PuTTYgen이라는 도구를 사용하면 키를 PuTTY에서 사용하는 형식(.ppk)으로 변환할 수 있습니다. PuTTY를 사용하여 마스터 노드에 연결하기 전에 프라이빗 키를 이 형식(.ppk)으로 변환해야 합니다.

① PuTTYgen을 시작합니다(시작 메뉴에서 All Programs > PuTTY > PuTTYgen).

Type of key to generate에서 RSA를 선택하고 Load를 클릭합니다.

③ .pem 파일을 찾으려면 모든 유형의 파일을 표시하는 옵션을 선택합니다.

  • .pem 파일은 현재 클러스터에 적용되어 있는 인증키의 파일명이며 사용자 로컬 PC에 해당 .pem 파일이 저장되어 있어야 합니다.
  • .pem 파일을 분실했을 경우 콘솔 > 서버 접속 관리 > 클러스터 직접 접속 인증키 관리 메뉴에서 접속하는 인증키를 변경할 수 있습니다.

④ 클러스터 생성할 때 지정한 인증키에 대한 .pem 파일을 선택한 다음 Open을 클릭합니다. OK를 클릭하여 확인 대화 상자를 닫습니다.

Save private key를 선택하여 PuTTY에서 사용할 수 있는 형식으로 키를 저장합니다.

PuTTYgen에서 암호 없이 키 저장에 대한 경고가 표시되면 Yes를 선택합니다. 기존 생성한 인증키와 동일한 이름을 지정합니다.

PuTTY가 자동으로 .ppk 파일 확장자를 추가합니다.

서버 접속

① PuTTY에서 Category 창에서 Session을 선택하고 Host Name 정보를 입력합니다.

sshuser@공인IP또는publicDNS

Connection typeSSH를 선택하고, Port22를 입력합니다.

Category 창에서 Connection, SSH를 확장한 다음 Auth를 선택합니다.

1) Browse를 클릭합니다. 2) .pem 파일을 변환하여 생성한 .ppk 파일을 선택한 다음 Open을 클릭합니다. 3) Open을 클릭하여 PuTTY 세션을 선택합니다.

④ 마스터 서버에 접속되었습니다.

마스터 노드에서 다른 작업자 노드 접속

위에서 접속한 마스터 노드에서 클러스터 내에 다른 노드에 접속할 수 있습니다. 접속하고자 하는 노드의 호스트명이나 사설 IP 주소를 확인한 후 아래와 같은 명령어를 통해 접속할 수 있습니다.

ssh private_ip or ssh hostname

네이버 클라우드 플랫폼 내의 서버에서 클러스터 노드 접속

네이버 클라우드 플랫폼 내 일반 서버에서 Ambari REST API를 수행하거나 데이터 분석을 위해 클러스터 노드로 접속이 필요할 경우 접속 방법에 대해 설명합니다.

네이버 클라우드 플랫폼 내부망에서는 서버들끼리 사설 IP 주소를 사용하여 통신이 가능하고, 내부 통신은 과금 대상에서 제외됩니다.

클러스터 내의 노드들의 사설 IP 주소 정보는 Ambari 웹 UI에서 확인할 수 있습니다.

1532588017619

① Ambari 화면에서 Hosts 메뉴를 선택합니다.

② 접속하고자 하는 호스트의 사설 IP 주소를 확인해서 접속 정보에 추가합니다.

주의 네이버 클라우드 플랫폼 내 일반 서버에서 클러스터 내의 노드로 직접 접속은 차단됩니다.

Ambari 웹 UI 연결

콘솔에서 Application별 보기 메뉴를 통해 Ambari 웹 UI 접속이 가능합니다.

1532588017619

연관 정보 바로가기

Hadoop 클러스터 생성, 관리 및 사용 관련하여 아래 사용 가이드를 참고하실 수 있습니다.

""에 대한 건이 검색되었습니다.

    ""에 대한 검색 결과가 없습니다.

    처리중...