사용하기 전에

Q. Cloud Hadoop 클러스터 내에 설치되는 Application의 로그는 어느 경로에 저장되나요?

대부분의 로그는 /var/log 아래 저장됩니다. 각 application별로 로그 파일명이나 저장 주기가 다를 수 있으니 로그 파일 관리가 필요합니다.

Cloud Hadoop 로그 관리

Cloud Hadoop 클러스터에서 오픈 소스의 로그 파일은 기본적으로 서버에 제공된 디스크(HDD)에 저장됩니다.

디스크 저장 공간은 서버당 최대 50GB입니다. 로그가 쌓여 디스크 공간이 모자랄 경우 수행되고 있는 잡이 실패하거나 클러스터 동작에 큰 영향을 줄 수 있습니다.

Cloud Hadoop에서 생성하는 핵심 로그 파일 외에도 YARN을 비롯한 설치된 컴포넌트에서 작업 실행 로그 파일을 생성합니다.

로그 파일의 수와 종류는 설치된 서비스에 따라 다릅니다. 많이 사용되는 서비스로 Apache HBase, Apache Spark 등이 있습니다.

다음은 Cloud Hadoop 내에 설치된 각 구성 요소의 로깅 방법과 로그 파일 저장 위치 및 로그 파일에 대한 정보를 정리한 표입니다.

stack 로그 타입 로그 경로 로그 파일명 저장 주기
Ambari ambari-server /var/log/ ambari-server.log
Ambari ambari-agent /var/log/ ambari-agent.log
hadoop hdfs /var/log/hadoop/hdfs hadoop-hdfs-datanode-hostname.log 1~10까지 rotation
hadoop hdfs /var/log/hadoop/hdfs hadoop-hdfs-datanode-hostname.out 1~5까지 rotation
hadoop hdfs /var/log/hadoop/hdfs hs_err_pidpid번호.log
hadoop hdfs /var/log/hadoop/hdfs hdfs-audit.log.날짜 일별로그 생성
hadoop hdfs /var/log/hadoop/hdfs gc.log-날짜
hadoop hdfs /var/log/hadoop/hdfs SecurityAuth.audit
hadoop namenode /var/log/hadoop/hdfs hadoop-hdfs-namenode-hostname.log 1~10까지 rotation
hadoop namenode /var/log/hadoop/hdfs hadoop-hdfs-namenode-hostname.out 1~5까지 rotation
hadoop ZKFC /var/log/hadoop/hdfs hadoop-hdfs-zkfc-hostname.log
hadoop ZKFC /var/log/hadoop/hdfs hadoop-hdfs-zkfc-hostname.out 1~5까지 rotation
hadoop journalnode /var/log/hadoop/hdfs hadoop-hdfs-journalnode-hostname.log
hadoop journalnode /var/log/hadoop/hdfs hadoop-hdfs-journalnode-hostname.out 1~5까지 rotation
hadoop MR /var/log/hadoop-mapreduce/mapred/hadoop-mapreduce
hadoop Yarn /var/log/hadoop-yarn/yarn nm-audit.log 일별 로그 생성
hadoop Yarn /var/log/hadoop-yarn/yarn yarn-yarn-nodemanager-hostname.log 1~10까지 rotation
hadoop Yarn /var/log/hadoop-yarn/yarn yarn-yarn-nodemanager-hostname.out 1~5까지 rotation
hbase region /var/log/hbase hbase-hbase-regionserver-hostname.log 1~10까지 rotation
hbase region /var/log/hbase hbase-hbase-regionserver-hostname.out 1~5까지 rotation
hbase region /var/log/hbase hbase-hbase-master-hostname.log 1~10까지 rotation
hbase region /var/log/hbase hbase-hbase-master-hostname.out 1~5까지 rotation
hbase region /var/log/hbase SecurityAuth.audit
hbase region /var/log/hbase gc.log-날짜
hive region /var/log/hive hivemetastore.log.날짜 일별로그 생성
hive region /var/log/hive hiveserver2.log.날짜 일별로그 생성
hive region /var/log/hive hiveserver2Interactive.log
hive region /var/log/hive hive-server2-interactive.err
Oozie /var/log/oozie oozie.log-날짜 일별로그 생성
Oozie /var/log/oozie oozie-error.log-날짜 일별로그 생성
Oozie /var/log/oozie oozie-instrumentation.log.날짜 일별로그 생성
spark /var/log/spark
spark /var/log/spark2 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-hostname.out
spark /var/log/sqoop
zookeeper /var/log/zookeeper zookeeper.log
zookeeper /var/log/zookeeper zookeeper-zookeeper-server-hostname.out
Zeppelin Notebook /var/log/zeppelin zeppelin-interpreter-jdbc-zeppelin-hostname.log.날짜 일별로그 생성
Zeppelin Notebook /var/log/zeppelin zeppelin-interpreter-md-zeppelin-hostname.log.날짜 일별로그 생성
Zeppelin Notebook /var/log/zeppelin zeppelin-interpreter-spark-zeppelin-hostname.log.날짜 일별로그 생성
Zeppelin Notebook /var/log/zeppelin zeppelin-zeppelin-hostname.out
Zeppelin Notebook /var/log/zeppelin zeppelin-zeppelin-hostname.log.날짜 일별로그 생성

연관 정보 바로가기

Hadoop 클러스터 생성, 관리 및 사용 관련하여 아래 사용 가이드를 참고하실 수 있습니다.

""에 대한 건이 검색되었습니다.

    ""에 대한 검색 결과가 없습니다.

    처리중...