使用前に

Q. Cloud Hadoopクラスタ内に設置されるApplicationのログはどのルートに保存されますか?

ほとんどのログは /var/logの下に保存されます。各application別にログファイル名は保存周期が異なることがあるのでログファイルの管理が必要です。

Cloud Hadoopログの管理

Cloud Hadoop クラスタでオープンソースのログファイルは基本的にサーバに提供されたディスク(HDD)に保存されます。

ディスク保存スペースはサーバ当たり最大50GBです。ログが溜まってディスクスペースが足りない場合、実行されているJobが失敗したりクラスタの動作に大きな影響を及ぼすことがあります。

Cloud Hadoopで生成する重要なログファイル以外にもYARNを始めとする設置されたコンポーネントで作業実行ログファイルを生成します。

ログファイルの数と種類は設置されたサービスによって異なります、多く使用されるサービスとしてApache HBase, Apache Spark などがあります。

次はCloud Hadoop内に設置された各構成要素のロギング方法とログファイル保存位置及びログファイルに関する情報を整理した表です。

stack ログタイプ ログルート ログファイル名 保存周期
Ambari ambari-server /var/log/ ambari-server.log
Ambari ambari-agent /var/log/ ambari-agent.log
hadoop hdfs /var/log/hadoop/hdfs hadoop-hdfs-datanode-hostname.log 1~10まで rotation
hadoop hdfs /var/log/hadoop/hdfs hadoop-hdfs-datanode-hostname.out 1~5まで rotation
hadoop hdfs /var/log/hadoop/hdfs hs_err_pidpid番号.log
hadoop hdfs /var/log/hadoop/hdfs hdfs-audit.log.日付 日別ログ生成
hadoop hdfs /var/log/hadoop/hdfs gc.log-日付
hadoop hdfs /var/log/hadoop/hdfs SecurityAuth.audit
hadoop namenode /var/log/hadoop/hdfs hadoop-hdfs-namenode-hostname.log 1~10まで rotation
hadoop namenode /var/log/hadoop/hdfs hadoop-hdfs-namenode-hostname.out 1~5まで rotation
hadoop ZKFC /var/log/hadoop/hdfs hadoop-hdfs-zkfc-hostname.log
hadoop ZKFC /var/log/hadoop/hdfs hadoop-hdfs-zkfc-hostname.out 1~5まで rotation
hadoop journalnode /var/log/hadoop/hdfs hadoop-hdfs-journalnode-hostname.log
hadoop journalnode /var/log/hadoop/hdfs hadoop-hdfs-journalnode-hostname.out 1~5まで rotation
hadoop MR /var/log/hadoop-mapreduce/mapred/hadoop-mapreduce
hadoop Yarn /var/log/hadoop-yarn/yarn nm-audit.log 日別ログ生成
hadoop Yarn /var/log/hadoop-yarn/yarn yarn-yarn-nodemanager-hostname.log 1~10までrotation
hadoop Yarn /var/log/hadoop-yarn/yarn yarn-yarn-nodemanager-hostname.out 1~5まで rotation
hbase region /var/log/hbase hbase-hbase-regionserver-hostname.log 1~10までrotation
hbase region /var/log/hbase hbase-hbase-regionserver-hostname.out 1~5まで rotation
hbase region /var/log/hbase hbase-hbase-master-hostname.log 1~10までrotation
hbase region /var/log/hbase hbase-hbase-master-hostname.out 1~5まで rotation
hbase region /var/log/hbase SecurityAuth.audit
hbase region /var/log/hbase gc.log-日付
hive region /var/log/hive hivemetastore.log.日付 日別ログ生成
hive region /var/log/hive hiveserver2.log.日付 日別ログ生成
hive region /var/log/hive hiveserver2Interactive.log
hive region /var/log/hive hive-server2-interactive.err
Oozie /var/log/oozie oozie.log-日付 日別ログ生成
Oozie /var/log/oozie oozie-error.log-日付 日別ログ生成
Oozie /var/log/oozie oozie-instrumentation.log.日付 日別ログ生成
spark /var/log/spark
spark /var/log/spark2 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-hostname.out
spark /var/log/sqoop
zookeeper /var/log/zookeeper zookeeper.log
zookeeper /var/log/zookeeper zookeeper-zookeeper-server-hostname.out
Zeppelin Notebook /var/log/zeppelin zeppelin-interpreter-jdbc-zeppelin-hostname.log.日付 日別ログ生成
Zeppelin Notebook /var/log/zeppelin zeppelin-interpreter-md-zeppelin-hostname.log.日付 日別ログ生成
Zeppelin Notebook /var/log/zeppelin zeppelin-interpreter-spark-zeppelin-hostname.log.日付 日別ログ生成
Zeppelin Notebook /var/log/zeppelin zeppelin-zeppelin-hostname.out
Zeppelin Notebook /var/log/zeppelin zeppelin-zeppelin-hostname.log.日付 日別ログ生成

関連情報へショートカット

Hadoopクラスタの生成、管理及び使用については以下の使用ガイドをご参照ください。

に対する検索結果は~件です。 ""

    に対する検索結果がありません。 ""

    処理中...