使用前に
Q. Cloud Hadoopクラスタ内に設置されるApplicationのログはどのルートに保存されますか？
ほとんどのログは /var/logの下に保存されます。各application別にログファイル名は保存周期が異なることがあるのでログファイルの管理が必要です。
Cloud Hadoopログの管理
Cloud Hadoop クラスタでオープンソースのログファイルは基本的にサーバに提供されたディスク(HDD)に保存されます。
ディスク保存スペースはサーバ当たり最大50GBです。ログが溜まってディスクスペースが足りない場合、実行されているJobが失敗したりクラスタの動作に大きな影響を及ぼすことがあります。
Cloud Hadoopで生成する重要なログファイル以外にもYARNを始めとする設置されたコンポーネントで作業実行ログファイルを生成します。
ログファイルの数と種類は設置されたサービスによって異なります、多く使用されるサービスとしてApache HBase, Apache Spark などがあります。
次はCloud Hadoop内に設置された各構成要素のロギング方法とログファイル保存位置及びログファイルに関する情報を整理した表です。
| stack | ログタイプ | ログルート | ログファイル名 | 保存周期 |
|---|---|---|---|---|
| Ambari | ambari-server | /var/log/ | ambari-server.log | |
| Ambari | ambari-agent | /var/log/ | ambari-agent.log | |
| hadoop | hdfs | /var/log/hadoop/hdfs | hadoop-hdfs-datanode-hostname.log | 1~10まで rotation |
| hadoop | hdfs | /var/log/hadoop/hdfs | hadoop-hdfs-datanode-hostname.out | 1~5まで rotation |
| hadoop | hdfs | /var/log/hadoop/hdfs | hs_err_pidpid番号.log | |
| hadoop | hdfs | /var/log/hadoop/hdfs | hdfs-audit.log.日付 | 日別ログ生成 |
| hadoop | hdfs | /var/log/hadoop/hdfs | gc.log-日付 | |
| hadoop | hdfs | /var/log/hadoop/hdfs | SecurityAuth.audit | |
| hadoop | namenode | /var/log/hadoop/hdfs | hadoop-hdfs-namenode-hostname.log | 1~10まで rotation |
| hadoop | namenode | /var/log/hadoop/hdfs | hadoop-hdfs-namenode-hostname.out | 1~5まで rotation |
| hadoop | ZKFC | /var/log/hadoop/hdfs | hadoop-hdfs-zkfc-hostname.log | |
| hadoop | ZKFC | /var/log/hadoop/hdfs | hadoop-hdfs-zkfc-hostname.out | 1~5まで rotation |
| hadoop | journalnode | /var/log/hadoop/hdfs | hadoop-hdfs-journalnode-hostname.log | |
| hadoop | journalnode | /var/log/hadoop/hdfs | hadoop-hdfs-journalnode-hostname.out | 1~5まで rotation |
| hadoop | MR | /var/log/hadoop-mapreduce/mapred/hadoop-mapreduce | ||
| hadoop | Yarn | /var/log/hadoop-yarn/yarn | nm-audit.log | 日別ログ生成 |
| hadoop | Yarn | /var/log/hadoop-yarn/yarn | yarn-yarn-nodemanager-hostname.log | 1~10までrotation |
| hadoop | Yarn | /var/log/hadoop-yarn/yarn | yarn-yarn-nodemanager-hostname.out | 1~5まで rotation |
| hbase | region | /var/log/hbase | hbase-hbase-regionserver-hostname.log | 1~10までrotation |
| hbase | region | /var/log/hbase | hbase-hbase-regionserver-hostname.out | 1~5まで rotation |
| hbase | region | /var/log/hbase | hbase-hbase-master-hostname.log | 1~10までrotation |
| hbase | region | /var/log/hbase | hbase-hbase-master-hostname.out | 1~5まで rotation |
| hbase | region | /var/log/hbase | SecurityAuth.audit | |
| hbase | region | /var/log/hbase | gc.log-日付 | |
| hive | region | /var/log/hive | hivemetastore.log.日付 | 日別ログ生成 |
| hive | region | /var/log/hive | hiveserver2.log.日付 | 日別ログ生成 |
| hive | region | /var/log/hive | hiveserver2Interactive.log | |
| hive | region | /var/log/hive | hive-server2-interactive.err | |
| Oozie | /var/log/oozie | oozie.log-日付 | 日別ログ生成 | |
| Oozie | /var/log/oozie | oozie-error.log-日付 | 日別ログ生成 | |
| Oozie | /var/log/oozie | oozie-instrumentation.log.日付 | 日別ログ生成 | |
| spark | /var/log/spark | |||
| spark | /var/log/spark2 | spark-spark-org.apache.spark.deploy.history.HistoryServer-1-hostname.out | ||
| spark | /var/log/sqoop | |||
| zookeeper | /var/log/zookeeper | zookeeper.log | ||
| zookeeper | /var/log/zookeeper | zookeeper-zookeeper-server-hostname.out | ||
| Zeppelin Notebook | /var/log/zeppelin | zeppelin-interpreter-jdbc-zeppelin-hostname.log.日付 | 日別ログ生成 | |
| Zeppelin Notebook | /var/log/zeppelin | zeppelin-interpreter-md-zeppelin-hostname.log.日付 | 日別ログ生成 | |
| Zeppelin Notebook | /var/log/zeppelin | zeppelin-interpreter-spark-zeppelin-hostname.log.日付 | 日別ログ生成 | |
| Zeppelin Notebook | /var/log/zeppelin | zeppelin-zeppelin-hostname.out | ||
| Zeppelin Notebook | /var/log/zeppelin | zeppelin-zeppelin-hostname.log.日付 | 日別ログ生成 |
関連情報へショートカット
Hadoopクラスタの生成、管理及び使用については以下の使用ガイドをご参照ください。
