pandazx's blog

データ分析など雑多な技術ブログ

2013-01-14から1日間の記事一覧

MapReduceでJava heap space や physical memory limits エラー

環境:CDH4.1、YARN対象データが大きいとOutOfMemoryエラーなどが出ることがあります。もし、map実行中にJava heap spaceエラーが出たら、mapreduce.map.java.opts の値を大きくするといいかもしれません。reduce実行中のエラーなら、mapreduce.reduce.java.…