Hadoopのチューニングをする時に設定項目のdefaultを確認したい場合がある。CDH4の場合は以下のページのメニューの下の方に「core-default.xml」などのリンクがある。 Hadoop MapReduce Next Generation 2.0.0-cdh4.1.2 - Setting up a Single Node Cluster.

以下の記事の意訳。けど、未検証。 HBase: Performance Tuners | Ericsson Labs5000 row/secの処理性能だったところをチューニングにより、750,000 row/secを達成した。 本ブログでは集計プログラムについてのみ説明しているが、次回ブログではランダムアク…

以下の記事の意訳と補足 Apache HBase Write Path | Apache Hadoop for the Enterprise | Cloudera本記事ではHBaseがどうやってHadoop上で低レイテンシな読み書きを実現しているか、また、データの更新が出来ないHadoopでどうやって更新を実現しているかを説…

環境：CDH4.1、YARN対象データが大きいとOutOfMemoryエラーなどが出ることがあります。もし、map実行中にJava heap spaceエラーが出たら、mapreduce.map.java.opts の値を大きくするといいかもしれません。reduce実行中のエラーなら、mapreduce.reduce.java.…

HBaseにbulkloadする際にMapReduceでHFileを作成しますが、その際にデータフローをちゃんと考えておく必要があります。HBaseのスキーマ定義によるが、１つのCellにたくさんのデータを詰める場合、 何も考えないとMapでグルーピングしてReduceで処理する必要…

keyだけでなく、Type mismatch in value from map というようにvalueのエラーもあるこのエラーには以下のようなメッセージが続く expected org.apache.hadoop.io.Text, recieved org.apache.hadoop.io.LongWritable期待してない型を受け取ったためのエラーだ…

前回でHBaseのテーブル作成を学んだ。 HBaseでsplit定義ありのテーブル作成 - pandazx's blog次はデータをインポートするためのHFileを作成する。以下はポイントだけ記述したMapReduceによるHFile作成方法 （サンプルコード。動作保証なし） public class Cr…

以下のコードでHBaseに a100, b100 でsplitされたregionを3つ持つtable_nameのテーブルが作成されます。 （サンプルコードなので以下のコードでは動作確認してません） Configuration config = HBaseConfiguration.create(); config.addResource(new Path("/…