読者です 読者をやめる 読者になる 読者になる

pandazx's blog

Hadoop, データ分析など雑多な技術ブログ

MapReduceの実行時エラー:Type mismatch in key from map

Hadoop MapReduce

keyだけでなく、Type mismatch in value from map というようにvalueのエラーもある

このエラーには以下のようなメッセージが続く
expected org.apache.hadoop.io.Text, recieved org.apache.hadoop.io.LongWritable

期待してない型を受け取ったためのエラーだが、
MapReduceで通常、そのようなミスをすると、もっと前の段階でエラーになるのでわかりやすい

上記エラーが出るのは以下のように旧API(mapred), 新API(mapreduce)を
混ぜた場合に発生する

import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.mapreduce.Job;

色々なサイトを参考にして作ると、このような新旧APIの混同が起きる場合があるので
注意されたし

参考:
hadoop - Type mismatch in key from map: expected .. Text, received ... LongWritable - Stack Overflow