2011年3月20日 星期日

MapReduce 0.20.2 passing parameters to Mapper

MapReduce passing parameter

MapReduce 0.20.2把原來的 JobConf改掉,變成要先用Configuration 設好Config再傳入Job中。

For example:

Configuration conf = new Configuration();

Job job = new Job(conf, "wordcount");

因此0.20.2的傳參數方法 和之前用JobConf的也不一樣

傳的方法變成

在Main function中 用conf.set("key","value")來傳

For example:

Configuration conf = new Configuration();

conf.set("round","1000");

Job job = new Job(conf, "wordcount");

而在Mapper中 只要用context.getConfiguration().get("key") 就可以取出相對應的值了~

For example:

in map(...) function

{

String round = context.getConfiguration().get("round");

...

}

參考Source Code:

http://www.cmlab.csie.ntu.edu.tw/~wfuny/MapReduce/myWordCount.java

沒有留言:

張貼留言