hadoop

speculative execution を false にする

投機的実行というのか、バックアップなのかで動く、同じタスクが複数実行されるのを抑制するとおもわれるオプション。 以下のものをfalseにする mapred.map.tasks.speculative.execution mapred.reduce.tasks.speculative.executionあとは、バックアップタス…

hadoop eclipse plugin を eclipse helios などでつかう。

[#MAPREDUCE-1280] Eclipse Plugin does not work with Eclipse Ganymede (3.4) - ASF JIRA https://issues.apache.org/jira/browse/MAPREDUCE-1280cdh3u0の環境に対して hadoop-0.20.2.tar.gz のなかにあるeclipseプラグインでは、うまく動かなかった。 clo…