musiclogs.org::blog » PROGRAMMING

Hadoopのサンプルwordcountを動かす件

tomoya — Wed, 04 May 2011 15:39:58 +0000

ゴールデンウィークなので、前から気になっていたHadoopを下記本を参考にしつつ遊んでおります。
Hadoop徹底入門

インフラエンジニアとしてはイメージはつきました。でも、開発エンジニアとしては業務で利用する方法がイメージついてないって感じですかね。
以下サンプル動かしたときのログ。

環境はOracle Enterprise Linux 6(64bit)とHadoop 0.21.0です。

HadoopについているREADME.txtでwordcountを動かそうとしたけど、Input path does not exist: hdfs://・・・と表示される。カウントさせたいREADME.txtが見つからないようだ。

[hadoop@myhost hadoop]$ ./bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount README.txt /tmp/mapreduce2
11/05/05 00:06:49 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/05 00:06:50 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
11/05/05 00:06:50 WARN mapreduce.JobSubmitter: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
11/05/05 00:06:51 INFO mapreduce.JobSubmitter: Cleaning up the staging area hdfs://localhost:54310/hadoop/mapred/staging/hadoop/.staging/job_201105041812_0017
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hadoop/README.txt
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:245)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:271)

そもそも、hdfs://localhost:54310/user/hadoop/README.txtってどこよ。。。よくよく調べてみると、OSのファイルシステムでなく、hdfs上を見に行っているらしい。

対処１：事前に下記のようにhdfsにputしてやる

[hadoop@myhost hadoop]$ hdfs dfs -put ./README.txt /tmp
11/05/05 00:04:19 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/05 00:04:19 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id

putした結果をls相当のコマンド(hdfs dfs -ls [Dir Name])でみると下記のように表示される。

[hadoop@myhost hadoop]$ hdfs dfs -ls /tmp
11/05/05 00:04:24 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/05 00:04:24 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
Found 1 items
-rw-r–r– 3 hadoop supergroup 1366 2011-05-05 00:04 /tmp/README.txt

対処２：「file:」で指定する

[hadoop@myhost hadoop]$ ./bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount file:/usr/local/hadoop/README.txt file:/tmp/mapreduce5
11/05/05 00:27:03 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/05 00:27:03 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
11/05/05 00:27:03 WARN mapreduce.JobSubmitter: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
11/05/05 00:27:04 INFO input.FileInputFormat: Total input paths to process : 1
11/05/05 00:27:04 WARN conf.Configuration: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
11/05/05 00:27:04 INFO mapreduce.JobSubmitter: number of splits:1
11/05/05 00:27:04 INFO mapreduce.JobSubmitter: adding the following namenodes’ delegation tokens:null
11/05/05 00:27:04 INFO mapreduce.Job: Running job: job_201105041812_0022
11/05/05 00:27:05 INFO mapreduce.Job: map 0% reduce 0%
11/05/05 00:27:12 INFO mapreduce.Job: map 100% reduce 0%
11/05/05 00:27:18 INFO mapreduce.Job: map 100% reduce 100%
11/05/05 00:27:20 INFO mapreduce.Job: Job complete: job_201105041812_0022

file:と書くとローカルのファイルシステムとして出力してくれるみたい。書かないとhdfs上に書く。

これからプログラミング周りとHiveを研究する予定。

VMwareのSpringSource買収

tomoya — Tue, 11 Aug 2009 13:51:16 +0000

VMwareがRod JohnsonのSpringSourceを買収しました。ネットの記事をみるとSaaSやらPaaSを提供と書いてありますが、私にはTomcatが欲しかったのではないかと思えてなりません。実際vCenterやViewにはTomcatが使われてますし。ただ、私はTomcatもSpring FrameworkもVMwareも好きなので、今後に期待ではあります。

No related posts.

Apache JMeterが動かないときにチェックすること

tomoya — Thu, 27 Nov 2008 14:36:07 +0000

仕事場で「Jmeterが動かないのだけど・・・」と言われた時にチェックしたこと。テスト計画の下にいれてますかスレッドグループを作ってますか結果レポートを作ってますか動かなかったら見てみてください。 No rela

(Read More...) No related posts.

典型的なJava屋

tomoya — Sun, 18 May 2008 12:09:03 +0000

はてなブックマークから拾いました。典型的な Java屋は JSP を使うことに何の疑問も持っていない

講習で話していたのは、自称「JSFエバンジェリスト」という40代ぐらいのおじさんと、その部下かどうか分かんないけど30歳前後ぐらいの技術者。当然、両名ともSUN社員。Javaの仕事をしているSUN社員だから、Java屋のサンプルとしては典型的であり、偏ってないよね?*1 (異論は認める)

んで、終わった後に講師の方を捕まえて、デザイナーとの協業をどう考えているかについて、またJSPの存在価値について聞いてみた。せっかくJSFという新しい技術を開発するなら、JSPやカスタムタグというできの悪い技術を使うよりもTapestryのような筋のいい技術を使ったほうがよかったのではないか、そのほうが.NETやASPとの差別化ができるし、JSPとカスタムタグを使うJSFではデザイナーとの協業が難しい、というようなことを話した。

彼らの回答は驚くべきものだった: 『タペストリーって何ですか?』・・・これには驚いた。なんと、自称JSFエバンジェリストはTapestryの名前さえ知らなかったのだ。

これは、想像つきます。外資のベンダー従業員は現場の仕事はしないのですよ。。。

自社(USの親会社)の技術を日本に展開するのが仕事と見えます。自社の技術に関するスペシャリスト。彼らがコードを書くとしたら、この例で言うと、”いち早くJSFを利用した案件で火が吹いてコンサルとして入る時”じゃないですかね。

JSFについては無茶苦茶詳しい。

でも、代替オープンソースなんて気にしない。

彼らはUSから落ちてくる資料を読むのに忙しいから。

こんな感じになると思う。

個人的にはあまりやりたくない仕事ですけど、US側の会社が面白い技術を連発しているなら、それを追いかけるだけで楽しいんじゃないですかね。

タペストリーを知らないことに疑問を持たれてるようですけど、きっとUSでJSFを開発している人は知っていて、参考にしていたと思いますよ。でも、それはUS側で分業体制になっているから出来るのであって、日本法人は自社(親会社)の関連技術も学ばないとならないから、そんな時間無さそうですよね。

＃トラックバック先をネタに外資について感じるところを書いてしまった・・・。

No related posts.

Effective Java Second Edition

tomoya — Thu, 10 Apr 2008 15:48:20 +0000

ずっと前のエントリで書いたEffective Java SE。これどうなったのだろうとふと思いついて、Amazonで調べたら、英語版が近日発売。

Java5.0対応なハズです。。。

＜追記:2008/05/18＞

第1版の翻訳者である柴田芳樹さんがBlogで翻訳作業開始を告知しています。

『Effective Java 第2版』の翻訳作業を開始

Oracle SOA Suite 10.1.3.1.0(Windows)を試す

tomoya — Sun, 22 Oct 2006 10:56:00 +0000

OracleのApplication Serverの最新版10.1.3.1.0が出ていたのでWindowsにインストールしてみました。zipを解凍した中にsetup.exeがあるのでクリック。インストール要件をクリアすると色々選べます。SOAとして使うとOracleDBへの接続情報が必要。残念ながらOracleDB環境が無いので、Application Serverのみを選択。
すると、こんなエラー(画像)が。

ウチはDHCPだからダメなのね。MS Loopback Adapterを導入しました。

[設定]→[コントロールパネル]→[ハードウェアの追加]→[はい、ハードウェアを接続しています]→[新しいハードウェアデバイスの追加]→[一覧から選択したハードウェアをインストールする]→[ネットワークアダプタ]→[Microsoft]→[Microsoft Loopback Adapter]

上で追加したループバックアダプタにIPを設定します。
例：IP 192.168.1.1 GW 255.255.255.0

windows\system32\dirvers\etc\hostsにhostnameコマンドで表示されたホスト名を書きます。

hostname 192.168.1.1

上記の設定をしたところ問題なくインストールが出来ました。
前のバージョンとの違いをざっとみたところ、

EJB3.0対応

OC4Jインスタンス、OC4Jプロパティ、クラスタ設定をAS Controlで出来る

こんなところですかね。