musiclogs.org::blog » Linux

CentOSにCloudStackをインストール

tomoya — Thu, 01 Sep 2011 16:23:09 +0000

CitrixのCloudStackがオープンソース＆無償化されました。CloudStackはOSS版と商用版があったのですが、その垣根がなくなっての、OSS化になります。ラスベガスで行われているVMwareのVMWorldに当ててきたようで、管理系もコモディティ化してやろうという事のようです。

という訳で、早速Managerをインストールしました。
一応正規のインストール手順を意識していますが、MacBookPro+VMware Fusion上に構成していますので、あくまで管理画面を見てみたいという人向けです。管理画面を触ってみたところ、VLANやらIP Poolの構成などあり、家庭では作れなさそうな感じです。このあたりは、VMwareのvCloud Directorと同じですね。正規のマニュアルはこちらにあります。

■インストール環境

VMware Fusion3.11
CentOS6.0 x86_64
CloudStack 2.2.11

1.CentOSのインストール

OSのパッケージはMinimalです。CloudStackはTomcat+MySQLで動くのですが、インストール時にyumで取ってくるので最小限で問題ないです。また、ホスト名はFQDNである必要があります。

2.CentOSの設定

2-1.SELinuxの設定変更

SELinuxをpermissiveにします。CentOS6.0(RHEL6)系からSELinuxの設定をインストール時に選べなくなりました。

# /usr/sbin/setenforce←設定確認
# vi /etc/selinux/config
SELINUXTYPE=permissive←ここを変更します

ここでCentOSをリブート

2-2.OSのアップデート

一応やっておきます。ここでyumが繋がらないとこれ以降のインストールはしんどいと思います。ちなみに、Proxyを利用する場合は/etc/yum.confにproxy=http://proxy.myhostname.net:8080などと記載する必要があります。

# yum check-update
# yum update

Linux Kernelのアップデートなどがあったときのために、念のためCentOSをリブート。

2-3.hostsファイルの編集

IPv6はサポートしないので、::1の行をコメントアウトし、且つ、localhostのみではなく、ipアドレスとホスト名(FQDN)を記載してください。

3.CloudStackのダウンロード＆インストール

3-1.CloudStackのダウンロード

ここからダウンロードできるので入手し、適切な場所に配置します。なお、本手順では、[Red Hat Enterprise Linux/ CentOS 6]を利用しています。

3-2.解凍

# tar xvf ./CloudStack-oss-2.xxxxxx.tar.gz
# cd ./CloudStack-oss-2.xxxxx

3-3.MySQLのインストール

CloudStackのインストーラ(install.sh)からMySQLをインストールします。なお、CentOS6.0付属のMySQLでも問題なく利用できます。MySQLが既にインストールされている場合は、下記Dの選択肢はメニューに出てきません。

# ./install.sh
Setting up the temporary repository…
Cleaning Yum cache…
Loaded plugins: fastestmirror
0 metadata files removed
Welcome to the Cloud.com CloudStack Installer. What would you like to do?

M) Install the Management Server
A) Install the Agent
B) Install BareMetal Agent
S) Install the Usage Monitor
D) Install the database server
Q) Quit

> D
Installing the MySQL server…
Loaded plugins: fastestmirror
(中略)
Please report any problems with the /usr/bin/mysqlbug script!

[ OK ]
mysqld を起動中: [ OK ]
Done

3-5.MySQLの設定

前掲のマニュアルに従いMySQLの設定を変更します。

# vi /etc/my.cnf
innodb_rollback_on_timeout=1
innodb_lock_wait_timeout=600
max_connections=700

MySQLの再起動が必要そうですが、上記の内容は問題無いように見えるので、このまま行きます。

続いて、MySQLのパスワードを変更します。ここでは、[Cl0udStack]にしました。

# mysql -u root
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 2
(中略)
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the current input statement.

mysql> SET PASSWORD = PASSWORD(‘Cl0udStack’);
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

3-4.Management Serverのインストール

いよいよ、本体をインストールします。先ほどと同様にinstall.shを実行します。この手順によりこれ以降に利用するcloud-xxx系のコマンドが利用できるようになります。

# ./install.sh
Setting up the temporary repository…
Cleaning Yum cache…
Loaded plugins: fastestmirror
7 metadata files removed
Welcome to the Cloud.com CloudStack Installer. What would you like to do?

M) Install the Management Server
A) Install the Agent
B) Install BareMetal Agent
S) Install the Usage Monitor
E) Remove the MySQL server (will not remove the MySQL databases)
Q) Quit

> M
Installing the Management Server…
Loaded plugins: fastestmirror
(中略)
xml-commons-resolver.x86_64 0:1.1-4.18.el6
xz.x86_64 0:4.999.9-0.3.beta.20091007git.el6
xz-lzma-compat.x86_64 0:4.999.9-0.3.beta.20091007git.el6
zip.x86_64 0:3.0-1.el6

Complete!
Done

3-5.CloudStack用DBの設定

続いて、CloudStack用のリポジトリを作ります。3-4の手順で利用できるようになった、[cloud-setup-databases]コマンドを実行します。引数は、作成するリポジトリのユーザ＆パスワード(cloud:xxx)と、作成時に利用するMySQLアカウント(root:xxx)のようです。

# cloud-setup-databases cloud:mypasswd@localhost –deploy-as=root:Cl0udStack
Testing specified deployment credentials on server localhost:3306
Setting up user credentials in:
-> /etc/cloud/management/db.properties … done.
Applying file /usr/share/cloud/setup/create-database.sql to the database on server localhost:3306

3-6.Management Serverのセットアップ＆起動

3-4の手順で利用できるようになった、[cloud-setup-management]コマンドを実行します。ここは実行するだけです。

# cloud-setup-management
Starting to configure CloudStack Management Server:
Configure sudoers … [OK]
Configure Firewall … [OK]
Configure CloudStack Management Server …[OK]
CloudStack Management Server setup is Done!

以上で、インストール作業は終了です。

4.動作確認

インストールしたホストにブラウザでアクセスします。

http://installedhostname:8080/client

初期ユーザとパスワードは、admin:passwordです。

■参考サイト

シトリックスがCloudStack完全無償化でヴイエムウェアを攻撃(@IT)
CloudStackによるプライベートクラウド構築術(@IT)
‎

CentOS6.0をNetworkInstall

tomoya — Mon, 18 Jul 2011 13:51:59 +0000

とあるiPhone&iPadアプリからウチのWordpressサイトへアクセスできないため、ローカル(MacOS X + VMware Fusion)にWordpressの検証環境を構築することにしました。
利用するサーバOSは何でもいいのですが、最近めでたくリリースされたCentOS6.0の64bitにすることにしました。ところが、CentOSのISOイメージをダウンロードしようとしたところ、DVD Imageのダウンロードに15時間と出ていたので、ネットワークインストールしてみた、その記録です。

ネットワークインストール用のISO ImageはCentOSダウンロードサイトのDVD Imageと同じディレクトリに[CentOS-6.0-x86_64-netinstall.iso]という名前であります。ちなみにディレクトリは[・・・CentOS/6.0/isos/]です。(ISOsですね)

1.VMware FusionにMountして起動。
起動画面はこんな感じ。一番上の[Install or upgrade an existing system]を選択します。

2.メディアチェックを実施した後に、インストール方法[Installation Method]を聞かれるので、[URL]を選びます。

3.続いて、このインストーラが利用する、IPアドレスの設定をします。インターネットに接続できるIPを設定してください。
私の環境はVMware Fusionが無線LAN機器のDHCPサーバからIPv4アドレスを取得するので、Enable IPv4 supportを選択し、Dynamic IP cofiguration(DHCP)を選択しました。(IPv6は無効化)

4.ダウンロードするURLを設定します。今回は、[ftp://ftp.jaist.ac.jp/pub/Linux/CentOS/6.0/os/x86_64]を設定しました。64bit版なので、x86_64のディレクトリを指定します。上記はftpですが、httpだとこのように入力します。(こちらはiij)[http://ftp.iij.ad.jp/pub/linux/centos/6.0/os/x86_64/]。大文字小文字が違いますが、これはミラーサイトの設定なので、ご利用になるミラーサイトのURLを入れてください。

5.下記のようにGUIのインストーラが起動します。

6.色々設定後にRPMのダウンロード＆インストールが始まります。

という訳で、ネットワークインストールの方法をご紹介しました。ネットワークインストールは必要となるRPMのみをダウンロードしてインストールするため、ISOでのインストールに比べインストール時間が短くなります。でも、ISOダウンロードは放置なのにこのインストールだと気になって頻繁に進捗状況を確認してしまい、イライラするという。

Hadoopのサンプルwordcountを動かす件

tomoya — Wed, 04 May 2011 15:39:58 +0000

ゴールデンウィークなので、前から気になっていたHadoopを下記本を参考にしつつ遊んでおります。
Hadoop徹底入門

インフラエンジニアとしてはイメージはつきました。でも、開発エンジニアとしては業務で利用する方法がイメージついてないって感じですかね。
以下サンプル動かしたときのログ。

環境はOracle Enterprise Linux 6(64bit)とHadoop 0.21.0です。

HadoopについているREADME.txtでwordcountを動かそうとしたけど、Input path does not exist: hdfs://・・・と表示される。カウントさせたいREADME.txtが見つからないようだ。

[hadoop@myhost hadoop]$ ./bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount README.txt /tmp/mapreduce2
11/05/05 00:06:49 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/05 00:06:50 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
11/05/05 00:06:50 WARN mapreduce.JobSubmitter: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
11/05/05 00:06:51 INFO mapreduce.JobSubmitter: Cleaning up the staging area hdfs://localhost:54310/hadoop/mapred/staging/hadoop/.staging/job_201105041812_0017
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hadoop/README.txt
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:245)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:271)

そもそも、hdfs://localhost:54310/user/hadoop/README.txtってどこよ。。。よくよく調べてみると、OSのファイルシステムでなく、hdfs上を見に行っているらしい。

対処１：事前に下記のようにhdfsにputしてやる

[hadoop@myhost hadoop]$ hdfs dfs -put ./README.txt /tmp
11/05/05 00:04:19 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/05 00:04:19 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id

putした結果をls相当のコマンド(hdfs dfs -ls [Dir Name])でみると下記のように表示される。

[hadoop@myhost hadoop]$ hdfs dfs -ls /tmp
11/05/05 00:04:24 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/05 00:04:24 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
Found 1 items
-rw-r–r– 3 hadoop supergroup 1366 2011-05-05 00:04 /tmp/README.txt

対処２：「file:」で指定する

[hadoop@myhost hadoop]$ ./bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount file:/usr/local/hadoop/README.txt file:/tmp/mapreduce5
11/05/05 00:27:03 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/05 00:27:03 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
11/05/05 00:27:03 WARN mapreduce.JobSubmitter: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
11/05/05 00:27:04 INFO input.FileInputFormat: Total input paths to process : 1
11/05/05 00:27:04 WARN conf.Configuration: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
11/05/05 00:27:04 INFO mapreduce.JobSubmitter: number of splits:1
11/05/05 00:27:04 INFO mapreduce.JobSubmitter: adding the following namenodes’ delegation tokens:null
11/05/05 00:27:04 INFO mapreduce.Job: Running job: job_201105041812_0022
11/05/05 00:27:05 INFO mapreduce.Job: map 0% reduce 0%
11/05/05 00:27:12 INFO mapreduce.Job: map 100% reduce 0%
11/05/05 00:27:18 INFO mapreduce.Job: map 100% reduce 100%
11/05/05 00:27:20 INFO mapreduce.Job: Job complete: job_201105041812_0022

file:と書くとローカルのファイルシステムとして出力してくれるみたい。書かないとhdfs上に書く。

これからプログラミング周りとHiveを研究する予定。

VMware ESXでRHELの準仮想化を動かす

tomoya — Thu, 28 Aug 2008 14:20:15 +0000

ESX3.5でRedhat Enterprise Linuxを準仮想化(Para-Virtual)で利用する方法を調べていました。

結局、2008/08/29の時点では無いようです。

VMwareでParaVirtualを行うには同社が開発したVMI(Virtual Machine Interface)をサポートする2.6.21以降のLinux Kernelである必要があります。ところが現時点のRHELのKernelは最新の5.2でも2.6.18辺りになっています。
RHELにこだわりが無いのであるなら、ESX3.5Update2の場合、SUSE Linux Enterprise Server及びUbuntu 8.04で出来るみたいですね。他のディストリビューションでも2.6.21以上を採用しているものがあるのですが、残念ながらESXのサポート対象ではないようです。(メニューに出てこないという意味?Other Linuxで動くかは不明)

Linuxディストリビューションの比較(wikipedia.org)

ESX3.5リリースノート(vmware.com)

—

UPDATE(2008/11/12)

redhatの各バージョンの採用Kernelの表を見つけました。(Red Hat Knowledgebase Article ID: 5859)

ここから傾向を読み取るにRHEL6.0を待つことになりそうです。

—

UPDATE(2008/11/27)

RHEL5.3Betaのアナウンスによるとカーネルはkernel-2.6.18-120.el5だそうです