How-to install Ruby and Rails on a Amazon EC2 Server | www.definenull.com
ここで全てが解決。
ハマった所と言えば、
# gem install rails
ERROR: While executing gem ... (Gem::RemoteSourceException)
HTTP Response 302
こんなエラーが出ちゃってしまいました。
理由はrubygemsのバージョンが古いからでした。
(なぜか0.8.4を入れてた。。。)
ってことで一番上のサイトを参考にすればOK
wgetでは最新のファイルを取得する必要はあるけどね。