2009年08月03日

あ〜、やべがった〜

土曜日かな?サイトがおかしくなってました。

原因は、HDDの容量が目一杯になっていました。
正確には、仮想OSの環境下のディスク領域なんですけど。
どうなるかというと、ファイルの書き込みができない状態になります。
アメダスの情報を取得しても結果のファイルが書けなくなる=>表示が変に
ニュースの記事一覧も、ブログの一覧も、取得した情報は全て中間でキャッシュとしてファイルに一時保存しているのでこの辺にも影響が出ました。

土曜日の夜から日曜日の午前中に掛けて、これらの対応をしていました。アクセスできない状況に遭遇した皆様にはご迷惑をおかけしました。

しかし、今回はあせりました。
一瞬、データもろとも仮想OSの環境丸ごとを飛ばしたような状況に陥ってしまったからです。




当サーバは、XenというOS仮想化の仕組みを使って、1台の物理サーバ上で複数のOSを並列で稼動させています。
今回のディスク領域の不足は、この仮想環境のうちの一つで起こったことでした。物理的なサーバとしては空き領域はあるので、この空きを振り分ければ対処としては完了です。
しかし、理屈で出来ることはわかっていても実際にこのような場面に遭遇したことは無いので初めての作業になるわけです。
(この手のメンテをやっていると、初めてのことばかりですけど)
で、仮想OS環境下のファイル領域を拡張しようとしたら、なんとなくその環境をぶっ壊してしまったような気配が。。
もちろん、バックアップは取っていましたので、最初はぜんぜんヘーキとタカをくくっていましたが、バックアップの内容をチェックするコマンドが悪さをしたっぽい現象まで現れ始め、血の気が引きました。

試行錯誤してみましたが、なかなかこれがまずそうな状況で夜明けなのにダークな気分でヘロヘロになっていました。
しかし、気を取り直してあちこち調査しているうちに、ふとしたことに気がつきました。なんと、ちょっとした勘違いで問題の環境は壊れていないことがわかりました。

そこからはとんとん拍子で作業は進み、無事にディスク領域の拡張は完了しました。

−−−−−−−−−−−−−−−−−−−−−−−−−−−−

通常は、たま〜にHDDの空き容量を確認していればDiskFullの状態が来る前になんとか対策するのですが、今回はニュース収集システムを稼動させた後で、ファイル容量の増加分を甘くみていました。

7月初旬から稼動させたニュース記事の収集ですが、データベース上では既に記事数が11万件を超えています。
情報を取得するにあたり、ソースのサイトの情報をクロールした結果と、そこから記事ページだけを抽出した結果を控えとして保存しています。このファイルが、1ヶ月で2GBを超えていました。
それに加えて、データベースシステムでのデータも1GBを超える勢いです。

サーバの用途にも拠りますが、ファイルサーバとか動画や音声などのマルチメディアサーバでもない限り、数GBの空き容量で十分なのです。
少なくとも、このサーバ環境を作ったときは、ニュースをごっそり集めるなんていうことは考えていなかったので、結果として環境が貧弱になってしまいました。

11万件のニュースデータですが、、
ちょっと複雑な検索条件を指定すると(全文検索ですので)結果が得られるまで20秒以上かかる場合も出てきました。
DBのチューニングをほとんどしていないので、今後はパフォーマンスを改善するための調整が課題となってきます。

posted by きっちゃん at 02:43| Comment(0) | TrackBack(0) | みやごじん | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバック
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。