システム障害と闘う〜 エンタープライズ 障害解析1： HBAエラー情報入手の重要性 【サーヴァンツインタナショナル(株)】

いつも突然やって来るのが、大切なお客様からのトラブル発生の通知です。
障害内容は、単純な接続ミスから、障害を再現するまでに数ヶ月の時間を要するものまで千差万別です。

単純な設定・操作ミスなどの場合、障害対策は簡単ですみます。しかし中には、根本原因を見つけるまでに、数ヶ月もかかってしまう場合があります。障害そのものの発生頻度が低く、障害を起こすための条件が複雑であり、またシステムをリセットしてしまうと発生した障害の痕跡が跡形もなくなってしまう、というようなケースです。

そのような障害対策のアプローチには、いかに早く障害を再現できるかという障害発生条件の絞込み、そして障害発生に到るログの取り方の工夫が必要です。障害を発生させるための条件の絞込みにおいて重要なのが、どのような条件の組み合わせをするとより短時間で障害を再現できるのか、というような障害のパターンを見極めることです。そしてその障害に到るまでの動作状況を詳細に見ていくことも肝要です。これらの障害解析のプロセスは数ヶ月の時間を必要とすることもあります。ログの採り方にも、システムレベルログ、HBAドライバレベルのログ、ファイバチャネル上のフレームのやり取りなど様々なレベルがあり、場合によっては全ての組み合わせで数週間におけるランニングテストが行われることもあります。

意外と良く知られていないのは、ログを採ることは、思いのほか性能を犠牲にするということです。いつ発生するかどうか判らない障害に対して、本来の動作に必要の無いログを採るということは、システムのリソース、プロセッサの性能、ログを残すためのストレージ容量などを無駄に使うことにもなります。その対応策として、ログ採取の条件の絞込みを行いますが、絞込みの条件設定を誤ってしまうと、障害を再現できず、更に解析に時間がかかってしまうことにもなりかねません。

ファイバチャネルホストバスアダプタ(HBA)のドライバには拡張ログ機能があり、動作状況をより細かくログに残すことができます。多くの障害は、ドライバが残すログ情報によって解決されますが、稀に複数の条件が重なって初めて障害を起こすようなものや、ドライバ自身が致命的エラーを検知し根本原因のログを残すことなくリトライを行うことがあります。また、複雑な条件がクリティカルなタイミングで発生するような場合、ログ機能を使ったが故に、障害自体が発生しなくなってしまったという事例もあります。そのような場合は、発生した障害に応じて、ログのとり方を工夫したデバックドライバを開発し、顧客システムにおいて運転試験を行ってもらいます。

QLogicの 8G FC HBA http://www.servants.co.jp/qlogic/product/fchba-2560.html には、障害検証現場での様々な問題を通じて培ったQLogicの豊富なノウハウが生かされており、保守担当エンジニアだけでなく、ユーザやベンダの頭をも悩ませてきた障害解析を大幅に効率化し、HBAの保守・解析現場に大きなインパクトをもたらす機能が充実しています。

1） システムレベルにおけるQLogic HBAドライバでのExtended Error Logging機能
2） HBAのハードウェアレベルでのPersistent　Hardware Error Logging機能
3） HBAに搭載されたファイバチャネルASICのファームウェアレベルでのトレース機能.

次回からはそれぞれの機能とそのベネフィットにについて詳しく解説いたします。

当記事、およびQLogic 8Gb HBA SANblade2500シリーズ http://www.servants.co.jp/qlogic/product/fchba-2560.html に関するお問い合わせは下記まで。

----------------------------------------------------
問い合わせ
----------------------------------------------------

会社名： サーヴァンツインタナショナル株式会社 (Servants International Corporation)
所在地： 〒182-0024 東京都調布市布田1-29-2　ビルディング川口3F
TEL： 042-488-9649　/ FAX： 042-488-9648
お問い合わせ： http://www.servants.co.jp/contact/index.html
サーヴァンツ ホームページ： http://www.servants.co.jp/index.html

---------------------------------------------------
サーヴァンツインタナショナル株式会社について
----------------------------------------------------

サーヴァンツインタナショナル(株)は、世界のユニークな先端技術とソリューションを提供している、ハイクオリティ・サービス・プロバイダです。データセンタで活用されるストレージネットワーキング、サーバクラスタリング、海外先進半導体ソリューションのエキスパートとして、海外のメーカーと日本のお客様をつなぐ架け橋となるべく、高品質の製品とサービスをお届けしています。 サーヴァンツインタナショナル(株)は、QLogic社の正規一次代理店(Authorized Distributor）です。

サーヴァンツ ホームページ： http://www.servants.co.jp
サーヴァンツ 会社概要： http://www.servants.co.jp/about/gaiyou.html

----------------------------------------------------
QLogic(キューロジック)について
----------------------------------------------------

QLogic社はコントローラ、ホストバスアダプタ、ファブリック・スイッチをふくむ高性能ストレージ・ネットワーキング・ソリューションのリーディング・サプライヤです。ファイバチャネルHBA、iSCSI HBA、ファイバチャネル・スイッチ、ルータ、インフィニバンドスイッチ、HCAを含む広範な製品を、世界中のエンタープライズ、中小企業様向けに出荷しています。

QLogic 製品情報： http://www.servants.co.jp/qlogic/index.html