システムはなぜ脆いか

　この講義で論じる巨大システムとは、多くの構成要素が複雑に連関しながら全体として所期の機能を実現するものである。こうしたシステムは、原子力発電所や大型ジェット機、化学コンピナートのように見た目にも巨大な装置群が威容を誇るものから、コンピュータ・ネットワークのように実体が人の目から隠されたものまで、外見はさまざまだが、一つの共通項がある。すなわち、順調に稼働しているときにはその振舞いは比較的単純なプロセスの連鎖になっているが、ひとたび定常状態を逸脱すると、しばしば設計者にも予想のつかないようなカオス的な振舞いを示すことである。こうした予想不能な振舞いは、非線形な複雑系には一般的に見られる性質で、システムが巨大化したことの必然的な帰結とも言える。

　ある種の非線形系がカオス的な振舞いを示すことは、1960年に気象学者のローレンツによって発見された。彼は、コンピュータを利用した天気予報に応用する目的で、簡単な数学的気象モデルを作って、さまざまな入力値に対する応答を調べていた。ところが、入力値をごくわずか変更しただけなのにもかかわらず、全く違った計算結果が出てくることがわかった。初めのうちは、コンピュータのエラーを疑っていたローレンツも、しだいに、これが考えている数学的モデルそのものに由来する性質であることを納得するに到った。その後、こうした「初期値に対する鋭敏な依存性」を有するモデルは、多くの分野における研究者によって発見されており、決して例外的なケースではなく、むしろ、非線形で不安定性を持つシステムにかなり一般的に見られるものであることがわかってきた。

　人間が作り上げた巨大システムは、定常状態では、ある機能を実現するために稼働しているが、こうした状態は、「自然な」安定性を持っているわけではない。例えば、自転車は、地面に倒れているのが安定平衡状態なのであって、人を乗せて走っているときは、ハンドル操作によるフィードバックを通じて倒れることを免れているのである。したがって、乗り手がハンドルから手を離すと、自転車は、とたんにフラフラしたカオス的振舞いを示し始め、最終的には、横倒しの安定状態に収束する。ここで問題なのは、カオス状態にあるときの自転車の動きは、ケースごとに独自の様相を呈するものであり、例えば、３度左右に揺れてから倒れるとか、必ず右に２周するといった規則性はない。初期状態の僅かな違いが、全く異なった結果を招来するのである。巨大システムのトラブルも、これと同様の振舞いを示すことがある。

　巨大システムの設計者は、当然のことながら、さまざまなバックアップ装置を用意し、多重安全設計を行っている。しかし、こうした安全装置は、あくまで、発生するトラブルを予測した上で設計されており、システム全体が予想を超えたカオス的な振舞いを始めた場合に対応できるものではない。ところが、巨大システムでは、実にしばしば、設計者の予測を越えたトラブルが発生し、安全を保障するはずのバックアップ装置がいとも簡単に無力化されてしまうのである。

　巨大システムのカオス性は、人間が関与することで決定的なものになる。現在の技術では完全に自動化されたシステムを実現することは困難であり、必ず、システムを管理・操作する人間が必要となる。ところが、充分に訓練されたはずの人間ですら、往々にして予想もつかないほど奇妙な行動をとることがある。例えば、ＴＭＩ原発のオペレータは、コンピュータが自動的に立ち上げた安全装置を手動で切ってしまっているし、名古屋空港で墜落した中華航空機のパイロットは、着陸やり直しモードに入っているにもかかわらず着陸を強行しようとした。こうした行動の背後には、実は、それなりに合理的な動機があり、決して能力の欠如や怠慢さの現れではない。

　1980年代には、世界的に巨大事故が多発した。1984年のインド・ボパールの化学プラント事故、1985年の日航ジャンボ機墜落事故、1986年のスペースシャトル・チャレンジャー号爆発事故、および、チェルノブイリ原発事故。これらの巨大事故は、いずれも人間のミスやエラーが重要な役割を演じており、しばしば、「人為的な事故」と呼ばれることもある。しかし、その内容を子細に検討すると、決して、個人のミスだけでは済ませられないシステムに内在する問題が含まれていることがわかる。それは、巨大システムは、ひとたび定常状態を逸脱すると、設計者も予測できないような振舞いを示すことである。人間のエラーは、その一つの要素にすぎない。

　現在では、コンピュータがネットワーク化されて巨大なシステムへと成長している。マスコミの論調は、こうした「情報化社会」の到来を歓迎するものが多い。しかし、コンピュータ・システムそのものが、定常状態を逸脱してカオスへと変貌する懸念は払拭できない。われわれは、いわばカオスの縁に置かれた社会の駒なのである。