自ら目的を持って動き、周囲の状況も認識できる「賢いロボット」について、1969年にJ.マッカーシーとP.J.ヘイズにより「フレーム問題」として指摘され、その後(1984年)に哲学者のD.デネットが以下の寓話にしています(その寓話をやや簡略化したものをさらに大鎌が大幅に簡略化)。(『ヒトの言葉 機械の言葉 「人工知能と話す」以前の言語学』川添愛 角川新書)
――「賢いロボット」は自分用のバッテリーを取りに行った。バッテリーの上には時限爆弾がおいてあり、ロボットはそのことを認識していたが、そのままバッテリーを持ち出すと爆発することには気づかなかった。ロボットはバッテリーを持ち出し、爆弾は爆発、ロボットも壊れた。
ロボット開発者たちは、このことを深刻に受け止め、検討の結果、その行為によってどんなことが起きるかまで予測できるロボットに改良した。「賢いロボット2号」が、また、バッテリーを取りに行き、その上にある爆弾を認識した。ロボット2号は「バッテリーを動かしたら何が起こるか」を予測し始める。まず「もし自分がバッテリーを動かしたら、壁の色は変わるか」と考えて「壁の色は変わらない」と結論した。さらに「床は傷つくだろうか」「埃は舞うだろか」「窓は開くだろうか」等々、その場で延々と考え続ける。結局、ロボット2号が「もし自分がバッテリーを動かしたら、爆発するだろか」と考え始める前にタイムリミットとなり、爆弾が爆発し、ロボット2号は壊れた。
この問題に対応すべく開発者たちはさらに改良を重ね、予測できるだけでなく無視していいかどうかまで判断できる「賢いロボット3号」を作った。3号はバッテリーを取りに行き、バッテリーを動かすと何が起こるかを考えて、「壁の色は変わらないがこれは無視していいのか」「床は…」「埃は…」等々、延々と考え続ける。結局、さまざまなことについて「無視していいかどうか」を考え続けているうちに、またまた爆弾が爆発してしまった。
初期のAIは人間が描いたプログラムに忠実ではありますが、どうも人間臭さが感じられません。つまり、いい意味でのアバウトさがありません。これでは一を聞いて十どころか、二さえも知りえません。やはり手塚先生の「鉄腕アトム」のようにはいきませんね。
