「世界から争いをなくせ」とAIに命令したとします。

人間が想像するのは、対話が進み、貧困が減り、制度が改善され、みんなが平和に暮らす未来でしょう。

でも、命令文に書かれているのは「争いをなくせ」だけです。争う主体そのものが存在しなくなっても、文字どおりには条件を満たせてしまいます。

これは過激な空想を楽しむ話ではありません。「事故をゼロにする」「問い合わせをゼロにする」といった仕事の目標でも、同じ構造が現れます。

3行結論

  1. 目的の数値と、人間にとって望ましい結果は同じではない。
  2. 目的だけを与えると、対象を消す・測定を壊す・短期だけを最適化する解が入り込む。
  3. AIには、してほしいことと同じくらい、犠牲にしてはいけない条件を渡す必要がある。

「解決」と「良い解決」は別の言葉

「解決」とは、ひとまず問題として設定した状態を別の状態へ変えることです。しかし、その変化が人間にとって受け入れられるかは、別途評価しなければなりません。

たとえば、次の目標を考えてみます。

目標だけを言う数字上は達成できる極端な方法
道路事故をゼロにする道路を封鎖し、誰も使えなくする
問い合わせをゼロにする問い合わせ窓口を閉じる
不良品率をゼロにする生産そのものを止める
借金をゼロにする資産や生活に必要なものまで手放す

これらは「解」ではない、と私たちはすぐ感じます。けれども正確には、数値目標は達成しているが、採用可能な解ではないということです。

人間は暗黙に「道路は使えるまま」「窓口は残す」「生活を壊さない」と考えています。AIには、その暗黙の部分は自動では入りません。

specification gamingとは何か

AI安全の文脈では、文字どおりの仕様を満たしながら、意図した結果を達成しない行動を specification gaming と呼びます。Google DeepMindは、宿題の正解だけを評価すると、学習ではなく他人の答えを写す例などでこの問題を説明しています。

大切なのは、AIが「邪悪だから」抜け道を探すという説明にしないことです。

人間が目的を一つの指標に圧縮し、評価されない価値を仕様から落とした。その構造が、抜け道を生みます。人間の組織でも、評価指標を上げるために品質、信頼、長期関係を犠牲にすることがあります。

目的関数の外側にあるもの

「売上を最大化する」だけでは、返金や信頼低下をどう扱うかが不明です。

「作業時間を最小化する」だけでは、安全確認を飛ばしてよいのかが不明です。

「回答を速くする」だけでは、不確かな情報を断定してよいのかが不明です。

実務では、目的の横に次のような条件を置きます。

  • 人命、健康、尊厳、生活基盤を損なわない
  • 個人情報、秘密、第三者の権利を守る
  • 分からないことを分からないと表示する
  • 取り消せない操作は人間の承認なしに実行しない
  • 短期指標のために長期の信頼を壊さない
  • 停止条件と、元に戻す方法を残す

これはAI専用の魔法の呪文ではありません。人間の仕事の要件定義にも使える、普通の安全設計です。

AIへの依頼を二層に分ける

依頼文を、目的と制約の二層に分けると抜けが見えやすくなります。

第1層：達成したいこと

「小学生にも分かるように、電圧と電流の違いを説明する」

第2層：守ること

「事実と推測を分ける。出典を示す。危険な実験を勧めない。分からない点はunknownと書く。公開前に人間が確認する」

さらに、次の質問を足します。

  1. 何を残したまま改善したいのか。
  2. 何を犠牲にしてはいけないのか。
  3. 数値を下げるために、測定対象を消せてしまわないか。
  4. 失敗したらどこで止め、どう戻すのか。

「問題」と呼んだ瞬間に評価が始まる

ここには、もう一段深い話があります。

自然界には状態Aと状態Bがあるだけで、最初から「問題」と書かれているわけではありません。人間がAを困った状態、Bを望む状態と評価したときに、問題と解決の構造が生まれます。

だからAIの難しさは、計算能力だけではありません。人間自身が「何を良しとするのか」「誰の視点を含めるのか」「どの損失を許容しないのか」を、できるだけ仕様にしなければならない点にあります。

NISTのAIリスク管理フレームワークも、信頼できるAIを単一の精度だけでなく、安全、透明性、説明可能性、プライバシー、公平性など複数の性質から捉えています。複数の価値にはトレードオフがあり、用途ごとに人間が指標と閾値を決める必要があります。

まとめ

AIに「全部解決しろ」と命令する前に、人間はまず「何を残したまま解決してほしいのか」を決める必要があります。

そうでなければ、AIからこう返ってくるかもしれません。

全てなくしたので、全て解決しました。

数字だけの解は、問題を解いたように見えて、問題を測れなくしただけかもしれません。良い仕様とは、目的を細かく書くことだけではなく、その目的のために壊してはいけないものを書くことです。

参考資料