和平
2026.11.09

なぜ私たちは、AIの「それっぽい回答」に納得してしまうのか

#説明深度の錯覚#ワークスロップ#限定合理性

皆さんとしても、「AIを使う」から「チャッピー(ChatGPT)に聞いてみた」「Claudeと話す」へと、言い方が変わってきたと思います。その中で、AIを業務に使う人たちには、「納得はしたのに、なぜか人にうまく伝えられない」という現象が起きているのではないでしょうか。

AIの「それっぽい回答」に納得してしまうのは、その答えが、置かれた枠組みの中では正しいからだと考えています。納得したのはAIの枠組みの中での話なので、自分の言葉で人に伝えようとすると詰まります。人もAIも、物事を枠組みの中でしか捉えられません。だから正しい切り方を探すより、突き詰めては立ち返ることを繰り返して、業務を切り直し続けることに、人の仕事が残ります。

教育現場や企業で、AIを業務に入れる取り組みに、隣で一緒に関わってきました。AIの整った回答に「なるほど」と頷いて画面を閉じたのに、翌日も同じ手作業が続いている、という場面に出会います。私たちが隣にいるのは、頷いて終わるのではなく、自分で業務を切り直せる人を育てたいからです。

手順が決まった作業なら、この話は要りません。そのままAIに渡せば済みます。答えが決まっていない探索的な問いに向き合うときの話です。AIがどの枠組みで答えたかを確かめても、同じように頷いて同じ手作業が続くなら、この見立ては外れています。

縦に判断(AIに聞いて受け取る、吟味・品質管理、目的・目標を問い直す)、横に実装(手作業、ツール化して回す、自動運用)をとった評価の2軸。多くは聞いて受け取る段の手作業から始まり、吟味する段で手作業からツール化、自動運用へ進む。いちばん上の段、目的・目標の問い直しが、突き詰めて立ち返る段

図の縦軸でいうと、多くの人は「聞いて受け取る」から始まり、AIとのラリーで「吟味する」までは届きます。この記事が扱うのは、その上の「目的・目標を問い直す」段です。

根拠は三つです。

  1. 納得してしまうのは、その枠組みの中では、正論が正しいからです
  2. 人は業務を、縦と横のどこかで切ってしか見られません
  3. 見つけた基準は、突き詰めて、立ち返ることで、切り直せます

例はすべて出荷の業務で通しますが、特定の会社の話ではなく、説明のための例です。

納得してしまうのは、その枠組みの中では、正論が正しいからです

AIは、問いから読み取った枠組みの中で答えを組み立てます。枠組みの中にある限り、答えの筋は通っていて、否定のしようがありません。

たとえば、その日の出荷で住所に不備があるものをどうさばくかを相談したのに、全社のデータ管理や、部署をまたいだ合意形成の話が返ってくることがあります。こちらは目の前の業務の枠組みで聞いたのに、AIは会社全体の枠組みで答えています。

その枠組みで見れば答えは正しいので、否定できないまま受け取り、画面を閉じます。納得したのは、答えを吟味したからではありません。どの枠組みで答えが返ってきたのかを、確かめていないからです。

現場で長く実務を担ってきた人ほど、経験で判断してきたので、自分の業務をどういう枠組みで捉えているかを言葉にしたことがありません。そのため、枠組みのズレた答えにも頷いてしまいます。人に伝えようとして言葉に詰まるのは、頷いた枠組みが自分のものではないからです。仕組みを分かったつもりでも、説明させると詰まり、そこで初めて分かっていなかったと気づくことは、心理学の研究でも確かめられています。

人は業務を、縦と横のどこかで切ってしか見られません

2つの俯瞰を左右に並べた図。左の縦の俯瞰は、顧客価値から事業の目標、指標へと分けた木で、俯瞰すると顧客価値に照らしてこの指標は妥当かを問い直す。右の横の俯瞰は、業務①から④を経て顧客価値に向かう流れで、1つの業務だけを速くするのではなく、業務の連なりごと組み直す

人は、物事の全体を一度に捉えることができません。業務も、どこかで区切って見るしかありません。区切る方向は二つあります。縦は、顧客価値から事業の目標、指標へと分けていく階層です。横は、業務から業務へとつながって、顧客価値に向かう流れです。

服のサイズで描いた3人。左は体よりはるかに大きい外套を着て、会社全体の答えは、いまの立場では着こなせない。真ん中は体に合った服で、身の丈。右は靴下を片方だけ履いて、1つのタスクだけでは体は丸裸

縦で区切りどころがずれると、上に飛ぶか、下に縮みます。服でいえば、大きすぎるか、小さすぎるかです。会社全体まで飛ぶと、正しいけれど、その人のその立場では手を付けられない答えになります。末端の指標まで縮むと、送り状を1件直すのは速くなっても、その指標が顧客にとって妥当かは問われないままです。

横で区切りどころがずれると、一つの業務だけを見ることになります。たとえば、住所の不備を見つける作業をAIで自動にしても、弾いた分を後ろの工程で誰かが目で確認するなら、手作業は移っただけで減っていません。見た目は整っているのに中身のないAIの成果物を同僚から受け取り、その手直しに時間を取られている、と答えた人が4割いたという米国の調査もあります。

どちらの場合も、AIは読み取った範囲の中では正しく動いています。ずれているのは範囲の切り方で、それを確かめられるのは人だけです。

見つけた基準は、突き詰めて、立ち返ることで、切り直せます

AIを自分の組織として束ねる図。左は聞いて受け取るだけで、あなたがAIに単発で聞き、出力をそのまま使う。品質は運任せ。右はAIを自分の組織として束ね、あなたがチームリーダーとして、基準を渡して指示し、出力を吟味し、修正を指示して磨き、回して品質を上げる

AIとやり取りを重ねると、自分が普段使っている基準が言葉になります。たとえば「過去の注文と住所が一致しなければ、出荷を保留する」。基準を取り出すところまでは、対話を繰り返せば誰でも到達できます。図の「吟味する」段にあたります。

人の仕事が始まるのは、その基準を突き詰め、そこから立ち返るところからです。

  • 突き詰める:この基準を最後まで当てはめたら、何が起きるか。全件を保留し続けたら、後ろの工程の誰に、どんな手間が溜まっていくのか
  • 立ち返る:そもそも、なぜこの基準があるのか。届くのが遅れるのと、間違ったところに届くのと、顧客にとってはどちらが困るのか

突き詰めると横の流れが見え、立ち返ると縦の階層が見えます。二つに答えると、業務の切り方が変わることがあります。全件を照らし合わせる業務から、顧客に届かない恐れがあるものだけを止める業務へ。切り方が変われば、AIに渡すものも変わります。

正しい切り方は、最後まで見つからないのかもしれません。人もAIも、枠組みの中でしか物事を捉えられないからです。目安になるのは、いまの状況の身の丈に合っているかどうかです。だからこそ、突き詰めては立ち返ることを繰り返して、切り直し続けるしかないと考えています。

問いは、はじめは外から投げます

この二つの問いは、最初は自分では立てにくいものです。自分の業務の枠組みの中にいる限り、その外側は見えないからです。

だから私たちは隣に座り、突き詰める問いと立ち返る問いを、はじめは外から投げます。目指しているのは、いずれその問いを、本人が自分でAIに向けられるようになることです。

切り直した基準は、AIでの自動化に書き込みます

AIで業務を自動にするというのは、その業務の判断を、最後まで言葉にすることです。どの場合に何を選ぶのか、例外はどう扱うのか。言葉にしきれないところがあれば、そこはまだ分かったつもりでいた部分です。

正論に頷いただけでは、自動化は動きません。だから自動化は、切り直した基準が本当に自分のものになったかを確かめる場にもなります。学校のように、業務を動かす仕組みがまだ整っていない現場では、いまはこの自動化こそが目の前の仕事だと感じています。

言葉にしきらないまま、AIの正論に頷き続けると、分かったつもりだけが積み上がって、意識だけが膨らんでいきます。私自身、大学時代はいわゆる意識高い系でしたが、いまのAIは、そういう人を量産しているのではないでしょうか。

この考え方は、ほかの記事にも書きました。

主な出典

← 記事の一覧へ

図をタップすると、さらに大きくなります