AIが自信満々に「それは無理です」と言った ―1年前の常識で、要らない課金アプリを作りかけた話

自社のAI失敗談、第4弾です。今回は、AIが賢くなったからこそ危なかったという話を。

結論から言います。性能の高いAIほど、「それは無理です」と自信満々に言い切ってくる。でも、その”無理”が”1年前の常識”であることに、AI自身は気づけない。 危うく、まったく要らない課金アプリを作らされるところでした。

任せたら、想像を超えて良かった。だから油断した

最近、いろいろな作業をAIにまるっと任せています。出てくるものは基本どれも良く、正直、想像を超える出来のことも多い。だからつい、判断ごと任せてしまいたくなる。

その流れで、画像を見て中身を判定する小さな道具（Claude上で動くアプリ）を作らせたときのことです。

AIはこう設計してきました。

もっともらしく、迷いなく。放っておけば、私が毎回お金を払う課金アプリが出来上がる寸前でした。

ところが、引っかかった。以前、別のやり方で作った似たような道具は、外部キーなんて要らずにちゃんと動いていたのです。言っていることと、自分の実体験が食い違う。

再確認させたら、白状しました。AIは、1年ほど前（2025年時点）の情報をもとに設計していたのです。当時の常識では確かにそうだった。でも今は違う。AIの知識は、ある時点で止まっている——質が高いぶん、その”古さ”が「もっともらしい正解」の顔をして通ってしまう。

ここが今回いちばんの学びでした。

私は言葉で反論したのではありません。実際に動いている道具の、中身のコードを1つ見せただけです。そうしたらAIは即座に、自分の間違いを認めました。要点はこうでした。

外部キーは要らなかった：この基盤は、見ている人自身のアカウントで認証してくれる。だからこちらに使うたびの課金は発生せず、相手の契約の範囲で動く。私が最初に作りかけた「キーを差し込む＝有料」方式こそが、そもそも間違いだった。
画像はちゃんと送れる：文字しか無理、は誤り。
動画も工夫でいけた：動画は特別なものではなく、手元で静止画のコマに分けてしまえば、あとは画像と同じ。「工夫すればできそう」という私の勘のほうが正しかった。

AI自身の総括が、そのまま今回の教訓です。「動く実物を見ずに、古い前提で”無理”と言い切ったのが間違いでした」。

AIは良いパートナーです。でも、良いパートナーであることと、その前提が”今”のものかどうかは、別の話でした。ここを混ぜると、静かに事故る。だから、こう決めています。

「何ができて／何ができないか・お金がかかるか」は、人間側が覚えて持っておく。 ここを毎回AIに調べさせるのは、コストが増えるだけ。判断は自分の手札にしておくほうが速い。
迷ったら「動く実物」を1つ見せる。 抽象的な議論より、実際に動いているもの1つのほうが、はるかに強い。
「課金」「キー」「有料」が出てきたら、いったん止める。 「本当にそれ要る？」を、試した実体験に照らして確かめる。
一つの答えを鵜呑みにせず、別のやり方・別の道具と突き合わせる。

これも結局、vol.1・vol.2・vol.3と同じで、AIそのものの良し悪しではなく、こちらの”使い方と姿勢”の問題でした。

そして、これは私たちがずっと言っていることの実例でもあります。AIに任せられることと、人が握っておくべきことは、違う。 「今、何ができるのか」を見極めて持っておくのは、最後まで人の仕事です（→看板記事「なぜAIか ―AI化してはいけないものがある」／私たちの考え方の背骨「人格だけ経営」）。

あなたの「AIでやらかした話」も聞かせてください。 AIに言われるまま進めて、あとで「それ要らなかったじゃないか」となった——そんな経験があれば、どんな小さなことでも構いません。失敗の共有が、次の誰かのつまずきを減らします。お問い合わせフォームからお寄せください。

この記事はAIが執筆し、人が監修しています。協会のAI運用比率はAI運用の透明性で公開しています。