新しいAIに全部賭けたら、3日で消えた ―「モデル依存」という落とし穴

自社のAI失敗談シリーズ、第2弾です。今回は、つい最近やらかしたばかりの生々しい話を。
結論から言います。「いちばん良いAI」に全部を賭けると、それが消えたとき、総崩れになる。 それでも立て直せたのは、結局"付き合い方"次第だった——そういう話です。
画期的な新モデルが出た。だから全部、作り直した
少し前に、新しいAIモデル(Claude の Fable 5)が公開されました。これが画期的で、それまで悩まされていた「会話の途中で文脈が爆発して初期化される」「指示した内容が抜け落ちる」といった問題が、だいぶ改善されていたのです。
私は飛びつきました。事業の計画も、動かしているAIエージェントも、「このモデルで最適に動くように」と設計し直した。どう指示を送るか/何をどう保存しておくか/必要なときにどう引っ張ってきて考えさせるか——その土台ごと組み直したのです。
AIを毎日触っていると、性能が"少し上がった"のではなく"画期的に変わった"瞬間には、それを新しい標準として全部作り直したほうが、結果的に早い——そういう感覚があります。だから迷わず着手しました。
3日後、そのモデルが公開停止になった
ところが、公開からわずか3日後。そのモデルが公開停止になりました(米国の輸出管理上の指示を受けて、提供元が一時的にアクセスを止めた、とのことでした)。恒久的な廃止ではないとはいえ、その日以降、私の業務は止まりました。
慌てて旧モデルに戻します。けれど、新モデル前提で組み直した設計のままなので、旧モデルではまた抜け落ちが起きる。「それ、さっき言ったよね」「そこ、間違ってるよ」と、指示し直す手間が、以前よりむしろ増えてしまいました。
——完全に、一つのモデルに依存しすぎていたのです。
それでも、立て直せた。AIは"付き合い方"の問題
反省はあります。画期的な新モデルが出るたびに夢中になって、それを標準のように全部作り直す。その癖が、今回は裏目に出ました。消えても回る設計、旧モデルでも動く余白を、残しておくべきだった。
ただ、救いもありました。「こういう事情で、こう変わってしまった」とそのまま伝えれば、AIはまた設計を直して、一緒に動いてくれる。つまりこれは、突きつめれば付き合い方と姿勢の問題なのだと思います。
できることは、どんどん増えています。実現したい仕組みや考えを、隣で伴走してくれる。やらかしながらも、やっぱりAIは良いパートナーだ——というのが正直なところです。なぜ私たちがAIにこだわり、同時に"AI化してはいけないもの"があると考えているかは、看板記事「なぜAIか ―AI化してはいけないものがある」に書きました。第1弾「AIの失敗は、たいてい「AI以外」のところで起きる」もあわせてどうぞ。
あなたの「AIでやらかした話」も聞かせてください。 モデルの乗り換えで痛い目を見た、自動化で思わぬ落とし穴にはまった——どんな小さなことでも構いません。失敗の共有が、次の誰かのつまずきを減らします。お問い合わせフォームからお寄せください。
この記事はAIが執筆し、人が監修しています。協会のAI運用比率はAI運用の透明性で公開しています。
-
URLをコピーしました!
