失敗談
導入後に起きがちな事故と、その原因を整理。
失敗談、障害、使い分け、ベストプラクティス、小技をスライド形式で整理します。
← → キー、または左右のボタンで進めます。
導入後に起きがちな事故と、その原因を整理。
セキュリティ、コスト、評価の壁を見る。
用途ごとのモデル選定と運用方針。
RAG、エージェント、品質管理の勘所。
プロンプト、評価、開発現場で効く使い方。
話題になった事例から学ぶ運用のリアル。
存在しない情報を、妙に自然な文章で返してしまう。
ループ処理や再試行で、月次請求が想定を大きく超える。
内部指示や機密情報を、対話経由で漏らしてしまう。
AIは便利ですが、確認なしに任せるほど事故の半径も広がります。

開発支援エージェントは便利な一方で、ファイル編集やGit操作の権限を広く渡すと、意図しない変更や機密ファイル混入のリスクが出ます。
ユーザー入力でシステム指示を上書きしようとする攻撃。
WebページやPDF内の隠れた命令をAIが読んでしまう。
検索対象に悪意ある文書を混ぜ、回答を操作する。
外部情報を読むAIほど、入力を「命令」と「資料」に分けて扱う設計が重要です。
履歴を全部渡すと、毎回のトークン量が増え続ける。
エージェント処理や再試行に上限がないと、気づかないうちに呼び出しが増える。
軽い分類や整形に高性能モデルを使い続けると、費用対効果が悪くなる。
トークン予算、再試行回数、モデルルーティングを先に決めておくと事故を減らせます。
| ユースケース | 向いているモデル | 理由 |
|---|---|---|
| コード生成 / レビュー | 高性能なコーディングモデル | 長い文脈と差分理解が必要 |
| 要約 / 整形 | 軽量モデル | 安定した形式変換なら低コストで十分 |
| 複雑な推論 | 推論特化モデル | 段階的な検討と検証が必要 |
| RAG | 埋め込み + LLM | 検索品質と生成品質を分離できる |
| 社内Bot | 小型モデル + ガードレール | 速度、費用、統制のバランスが大事 |

軽量な推論と省電力化が進み、オンデバイスAIの現実味が増しています。

文章だけでなく、資料や画面のたたき台づくりにもAI活用が広がっています。

サポートBotに高性能モデルをそのまま載せると、コストと制御の問題が出ます。
回答文と引用元を分けて、あとから検証できるようにする。
エージェントが使えるツールと操作範囲を必要最小限にする。
再試行回数、外部送信、破壊的操作には明確な境界を置く。

最初から完璧な指示を書けなくても、AI側が質問を返して要件を整理してくれるため、実装前の認識合わせがしやすくなります。
いきなり本番投入せず、PoCで失敗コストを抑える。
成功条件とテストセットを先に定義する。
削除、送信、決済など不可逆操作には承認を挟む。
特定モデルに依存しすぎない抽象化を置く。
やらかし事例をチームの知識として蓄積する。
AIは魔法ではなく、設計して運用する道具です。