需要予測AIの導入プロジェクトにおいて、実務の現場で頻繁に見られる光景があります。
データサイエンティストが次のように報告します。
「今回のモデルは非常に優秀です。テストデータにおける精度は90%を超えました。MAPE（平均絶対パーセント誤差）で見ても10%未満に収まっています」
経営層は満足して頷きます。
「素晴らしい。これで在庫ロスを大幅に削減できるな」
しかし、いざ現場でPoC（概念実証）を始めると、発注担当者から強い不満の声が上がるケースが少なくありません。
「こんな予測、怖くて使えるか！ 肝心なときに欠品ばかりじゃないか！」
開発チームは「数値上の精度は高いはずなのに」と困惑します。
なぜ、このようなすれ違いが起きるのでしょうか。その原因の多くは、普段何気なく使われている「評価指標」の選び方と、その解釈にあります。特にビジネス現場で好まれる「MAPE」という指標には、直感的な分かりやすさの裏に、ビジネスに致命的なダメージを与えかねない「癖」が潜んでいるのです。
今回は、時系列予測AIの評価において避けては通れない「MAPE」の特性と、現場が真に納得して使えるAIを作るための評価設計について、プロジェクトマネジメントの視点から論理的かつ体系的に掘り下げていきます。
なぜ「高精度なAI」が現場で拒絶されるのか
AI導入、特に需要予測や在庫最適化のプロジェクトにおいて、最も高いハードルは「技術的なモデル開発」ではなく、「現場の信頼獲得」です。どれほど高度なアルゴリズムを使っても、現場の担当者がその予測値を信じて発注ボタンを押せなければ、システムはただの箱になってしまいます。
精度90%という数字の罠
まず、「精度90%」という言葉の曖昧さに向き合う必要があります。ビジネスサイドの方は、これを「10回中9回は正解する」あるいは「ズレがほとんどない」という感覚で受け取りがちです。
しかし、時系列予測における「誤差」は、もっと複雑な振る舞いをします。例えば、毎日100個売れる商品があるとしましょう。
- パターンA: 毎日90個〜110個の間で予測し、平均して10個ズレる。
- パターンB: 平日はほぼ完璧に当てるが、週末のピーク時に50個も外す。
数値上の平均的な誤差（MAEなど）で見れば、両者は似たようなスコアになるかもしれません。しかし、ビジネスへの影響は天と地ほどの差があります。パターンAは安全在庫でカバーできますが、パターンBは週末に大規模な欠品を起こし、売上の機会損失だけでなく、顧客からの信頼失墜という甚大な被害をもたらします。
開発側が提示する「全体の平均値」としての精度と、現場が肌感覚で重視する「絶対に外してはいけないポイントでの精度」には、大きな乖離があるのです。
過剰在庫と欠品のリスクの非対称性
多くの機械学習モデルは、デフォルトの設定では「プラスの誤差」も「マイナスの誤差」も等しく「悪いこと」として扱います。予測が実測より10個多くても、10個少なくても、ペナルティは同じです。
しかし、ビジネスの世界ではどうでしょうか？
- 過大予測（予測 > 実測）: 在庫が余る。保管コストがかかる。最悪、廃棄ロスになる。
- 過小予測（予測 < 実測）: 在庫が足りない。売れるはずだった利益を逃す（機会損失）。顧客が競合他社へ流れる。
商品特性にもよりますが、多くの小売・流通業において、この2つのリスクは非対称です。「多少在庫が余ってもいいから、欠品だけは絶対に防ぎたい」という商品もあれば、「賞味期限が短いから、欠品してでも廃棄は出したくない」という商品もあります。
現場の担当者は、この「リスクの重み」を経験則として持っています。一方、AIモデルが単に「誤差の絶対値を最小化する」ことだけを目的に学習していると、現場の感覚と合わない予測を出力し続けることになります。これが、「精度はいいはずなのに使えない」と言われる根本的な理由の一つです。
ビジネス現場の共通言語「MAPE」とは何か
評価指標には様々なものがありますが、ビジネスサイドへの報告で最もよく使われるのがMAPE（Mean Absolute Percentage Error：平均絶対パーセント誤差）です。
直感的に理解できる「パーセント誤差」の強み
MAPEが重宝される理由は、何と言ってもその「分かりやすさ」に尽きます。RMSE（二乗平均平方根誤差）やMAE（平均絶対誤差）といった指標は、予測対象のスケール（単位）に依存します。
例えば、「誤差が100です」と言われたとき、それが
- 1個100円のボールペンの売上予測（実測1,000円）での誤差なのか
- 1台1,000万円の自動車の売上予測（実測1億円）での誤差なのか
によって、意味合いが全く異なります。前者なら大外しですが、後者なら超高精度です。
一方、MAPEは誤差を「パーセンテージ」で表します。
$$ MAPE = \frac{1}{n} \sum_{t=1}^{n} \left| \frac{A_t - F_t}{A_t} \right| \times 100 $$
（$A_t$: 実測値、$F_t$: 予測値、$n$: データ数）
「誤差は平均して10%です」と言えば、ボールペンだろうが自動車だろうが、「ああ、だいたいそのくらいの精度感ね」と直感的に理解できます。経営層に報告する際も、「A商品はRMSEが5.2、B商品は120.5で...」と説明するより、「全商品平均でMAPE 8%を達成しました」と言う方が、圧倒的にコミュニケーションコストが低いのです。
規模が異なる商品を横断比較できるメリット
企業は通常、数千〜数万の商品（SKU）を抱えています。月に1万個売れるヒット商品もあれば、月に5個しか売れないロングテール商品もあります。
これらを同じ土俵で評価したいとき、スケールに依存しないMAPEは非常に便利です。部門ごとの予測精度を比較したり、前年比での改善率をモニタリングしたりする際のKPI（重要業績評価指標）として、MAPEはデファクトスタンダードの地位を確立しています。
しかし、この「便利さ」こそが、時に落とし穴となるのです。
MAPEを過信してはいけない：隠された3つの落とし穴
ここからが本記事の核心です。MAPEは便利な指標ですが、その数学的な性質上、ビジネス判断を誤らせる危険なバイアスを持っています。プロジェクトマネジメントの観点から特に注意すべき3つのポイントを解説します。
1. 実績値が「0」に近い時の異常値問題
MAPEの計算式を見てください。分母に「実測値（$A_t$）」があります。これは、実測値が0、あるいは0に近い非常に小さな値になった瞬間、MAPEが破綻することを意味します。
例えば、ある日の売上がたまたま「1個」だったとします。AIが「2個」と予測した場合、誤差は1個ですが、MAPEとしては
$|1 - 2| / 1 = 100%$
という巨大なエラーになります。
逆に、売上が100個の日にAIが101個と予測しても、誤差は同じ1個ですが、MAPEは
$|100 - 101| / 100 = 1%$
にしかなりません。
需要が間欠的（売れる日と売れない日がある）な商品や、販売数が少ないロングテール商品において、MAPEは極端に大きく出がちです。これを見て「このAIは精度が悪い」と判断するのは早計かもしれません。単に分母が小さいために数値が暴れているだけの可能性があるからです。
2. 過小予測を優遇してしまうバイアス
これが最もビジネスインパクトの大きい問題です。MAPEには「過小予測（少なめに予測すること）」を有利に評価する性質があります。
極端な例で考えてみましょう。実測値が100だとします。
ケースA（過小予測）: 予測値が0の場合
- 誤差 = $|100 - 0| = 100$
- MAPE = $100 / 100 = 100%$
- MAPEの上限は（予測が正の値である限り）実測値に対する割合なので、予測0でも100%で止まります。
ケースB（過大予測）: 予測値が200の場合
- 誤差 = $|100 - 200| = 100$
- MAPE = $100 / 100 = 100%$
- ここまでは同じです。しかし、予測が300、400と増えていくと、MAPEは200%、300%と青天井に増えていきます。
統計的に厳密な話をすると、MAPEを最小化しようとするモデルは、データの分布が右に裾を引いている（たまに大きな値が出る）場合、中央値や最頻値よりも低い値を予測として出力するインセンティブが働きます。
ビジネスに置き換えるとどうなるでしょうか？
AIモデルがMAPEを良くしようと学習すればするほど、「迷ったら少なめに予測しておこう」という癖がつくのです。結果として、在庫切れ（欠品）が頻発します。
「MAPEの値は改善しているのに、現場の欠品率は上がっている」
このパラドックスの正体は、MAPEが持つ「過小予測へのバイアス」なのです。
3. 外れ値に対する脆弱性
前述の通り、分母が小さいケースの影響を強く受けるため、たまたま売上が落ち込んだ日の予測誤差が、全体の評価を大きく歪めてしまうことがあります。全体の99%の日で高精度でも、残りの1%の「売上が少なかった日」のせいで、MAPE全体が悪化して見えることがあります。
状況別：正しい評価指標の選び方と組み合わせ
MAPEの弱点を理解した上で、どのように対応すべきでしょうか。答えは「MAPE単独で評価しない」ことです。目的に応じて、他の指標を組み合わせる体系的な視点が必要です。
RMSE（二乗平均平方根誤差）を見るべきケース
$$ RMSE = \sqrt{\frac{1}{n} \sum_{t=1}^{n} (A_t - F_t)^2} $$
RMSEは誤差を二乗してから平均を取ります。つまり、「大きな外し方」に対して非常に厳しいペナルティを与える指標です。
- 適しているケース:
- 突発的な需要スパイクや、大規模なキャンペーン時の予測など、「大きく外すことが致命的なダメージになる」場合。
- 在庫切れや過剰在庫のコストが、量の二乗に比例して増えるような感覚がある場合。
RMSEを重視してモデルを作ると、AIは「平均的に無難な予測」よりも「大外しを避ける予測」を学習します。MAPEとは逆に、平均（Mean）に近い予測を出す傾向があります。
MAE（平均絶対誤差）との使い分け
$$ MAE = \frac{1}{n} \sum_{t=1}^{n} |A_t - F_t| $$
MAEは単純に誤差の絶対値の平均です。RMSEに比べて、外れ値（異常値）の影響を受けにくい（ロバストな）特徴があります。
- 適しているケース:
- サプライチェーン全体で、純粋に「何個ズレたか」の総量を把握したい場合。
- データにノイズ（異常値）が多く、RMSEだと数値が跳ね上がってしまう場合。
MAEは「中央値（Median）」を志向する性質があります。MAPEのような過小予測バイアスはありませんが、RMSEほど「大外し」を怖がりません。
MAPEが適さないデータの典型例
以下のようなケースでは、MAPEの使用は避けるか、参考程度に留めるべきです。
- 間欠需要（Intermittent Demand）: スペアパーツや高級品など、売れない日（実測値0）が多いデータ。
- 低回転商品: 販売数が1桁の商品群。分母が小さすぎて数値が安定しません。
こうしたケースでは、MASE（Mean Absolute Scaled Error） のような、より高度な指標を使うか、あるいは単純に「欠品率」や「在庫回転率」といったビジネスKPIで直接評価する方が健全です。
「納得感」のあるAI導入を実現するために
最後に、数値を離れてプロジェクトマネジメントの視点から実践的なアプローチを提示します。現場が納得するAIを導入するためには、単なる精度指標（MAPEやRMSE）の改善ゲームから脱却する必要があります。
単一指標に頼らない評価フレームワーク
実務においては、以下の3層構造で評価を行うことが推奨されます。
モデル精度（テクニカル指標）
- MAPE, RMSE, MAEなどを併用してモニタリング。
- 特に「過小予測率（Bias）」を別途計算し、AIが弱気になっていないかチェックする。
ビジネスKPI（金額ベース）
- 予測誤差を「金額」に換算する。
- 「MAPEが5%改善しました」ではなく、「欠品による機会損失が月間100万円削減される見込みです」と報告する。
- 在庫削減効果と、欠品リスクのトレードオフをシミュレーションする。
定性評価（現場の肌感覚）
- 時系列グラフを可視化し、現場担当者に見てもらう。
- 「この特売日の予測、AIはこう考えているけどどう思う？」と対話する。
- 数値には表れない「納得感（Explainability）」を確認する。
現場の肌感覚と数値をすり合わせるプロセス
実際の導入事例において、MAPEの数値は芳しくないものの、現場から高く評価されたモデルのケースが存在します。そのモデルは、平時の予測には多少のブレがあったものの、現場担当者が最も懸念していた「台風の日の需要急減」と「イベント日の需要急増」を正確に予測できていたためです。
逆に、MAPEが非常に良好であっても、現場から「ピークを捉えられていない」と判断され、実運用に至らなかったモデルのケースもあります。それは平時の細かい変動を当てることに特化しすぎた結果、肝心の需要スパイクを平滑化してしまうモデルでした。
数値は客観的な事実を示しますが、ビジネスにおける真実のすべてを語るわけではありません。
MAPEはあくまで「健康診断の数値」の一つに過ぎません。血圧が正常でも疾患が隠れている場合があるように、MAPEが良くてもビジネスのROI（投資利益率）に貢献できないAIは存在します。
重要なのは、「対象となるビジネスにおいて、最も回避すべきリスクは何か」を明確に定義し、それを防ぐための指標を設計することです。そして、その指標の意味を、開発側とビジネス側が共通言語として理解することがプロジェクト成功の鍵となります。
AIはあくまで課題解決の手段であり、魔法の杖ではありません。しかし、正しい評価基準を持って運用すれば、ビジネスを強力に推進するパートナーとなります。まずはプロジェクトの評価プロセスにおいて、MAPE以外の指標も多角的に検討することから始めてみてはいかがでしょうか。
コメント