LLM 運用コストの構造：API 従量課金と自社ホスティングの分岐点

LLM の運用コストをめぐる議論は、しばしば「API 従量課金と自社ホスティングのどちらが安いか」という二択に単純化される。だが、この問いの立て方自体が実態を捉えそこねている。コストの分岐点は、トラフィックの変動、レイテンシ要件、専門人材の有無という複数の変数が絡み合って決まる。本稿では、両者のコスト構造を分解し、分岐点がどこに置かれるのかを検討する。

従量課金の本質は変動費であること

API 従量課金の最大の特徴は、コストが利用量に比例する変動費である点にある。利用がゼロならコストもゼロに近く、初期投資をほとんど必要としない。トラフィックが予測しづらい立ち上げ期や、需要が季節的に大きく変動する用途では、この変動費構造が資源の無駄を防ぐ。使った分だけ払うという明快さは、会計上も扱いやすい。

ただし、変動費は利用量が増えるほど積み上がる。トラフィックが安定して高水準に達すると、単位あたりの課金が固定費を上回り、総額で自社ホスティングを超える領域に入る。従量課金が有利なのはあくまで、利用量が読めない、あるいは低〜中程度にとどまる局面である。もっとも、この「損益分岐トラフィック」は公開価格から機械的に算出できるものではなく、実際の利用パターンを観測して初めて見えてくる。

自社ホスティングは固定費と隠れコストの塊

自社でモデルをホスティングする場合、コストの主体は変動費から固定費へ移る。GPU の確保、電力、そして何より運用を担う人材が、利用量にかかわらず発生する。モデルの規模と計算量が性能とともに資源要求を押し上げる関係は、スケーリング則に関する研究（Kaplan らによる研究として知られる）が定量的に示してきた。利用量が高水準で安定していれば、この固定費を大量のリクエストで割ることで単価が下がり、従量課金より有利になる。

問題は、見積もりから漏れやすい隠れコストである。モデルの更新、障害対応、スケーリングの調整、セキュリティ維持といった運用の手間は、GPU の価格表には現れない。情報処理推進機構（IPA）の公表資料がセキュリティ運用の継続的な負担を指摘してきたように、こうした維持コストは初期投資よりも見積もりが難しい。量子化による省メモリで必要な GPU を減らせる余地はあるが、それも精度とのトレードオフを伴う。自社ホスティングの真のコストは、ハードウェアの数字だけを見ていると過小評価される。とはいえ、機密性の高いデータを外部に送れない事情がある場合、コスト以前の要件として自社ホスティングが前提になることもある。

レイテンシ要件が選択を縛る

コスト以外に、レイテンシ要件が選択を左右する。外部 API はネットワークを経由するため、応答時間に一定の下限がある。多くの用途ではこれで十分だが、極めて低い遅延が求められる場面や、大量のリクエストを短時間に処理する必要がある場面では、この下限が制約になる。

特に、利用者の近くで推論を完結させたい要件がある場合、外部 API への往復は成立しない。エッジ推論の制約で扱うように、レイテンシと機密性の要求は、コストの計算とは別の軸で配置を規定する。一方で、レイテンシ要件を過剰に厳しく見積もると、不要に高価な構成を選んでしまう。実際の利用者が体感する遅延の許容度を測ることが、過剰投資を避ける前提になる。

分岐点は単一の数字ではない

ここまでの整理から明らかなように、API と自社ホスティングの分岐点は、単一の損益分岐トラフィックとして表せるものではない。トラフィックの水準と安定性、レイテンシと機密性の要件、そして運用人材を抱える余力——これらが交差する多次元の領域として捉える必要がある。トラフィックが低く変動が大きく人材も限られるなら従量課金が、トラフィックが高く安定し機密性要件と人材が揃うなら自社ホスティングが、それぞれ有利に傾く。

現実には、両者を組み合わせる構成も少なくない。基本的な負荷は自社ホスティングで処理し、急激な需要の山だけを外部 API に逃がす、といった配分である。この折衷は運用の複雑性を増すが、変動費と固定費のバランスを取る手段として合理的な場合がある。重要なのは、二択の問いを捨て、自社の利用パターンという固有の条件から分岐点を導くことである。

結論：コストは構造で捉える

LLM の運用コストは、単価の比較ではなく構造の理解によって初めて見通せる。従量課金は変動費、自社ホスティングは固定費と隠れコストという異なる構造を持ち、どちらが有利かはトラフィック・レイテンシ・機密性・人材という条件の組み合わせで決まる。ガバナンスが用途ごとにリスクの濃淡をつけるように、コスト設計も用途ごとの条件に応じて配分を変える必要がある。「どちらが安いか」ではなく「自社の条件で分岐点はどこか」を問うことが、無駄のない運用への出発点になる。