NVIDIAの次世代GPUで推論コストは「10分の1」になるのか──その数字を分解する

📌 この記事は公開情報（各社の発表・調査・報道など）をもとにした情報提供・解説です。数値・固有名詞は執筆時点（2026年7月24日）で確認できた情報にもとづくもので、状況は今後変わり得ます。

AIの世界で、いま注目される数字のひとつが「推論コスト」です。学習（モデルを訓練する段階）ではなく、できあがったAIを実際に動かすとき1回あたりにかかるお金。ChatGPTのようなサービスを1問答えさせるたびに発生するコストで、これはAIサービスの採算を左右する要素のひとつです。

NVIDIAは、2026年後半に量産へ立ち上がりつつある次世代GPU「Vera Rubin（ヴェラ・ルビン）」で、この推論のトークンあたりコストが現行のBlackwell世代比で10分の1になると掲げています（一部のパートナーでは稼働が始まっていると発表されています）。もし条件どおりなら、AIデータセンターに投じられている巨額の投資の採算を支える材料になりえます。

ただ、こういう「桁で改善」という数字は、条件をどこまで揃えたかで大きく変わります。半導体分析で知られるSemiAnalysisが2026年7月23日、この主張を独立に検証しました。結論を先に言えば、留保を外していくと「10倍」は現行世代比で約3倍まで縮みます。それでも大きいのですが、頭出しの数字とは差があります。この記事では、①その数字を分解し、②推論コストが下がることがAI投資に持つ「両刃」の意味を掘り下げます。

結論を先に

長くなるので、先に3行でまとめます。

1. 「10分の1」はNVIDIAの発表値で、条件つきです。第三者のSemiAnalysisが検証すると、旧世代（1年前のGB200）比では約5倍、現行のGB200/GB300比では約3倍の改善にとどまりました。大きな進歩ではありますが、頭出しの「10倍」は測り方に依存します。
2. それでも推論コスト低下は本物の潮流です。CoreWeaveの実機測定でも次世代機の効率改善が報告されています。安く動かせれば推論の単位コストが下がり、需要が伴えばデータセンター投資の採算を支える側に働きます。
3. ただし、これは投資家にとって両刃です。推論コストが下がるほど、いま巨額で買った現行GPUの経済的な価値は目減りしやすくなり、減価償却をめぐる論争（以前の記事で扱った）を強める方向にも働きえます。同じ力が、設備投資を正当化しつつ、その資産の価値を早く古くしうる──ここが読みどころです。

そもそも「推論TCO」とは

用語を先に3つ。

• 推論：学習済みのAIを実際に動かして答えを出させること。質問に回答する、コードを書く、といった「使う」場面すべて。
• トークン：AIが文章を処理する単位。おおまかには単語より少し細かいくらいで、入力と出力の長さで料金が決まります。「トークンあたりコスト」は、AIを動かす単価そのものです。
• TCO（Total Cost of Ownership・総保有コスト）：GPUの購入費だけでなく、電力・冷却・設置・運用まで含めた「持って動かし続ける総コスト」を合算したコストの考え方。よく使われる1MW（メガワット）の電力でどれだけのトークンを出せるかという指標は、このTCOを構成する要素のひとつ（電力効率）であって、TCOそのものではありません。両者は近い話ですが、厳密には別です。

なぜ電力あたりの効率が大事なのか。データセンターの最大の制約が電力だからです。以前「AIの制約はチップから電力へ」で書いたとおり、いまや「電力1MWをどれだけ賢く使えるか」が競争の焦点になっています。同じ電力でより多くのトークンを出せれば、その分だけ推論インフラの単位あたりコストは下がります（モデル開発費や通信・人件費など他の費用は別に残ります）。

NVIDIAの主張と、その出どころ

まず、公式の主張を正確に。NVIDIAはCES 2026・GTC 2026で、次世代の「Vera Rubin NVL72」について、Blackwell世代比の性能を掲げました。ここで名前のNVL72が指すのは、72個のGPUに加えてCPU・高速接続・ネットワークまで含めた「ラック1本まるごとのシステム」だという点が大切です。GPU単体ではなく、システム全体での比較になります。

ただし、掲げられた数字は種類が違うものが並んでいます。「推論性能が最大5倍」はGPUの演算性能の話、「電力あたりの推論スループットが10倍」「トークンあたりコストが10分の1」はモデルや条件を含んだシステム・コストの話で、同じ物差しではありません。量産は2026年後半で、AWS・Google Cloud・Microsoft・Oracle・CoreWeaveなどでの展開が予定されています。

この主張に関連する実機データとして注目されたのが、CoreWeave（GPUを中心に提供する新興クラウド事業者。いわゆる「ネオクラウド」）のベンチマークです。CoreWeaveは、1人あたり毎秒約150トークンという応答速度に揃えて比べたとき、電力あたりのトークン処理量が旧世代のGB200比で10倍という結果を報告しました。「応答速度を揃えて比べる」のは、速さと処理量はトレードオフの関係にあり、条件を揃えないと公平に比較できないためです。

📝 念のため：ここまでの「10倍」「10分の1」は、NVIDIAとCoreWeaveという当事者が公表・測定した数字です。第三者の標準ベンチマークではなく、売り手側の初期測定なので、独立した分析会社がどう評価するかを次に見ます（NVIDIAは2026年第3四半期に検証可能な数値を提出予定とされています）。

「10倍」を分解する

ここで、半導体分析会社SemiAnalysisの検証（2026年7月23日）が効いてきます。SemiAnalysisも独自のベンチ基盤やコスト試算モデルを持つ分析会社なので「絶対の正解」ではありませんが、当事者ではない立場からの見方として参考になります。同社は、CoreWeaveの「10倍」データ自体は正確としたうえで、そこに複数の留保が付くと指摘しました。

CoreWeaveベンチに付く主な留保（SemiAnalysisの指摘）

▼

比較相手が1年前10倍は2025年時点の初期GB200が基準。現行のGB200/GB300と比べると差は縮む

単ターンのテスト入力8k・出力1kの1往復のみ。実際の対話やエージェント用途とは条件が違う

古いモデルで測定いまはあまり使われないDeepSeek R1で測定。SemiAnalysisは「この選択はむしろ旧世代に有利で、より新しい超大型モデルならRubinの優位はさらに広がりうる」とも指摘する

量産前の試作ラック本格的な接続網のない試作機での測定。ソフトも成熟途上で、今後性能が伸びる余地もある

留保を踏まえて条件を揃え直すと、数字はこう変わります。SemiAnalysisの再計算では、Vera Rubinは1年前のGB200比で電力あたり約5.4倍、ドルあたり約5倍。そして現行のGB200/GB300と比べると、トークンあたりコストは約3倍安い水準になりました。ただし、ここまでの「10倍」「5.4倍」「3倍」は、電力あたり・ドルあたり・トークン単価と指標が完全には揃っていません。厳密に同一条件を比べたものではなく、「基準の取り方で改善幅の見え方が変わる」ことを示す目安として読んでください。

補足すると、Vera RubinのGPUは1時間あたりの利用料が高くなる見込みです（SemiAnalysisの試算でRubinが約3.57ドル、GB200が約1.84ドル、GB300が約2.36ドル）。1台あたりは高いが、その分たくさん処理できるので、トークンあたりでは安くなる、という構図です。だからこそ「1台の値段」ではなく「トークンあたり」で見る必要があります。

大事なのは、「10倍」が誤りというわけではないという点です。CoreWeaveの測定自体は正確とされており、ただ最も条件の良い場面での数字であるため、比較の基準を現行世代に揃えると穏当な数字になる、という関係です。約3倍でも無視できない改善幅です。ただ、投資の材料として使うなら、頭出しの数字ではなく、条件を揃えたあとの数字を見ておきたい。しかもその「揃えた数字」自体、SemiAnalysisの独自コストモデルにもとづく暫定値であり、量産後の実測で変わりうる点も忘れないでおきたいところです。

本記事の核心──コスト低下は「両刃」

ここからが、フクリがこの話でいちばん伝えたい部分です。

推論コストが下がるのは、普通に考えれば良いことです。これはAIデータセンターへの巨額投資を正当化する材料のひとつとされています。安く動かせれば推論インフラの単位あたりコストが下がり、AIサービスの採算が改善しやすくなる。そして需要の伸びがコスト低下を上回れば、安くなった分だけ利用が増えて、結局もっと計算資源が要る、という循環が起こりえます。「効率化がかえって総消費を増やす」というのは、ジェボンズのパラドックスに似た議論として知られています。ただし、これは必ず起こる法則ではなく、需要の価格弾力性や競争しだいで、そうならない場合もあります。

いずれにせよ、同じ現象には裏の顔があります。

推論コスト低下の「両刃」（編集部の整理）

正当化する側安く動かせるほどAIサービスの採算が改善し、需要が増える。データセンターへの巨額投資を正当化する、強気論の中心ロジック

古くする側次世代が桁違いに安いなら、いま高値で買った現行GPUの経済的な価値は目減りしうる。減価償却を長めに取っている帳簿には、後から見直しを迫る圧力にもなりうる

裏の顔とは、世代交代が速いほど、いま持っているGPUが早く陳腐化しうるということです。次のVera Rubinが現行比で3倍安くトークンを出せるなら、いま巨額で買ったGB200/GB300は、経済的には想定より早く「割に合いにくく」なる可能性があります。

ここで思い出したいのが、減価償却の記事で扱った論争です。マイケル・バーリ氏らは、巨大テック企業がAI用GPUを5〜6年かけて減価償却しているが、実際の経済的な寿命はもっと短いのではないか、と問題提起しました。推論コストの急低下は、このバーリ氏の懸念を検討するうえでの追加材料になりえます。ただし、これだけで会計処理が不当だと決まるわけではありません。旧世代のGPUは、安い用途への再配置、ソフト最適化による性能向上、電力制約下での供給逼迫、長期契約による稼働率の維持などで使われ続ける可能性もあり、経済的な陳腐化・会計上の耐用年数・減損は、それぞれ別の話です。値を下げる力が働くとしても、それが直ちに帳簿の見直しにつながるとは限りません。

それでも、Vera Rubinの効率改善が、AI投資を正当化する材料であると同時に、既存資産の価値を早く古くしうる材料でもある、という両面性は押さえておく価値があります。同じニュースが、強気論にも慎重論にも材料を与える。ここが、単なる「すごい新製品」という受け取り方では見えない部分です。

なお、この世代交代を仕掛けているのはNVIDIAですが、以前の記事で見たように、OpenAIやGoogleは自社設計チップでNVIDIA依存を減らそうともしており、推論コストの競争は新型GPU同士だけの話ではありません。

どこに効くのか

投資家として気になる「どこに効くのか」を、構造として整理します。個別銘柄の推奨ではありません。

立場	追い風になりうる面	向かい風になりうる面
GPUを設計・供給する側	世代交代のたびに買い替え需要が生まれる	自社設計チップとの競争。次世代が旧世代の価値を下げる面も
クラウド・ネオクラウド	効率の良い新型で単価を下げ、競争力を高められる	旧世代GPUを高値で調達済みなら、価値目減りの負担
AIサービスを作る企業	推論コストが下がり採算が改善しやすい	安さが行き渡れば競争も激化し、差別化は別の要素へ
AIインフラに投資する主体	需要拡大が続けば投資回収の追い風	減価償却の前提が甘いと、後で損失計上のリスク

⚠️ この表は構造の整理であり、投資推奨ではありません。特定の銘柄名を挙げていないのは、推論コストが下がることが、そのまま特定企業の株価上昇を意味するわけではないためです。需要の伸び、競争、減価償却の前提など、業績を左右する要因は多岐にわたります。

投資家として、どう読む？

あらためて、この記事は特定の銘柄や資産を勧めるものではなく、相場の見通しを述べるものでもありません。確認しておける観点を2つに絞ります。

1. 「桁で改善」という数字は、条件を揃えてから見る。今回の「10倍」も、比較相手を現行世代に揃えると約3倍でした。約3倍でも無視できませんが、その数字自体も分析会社の暫定試算で、量産後の実測で動きます。数字が強いときほど、どの条件で測ったかの注記まで確かめる価値があります。
2. 減価償却という地味な前提を点検する。推論コスト低下は、設備投資を正当化しつつ、既存資産を古くしうる「両刃」でした。だからこそ、AI関連に投資するなら、投資先が「GPUを何年で償却しているか」という前提が効いてきます。決算書の読み方で注記まで読むことをすすめたのは、こういう場面のためです。世代交代が速い分野ほど、償却の前提が保守的かどうかを見ておきたいところです。

まとめ

• NVIDIAは次世代GPU「Vera Rubin」で推論のトークンあたりコストがBlackwell比10分の1になると発表（CES/GTC 2026、量産は2026年後半）
• SemiAnalysis（2026年7月23日）がCoreWeaveの実機ベンチを検証すると、比較相手が1年前・単ターン・古いモデル・試作機という留保があり、条件を揃えると旧世代比約5.4倍、現行のGB200/GB300比では約3倍に。大きな改善だが頭出しの10倍とは差がある
• 本記事の核心は、推論コスト低下が「両刃」であること。AIデータセンター投資を正当化する一方、いま高値で買った現行GPUの経済的価値を目減りさせ、減価償却をめぐる論争を強める方向にも働きうる（ただし旧世代の再配置などで陳腐化が緩む可能性もあり、会計上の耐用年数とは別の話）
• 投資家への含意は「桁の数字は測った条件を確かめてから見る」「投資先のGPU償却年数という前提を点検する」

情報源

• SemiAnalysis：Vera Rubin NVL72 vs GB200 NVL72? Inference TCO & Architecture Analysis（2026年7月23日・一部有料）
• NVIDIA：Vera Rubin Driving Performance Per Watt, Lower Token Costs（公式ブログ）
• CoreWeave：Completes Industry-First Bring-Up and Validation of NVIDIA Vera Rubin NVL72（2026年6月）
• Tom’s Hardware：Nvidia launches Vera Rubin NVL72 — up to 5x inference performance and 10x lower cost per token than Blackwell, coming 2H 2026
• 関連記事：減価償却とは？（GPU償却論争）／AIの制約はチップから電力へ／OpenAI×Broadcomの自社設計チップ／中国Moonshotの「Kimi K3」

← ホームに戻る