御社のAIコスト計算を変えうる一つのチップ

2026年8月25日、OpenAIは、Broadcomと共同開発した独自の推論チップJalapeñoについて、初の実測ベンチマーク結果を公表しました。発表された数値は、ピークスループット時のワットあたりのAI処理量が1.5xから1.9x多く、比較対象のNVIDIA GB200およびGB300システムと比べてエンドツーエンドのレイテンシが1.7xから3.6x低い、というものです。平たく言えば、同じ電力でおよそ二倍の成果が得られ、応答も速くなるということです。言語モデルの上でAIアシスタントや自動化を運用しているなら、まさにこれが毎月の請求額を左右します。

具体的に何が発表されたのか

Jalapeñoは学習用チップではありません。推論用のチップ、つまり学習が終わったモデルを実行するチップであり、推論こそがAPIリクエストのたびに支払っている部分です。このチップは2026年6月24日に初めて公開され、その実測値はHot Chipsカンファレンスで発表されました。測定にはSemiAnalysisの公開ベンチマークであるInferenceXが使われ、GPT-OSS、DeepSeek R1、Kimi K2.5の三つのオープンウェイトモデルで評価されました。

  • 消費電力：チップ1基あたり約700Wで、比較対象のシステムはその約二倍を消費します。
  • スループット：ピークスループット時のワットあたり処理量が1.5xから1.9x多い。
  • レイテンシ：テストしたモデルにより、エンドツーエンドで1.7xから3.6x低い。
  • スケジュール：2026年末に限定的な初期導入を行い、2027年を通じて段階的に拡大。

数字は批判的な目で読む

熱狂よりも先に、注意点を挙げておくべきです。数値はOpenAI自身によるもので、自社のラボ内で検証されたものです。比較対象はNVIDIAの現行世代であり、次世代ではありません。また、テストは長いマルチターンのエージェント会話ではなく、比較的短いワークロードに焦点を当てていました。それでも核心となるメッセージは変わりません。推論能力はもはや単一の供給者による市場ではなく、この能力を購入する側は今後二年間で、より安い価格でより多くの選択肢を得られるようになります。

経営者にとって実務上何を意味するのか

Jalapeñoチップを購入することも、目にすることもないでしょう。その影響を感じるのは次の三つの場面です。

  • コスト：プロバイダーにとってモデルの実行コストが下がれば、従量課金の価格も徐々に下がります。1年前には高すぎると思えたAIプロジェクトが、今日なら採算が合うかもしれません。
  • 速度：レイテンシが下がると、これまで不可能だった用途が実現します。気まずい沈黙のない音声アシスタント、社内文書の即時検索、顧客がまだカウンターの前に立っている間に審査が終わる申請などです。
  • 処理量：リクエストが安くなれば、サンプルではなくすべての取引にAIを適用することが合理的になります。すべての顧客メッセージを分類し、すべての請求書を確認し、すべての通話を要約するのです。

最も重要なルール：システムを1社のベンダーに縛りつけない

推論チップ競争の本当の教訓は、誰が勝つかではありません。勝者が数か月ごとに入れ替わるということです。今日、モデルの切り替えが不可能な形でシステムを構築する人は、二度支払うことになります。一度目は請求書で、二度目は手にすることのなかったより良い性能で。

コストを節約するエンジニアリング上の判断とは、今日最高のモデルを選ぶことではありません。アプリケーションを書き直すことなく、明日モデルを切り替えられるシステムを構築することです。

実務的には、アプリケーションとモデルプロバイダーの間に薄いレイヤーを置くこと、特定のベンダーに依存しない形でプロンプトとツールを書くこと、データとナレッジをプロバイダーのプラットフォームではなく自社のシステムに保管すること、そして新しいモデルを採用する前に必ず実行する品質テストスイートを用意することを意味します。

Origamiでの取り組み方

顧客のためにAIを活用したシステムを構築する際、私たちは常にビジネスロジックとそれを実行するモデルを分離します。ナレッジとデータは顧客自身のデータベースに置き、プロンプトは移植可能な形で書き、モデルの切り替えはプロジェクトではなく設定変更で済むようにしています。さらに、月単位だけでなく処理単位でコストを計測するので、システムのどの部分が予算を消費しているのか、どの部分により強力なモデルが必要なのか、どの部分は小型で高速なモデルで十分なのかを正確に把握できます。

規制面は価格とともに動くわけではありません。推論が安くなっても、サウジアラビアの個人データ保護法（PDPL）に基づく義務は何も変わりません。外部モデルを通過する顧客データには、運用コストがどれほど下がっても、引き続き法的根拠、アクセス制御、監査ログが必要です。

今週取り組むべき実践的なステップ

  • 現在のAIの請求額を見直し、月額合計だけでなく、有用な処理1件あたりのコストを算出する。
  • より小型で高速なモデルで対応できるタスクを特定し、そちらに移す。通常、利用の半分は最も強力なモデルを必要としません。
  • 実際のビジネスケースを反映した短い品質テストセットを作成し、切り替える前に代替モデルで必ず実行する。
  • 単一ベンダーとの長期契約は、更新する前に見直す。市場は買い手に有利な方向へ動いています。
  • コストやレイテンシを理由に却下したアイデアを見直す。その中には今なら実現可能なものもあります。

まとめ：8月25日に起きたことは、実のところチップの話ではありません。AIシステムが依存しているレイヤーが、より安く、より速く、より競争的になりつつあるというシグナルです。柔軟なシステムを構築した企業は、この改善を自動的に享受できます。一つの選択肢に縛られた企業は、それが通り過ぎていくのを見送ることになるでしょう。

出典