MoE はなぜコストを下げたのか

執筆者:

カテゴリ:

2026年に登場した中国系モデルは、DeepSeek V4、Qwen 3.7 Max、Kimi K2.6、MiniMax M3を含め、いずれもMoE（Mixture of Experts）構成を採用している。この選択の一致は、コスト構造からの要請と考えられる。

MoE の基本

従来の密なモデルは、入力を処理するとき全てのパラメータを使う。MoEは、モデル内部を複数の「専門家」に分け、入力ごとに一部だけを起動させる。総パラメータ数は大きく保ちつつ、1トークンあたりの計算量を抑えられる。

方式	総パラメータ	1トークンの計算量
密なモデル	N	Nに比例
MoE	N（大きく保てる）	起動した一部に比例

知識量は総パラメータに、推論コストは起動パラメータに、おおまかに対応する。両者を切り離せることがMoEの利点である。

価格が下がった理由は、アーキテクチャだけではない。

三層のうち、日本の事業者が真似できるのは一層目だけである。二層目は公開戦略の帰結であり、三層目は立地と産業政策の帰結だ。

重みを公開すると、自社のAPI収益は減る。にもかかわらず公開する理由は、第三者ホスティングによって普及速度が上がり、事実上の標準を取れることにある。

重みの公開は無償の善意ではなく、流通経路を増やして標準を取るための投資である。

MoEは万能ではない。専門家の振り分けが偏ると品質が不安定になり、メモリ上には全パラメータを載せる必要があるため、自前で動かす場合のハードウェア要件は総パラメータ数に引きずられる。

つまり「MoEだから軽い」のは、事業者側が大量のリクエストをまとめて処理する場合の話である。個人や小規模組織が自前で動かす前提では、必ずしも有利にならない。

安さの理由を分解すると、模倣できる部分と模倣できない部分が見えてくる。単価の比較だけでは判断を誤る。

MoEの利点は、事業者が大量のリクエストをまとめて処理する場面で最大化される。個人や小規模組織が自前で動かす場合の計算は、まったく違う様相になる。

推論に使う計算量は起動した専門家の分だけで済むが、どの専門家が呼ばれるかは入力ごとに変わるため、メモリ上には全パラメータを載せておく必要がある。つまり必要なメモリ量は総パラメータ数に引きずられる。「軽い」という表現が当てはまらない。

MoEには、専門家の振り分けが偏ると品質がばらつくという弱点がある。特定の入力傾向に対して、うまく機能する専門家に当たらない場合がある。評価の際は平均だけを見ず、悪いほうの裾を確認する必要がある。

実務では、同じ条件で複数回試すことが有効だ。一回の結果で判断すると、たまたま良かった、あるいは悪かった例に引きずられる。

安さの三層のうち、アーキテクチャは公開された知見であり追随できる。第三者ホスティングの競争は公開戦略の帰結であり、公開しない限り生じない。国産チップと安価な電力は、立地と産業政策の帰結である。

つまり単価だけを目標にすると、構造的に追い付けない部分に挑むことになる。競う場所を選ぶ判断が必要になる。