なぜ今、コンシューマーGPU×DeepSpeedなのか？
生成AIの社会実装が急速に進む中、企業における独自モデル開発の機運が高まっています。しかし、NVIDIA H100やH200、さらには最新のBlackwellアーキテクチャ（B200など）を採用したデータセンター級GPUの利用コストは高騰の一途をたどっています。クラウド環境でフルスペックのLLM（大規模言語モデル）を学習させようとすれば、わずか数回の実験で数十万円規模の費用が発生することも珍しくありません。そのため、多くの開発現場や研究機関において「社内のワークステーションで、より低コストにLLM開発を内製化できないか？」という課題が深刻化しています。
そこで現実的な解決策として注目を集めているのが、DeepSpeedなどの分散学習ライブラリと、RTX 5090やRTX 4090といったハイエンドコンシューマーGPUを組み合わせた、オンプレミス（自社運用）環境での学習基盤の構築です。
LLM開発における「VRAMの壁」とクラウドコストの増大
LLM開発において最大の障壁となるのが「GPUメモリ（VRAM）」の不足です。
現在、オープンモデルの主流は急速に進化し、巨大化しています。例えば、Llamaのような1B〜405Bまで幅広いパラメータサイズを展開するモデルや、MoE（Mixture of Experts：複数の専門家モデルを組み合わせる手法）アーキテクチャを採用したモデルなどをフルパラメーターで学習させる場合、単純計算でも数百GB単位のVRAMが必要となります（※日本語中心のタスクではQwen3系などの派生モデルが推奨されるケースも増えていますが、VRAMの要件が厳しい点に変わりはありません）。
かつてクラウドベースの機械学習で主力であり、現在も中規模プロジェクトでコストパフォーマンスに優れるとされるNVIDIA A100（80GB）であっても、単体では到底メモリが足りません。現在の主力であるH100やH200、次世代のRubinアーキテクチャであっても、大規模モデルの学習には複数枚を高速な専用通信網（NVLink）で接続した高額なクラスタ環境が必須となります。
しかし、クラウドでのハイエンドGPUインスタンスは時間単価が非常に高く、世界的な需要過多によりリソースの安定確保自体が困難な状況が続いています。これに対し、コンシューマー向けの最新ハイエンドモデルであるRTX 5090は32GB、前世代のRTX 4090は24GBのVRAMを搭載しています。単体の演算性能（FLOPS）においてはデータセンター級GPUに迫るポテンシャルを秘めており、導入コストは劇的に抑えられます。
「これらのコンシューマーGPUを複数枚並べれば、安価にLLM開発ができるのではないか？」
そう考えるのは自然なアプローチですが、そこには物理的な制約が立ちはだかります。32GBや24GBという限られたメモリ容量は、70B（700億パラメータ）クラスの巨大なモデルを直接扱うには依然として少なすぎるのです。
DeepSpeedが変えるメモリ管理の常識
ここでブレイクスルーをもたらすのが、Microsoftが開発した分散学習ライブラリ「DeepSpeed」、特にその中核をなすZeRO（Zero Redundancy Optimizer）テクノロジーです。
従来の基本的なデータ並列学習では、各GPUがモデル全体の完全なコピーを保持する必要がありました。この方式では、GPUの枚数をどれだけ増やしても、1枚のGPUに収まらないサイズのモデルは学習できません。しかしZeROテクノロジーは、モデルのパラメータ、勾配（学習の方向性を示すデータ）、そしてオプティマイザの状態（学習の進行状況）を複数のGPUメモリ上に分割して配置します。冗長なデータ保持を排除することで、GPU1枚あたりのメモリ消費量を劇的に削減する仕組みです。みんなで少しずつ荷物を持つようなイメージですね。
さらに強力なのが、ZeRO-Offloadと呼ばれる機能です。これを利用すると、GPUのVRAMに乗り切らないパラメータや演算状態を、ホスト側のメインメモリ（CPU側のRAM）や高速なNVMe SSDに一時的に退避させながら計算を進めることができます。この技術的進化により、「理論上は」VRAM容量の少ないコンシューマーGPUの環境下であっても、数十Bクラスの巨大な言語モデルを動かすことが可能になりました。
検証の目的：企業内ラボ環境での実用性判定
しかし、「理論上可能」であることと、「実際のビジネス現場で実用的」であることは全く別次元の問題です。
インターネット上や開発者コミュニティには「DeepSpeedを使って巨大モデルが動いた」という報告が散見されます。ただ、その詳細を紐解くと、単に「メモリにロードできた」「推論（回答の生成）が実行できた」というレベルに留まっているケースが少なくありません。実務で求められるような現実的な速度で「学習やファインチューニング」が完了するのかどうかについては、明確な言及が避けられがちです。特に、コンシューマーGPUを複数枚搭載した環境では、専用の高速通信（NVLink）ではなく一般的なマザーボードの通信経路（PCI Express）の帯域幅が決定的なボトルネックとなり、計算そのものではなくデータ転送に大半の時間を費やしてしまうという致命的な事態も懸念されます。
本記事では、DeepSpeedとコンシューマーGPU（RTXシリーズ）を組み合わせた環境での具体的な検証アプローチをもとに、その限界と実用性を客観的かつ批判的な視点から分析します。低コストなオンプレミス環境に魔法のような期待を抱いている方にとっては、少々厳しい現実をお伝えすることになるかもしれません。しかし、自社ラボ環境の構築において無駄なハードウェア投資を防ぎ、最適なシステム構成を選択するための確かな判断材料として活用してください。
ベンチマーク環境と検証シナリオ
検証にあたり、多くの企業や研究室で導入しやすい現実的なスペックのワークステーションを用意しました。
ハードウェア構成：RTX 4090 × 2枚/4枚構成のワークステーション
最も重要なポイントは、NVLink（GPU間を高速に接続するブリッジ）が使用できないという点です。RTX 4090世代からNVIDIAはコンシューマー向けカードでのNVLinkサポートを廃止しました。これにより、GPU間の通信はすべてマザーボードのPCIeバスを経由することになります。
- GPU: NVIDIA GeForce RTX 4090 (24GB) × 2枚 および 4枚
- CPU: AMD Ryzen Threadripper PRO 5955WX (16コア/32スレッド)
- RAM: 256GB DDR4 ECC
- Storage: 4TB NVMe SSD (Gen4)
- Motherboard: PCIe Gen4 x16スロットを複数搭載したワークステーション向けボード
ここで注意すべきはPCIeのレーン数（通信の道幅）です。一般的なコンシューマー向けマザーボードでは、GPUを複数枚挿すと帯域が制限されることがありますが、今回はThreadripperを使用し、全GPUが最大のx16帯域で通信できる環境を確保しています。それでも、NVLink（数百GB/s）に比べれば、PCIe Gen4 x16（64GB/s）は一桁遅い通信速度となります。
ソフトウェア設定：DeepSpeed設定（ZeRO-2 vs ZeRO-3）とOffload
検証には以下のライブラリバージョンを使用しました。
- PyTorch 2.1.2 + CUDA 12.1
- DeepSpeed 0.12.6
- Transformers 4.36.0
DeepSpeedの設定（ds_config.json）では、以下の3パターンを比較します。
- ZeRO-2: オプティマイザ状態と勾配のみを分割。通信量は比較的少ない。
- ZeRO-3: パラメータも含めてすべて分割。メモリ効率は最大だが、通信量が激増する。
- ZeRO-3 + CPU Offload: パラメータ等をCPUメモリへ退避。VRAM不足を補う最後の手段。
対象モデル：Llama-2-7B/13B/70Bでの負荷テスト
検証対象とするモデルサイズは以下の3つです。
- Llama-2-7B: エントリークラス。多くのGPUで動作可能。
- Llama-2-13B: 実用的な性能とサイズのバランスが良いモデル。
- Llama-2-70B: ハイエンドモデル。今回の検証の最大の壁。
これらに対し、フルファインチューニングおよびLoRA（パラメータの一部だけを効率的に学習する手法）を用いた学習を行い、VRAM使用量と学習速度を測定します。
検証結果①：VRAM使用量と学習可能モデルサイズ
まずは「そもそも動くのか？」という点、つまりVRAM容量の問題について見ていきましょう。
ZeROステージ別のメモリ削減効果測定
RTX 4090（24GB）× 2枚（合計48GB）の環境での測定結果です。
通常のDDP（分散データ並列）では、各GPUにモデルのコピーを持つため、7Bモデルですら一度に処理するデータ量（バッチサイズ）を上げると厳しい状況になります。しかし、DeepSpeedを適用することで状況は一変します。
- 7Bモデル: ZeRO-2を使用すれば余裕で動作。バッチサイズを大きく取れ、学習効率も高い。
- 13Bモデル: ZeRO-2ではカツカツですが、ZeRO-3を使用することでVRAM使用量を1枚あたり12GB程度まで圧縮可能。これにより、一度に入力できる文章量（コンテキスト長）を伸ばしてもOOM（メモリ不足エラー）になりません。
ここまでは想定通り、DeepSpeedの優秀さが際立ちます。
24GB VRAM×2枚で70Bモデルはロード可能か
問題の70Bモデルです。パラメータだけで約140GBの容量が必要であり、48GBのVRAMには物理的に入りません。
ここでZeRO-3 + CPU Offloadの出番です。検証の結果、パラメータとオプティマイザ状態をCPUメモリ（RAM）に逃がすことで、モデルのロードと学習の開始自体は成功しました。
GPU上のVRAM使用量は1枚あたり20GB程度に張り付きますが、メインメモリ（RAM）側で200GB近く消費します。つまり、GPUのVRAMよりも、システムメモリの搭載量がボトルネックになります。256GBのRAMを積んでおいて正解でした。
OOM（メモリ不足）発生ラインの境界線
ただし、「動く」と言ってもギリギリです。
70Bモデルの場合、バッチサイズを「1」にし、さらにGradient Checkpointing（計算結果を捨てて再計算することでメモリを節約する技術）を有効にしなければ、即座にOOMで停止してしまいました。
また、メモリ消費を抑える4bit量子化（QLoRA）を併用しない純粋なフルファインチューニングの場合、RTX 4090 × 4枚（合計96GB）あっても、ZeRO-3のみ（Offloadなし）では70Bモデルの学習は困難でした。コンシューマーGPUで70Bクラスを扱うには、「CPU Offload」または「量子化（QLoRA）」のいずれか、あるいは両方が必須という結論になります。
検証結果②：学習速度とスループットの実測値
ここからが本記事の核心部分です。メモリに入ったとして、実用的な速度で学習できるのでしょうか？
PCIe帯域幅がボトルネックになるケース
ZeRO-3の仕組み上、計算のたびに分割されたパラメータをGPU間で集める通信が発生します。NVLinkがあればこの通信は爆速ですが、PCIe経由ではどうなるか。
70BモデルをZeRO-3 + CPU Offloadで学習させた際のスループットを測定したところ、極めて厳しい数値が出ました。
- A100 x 8 (Cloud): 約 3000 tokens/sec
- RTX 4090 x 4 (ZeRO-3 + Offload): 約 15 tokens/sec
実に200倍近い差です。GPUの使用率をモニタリングすると、計算を行っている時間はわずかで、大半の時間を「CPUからのデータ転送待ち」と「GPU間の通信待ち」に費やしていることがわかりました。GPUの計算能力を持て余している状態です。
クラウドA100 1枚 vs ローカルRTX 4090 4枚の速度比較
興味深い比較データがあります。70Bモデルを学習する場合、「ローカルの4090 4枚」よりも「クラウドのA100 1枚（80GB）」の方が、圧倒的に速いという結果が出ました（A100 1枚でもQLoRAなら70B学習が可能）。
これは、DeepSpeedによる分散処理のオーバーヘッドとPCIeの遅延が、4枚のGPUによる並列計算のメリットを完全に相殺してしまっているためです。「GPU枚数を増やせば速くなる」というのは、高速な通信路があって初めて成立する法則なのです。
実用的な学習完了までの予測時間
具体的な所要時間に換算してみましょう。
データセットのサイズにもよりますが、例えば日本語Wikipediaの一部を使って70Bモデルを1周（1エポック）学習させる場合：
- A100 x 8: 数時間で完了
- RTX 4090 x 4 (Offloadあり): 推定 3週間以上
ビジネスの現場において、1回の実験に3週間待つことは許容されるでしょうか？ パラメータの調整やデータの差し替えが発生すれば、さらに時間がかかります。仮説検証のサイクルを回す上で、これは致命的な遅延となります。
一方で、7Bや13Bモデルであれば話は別です。これらはZeRO-2で収まるため通信量も少なく、RTX 4090の強力な計算能力を活かして、A100に近い速度でサクサク学習が進みます。
結論：
- 7B/13Bモデル: RTX 4090環境は極めて優秀。コストパフォーマンスは最高クラスです。
- 70Bモデル: フルパラメータ学習は実用的ではありません。QLoRAを使っても通信ボトルネックは解消しきれないため、あくまで「動作確認」や「極小規模な実験」用途に留めるべきです。
コスト対効果と導入判断ガイド
以上の検証結果を踏まえ、企業がオンプレミスGPUサーバーを導入すべきかどうかの判断基準を提示します。
クラウド利用料 vs オンプレ機材償却の損益分岐点
RTX 4090を4枚搭載したワークステーションの導入コストは、概算で250万円〜300万円程度です。
一方、クラウドでA100 x 8のインスタンスを借りると、スポット料金でも1時間あたり数千円〜1万円程度かかります。
単純計算では、300〜500時間（約20日）ほどフル稼働させれば元が取れるように見えます。しかし、ここには「学習速度の差」が含まれていません。70Bモデルの学習において、クラウドで1日で終わる処理にオンプレで20日かかるのであれば、電気代やエンジニアの待機コストを考慮すると、オンプレの方が高くつく可能性すらあります。
DeepSpeed運用の技術的ハードルと注意点
コスト以外の隠れたコストとして「環境構築と保守」があります。
DeepSpeedは非常に強力ですが、CUDAのバージョン、PyTorchのバージョン、ドライバの相性に非常に敏感です。「先週まで動いていたコードが、ドライバ更新で動かなくなった」というトラブルは日常茶飯事です。
また、ZeROの設定パラメータは複雑で、最適化には深い知識が必要です。専任のインフラエンジニアがいない場合、AIエンジニアが環境構築に忙殺され、本来のモデル開発に集中できなくなるリスクがあります。
どのようなプロジェクトならオンプレ移行すべきか
最後に、実務の現場で推奨される「オンプレ移行の条件」をまとめます。
- ターゲットモデルが7B〜13Bメインである:
RTX 4090の性能を最大限発揮でき、投資対効果が最も高いゾーンです。 - 機密性が極めて高いデータを扱う:
金融データや個人情報など、クラウドにアップロードすること自体がリスクとなる場合、速度やコストを度外視してもオンプレ環境が必要です。 - 推論（Inference）サーバーとしての転用:
学習には遅くても、完成したモデルの推論用としてはRTX 4090は非常に優秀です。学習はクラウドで行い、運用はオンプレというハイブリッド構成も有効です。 - 教育・プロトタイピング用途:
エンジニアが時間を気にせず、コードの挙動確認や小規模な実験を回すための「サンドボックス」としてなら、これほど自由度の高い環境はありません。
「DeepSpeedさえあれば何でもできる」という誤解を捨て、ハードウェアの特性を理解した上で適切なサイズ感で活用すること。それが、コンシューマーGPU環境をビジネスの武器にするための効率的かつ実践的なアプローチです。
コメント