グラボのVRAMを外付け増設可能にする低遅延データ転送システムが開発される

画像生成AIや大規模言語モデルなどの計算処理にグラフィックボードを用いる場合、「GPUの処理性能」のほかに「VRAMの容量」も重視されます。グラフィックボードにVRAMを増設することは基本的に不可能なのですが、新たにハードウェアメーカーのPanmnesiaがグラフィックボードへのメモリ外付け増設を可能にするシステム「CXL-GPU」を開発しました。
CXL-GPU
(PDFファイル)https://panmnesia.com/uploads/panmnesia-CXL-GPU.pdf
GPUs can now use PCIe-attached memory or SSDs to boost VRAM capacity —Panmnesia's CXL IP claims double-digit nanosecond latency | Tom's Hardware
https://www.tomshardware.com/pc-components/gpus/gpus-get-a-boost-from-pcie-attached-memory-that-boosts-capacity-and-delivers-double-digit-nanosecond-latency-ssds-can-also-be-used-to-expand-gpu-memory-capacity-via-panmnesias-cxl-ip
AI関連の処理をグラフィックボードで実行する場合、VRAMの容量が少ないと「モデルデータを読み込めず処理を始められない」「メモリスワップが発生して処理速度が低下する」といった問題が発生します。このため、AI関連の処理を実行したい場合はVRAM容量の大きなグラフィックボードを入手する必要があります。また、VRAM容量の大きなグラフィックボードを入手した場合でも、モデルデータの規模は増加傾向にあるため、数年後にはVRAM不足に悩まされる可能性があります。
DRAMやSSDなどは後から容易に増設可能ですが、グラフィックボードにVRAMを増設することは基本的に不可能です。そんな中、PanmnesiaはグラフィックボードにVRAMを外付け増設できるシステム「CXL-GPU」を開発しました。

CXL-GPUではDRAMやSSDをVRAMとして認識させることでグラフィックボードのVRAMを増設できます。以下の例では、DRAMをPCIeアダプタに装着し、CXL-GPUを用いてDRAMをVRAMとして認識させています。

DRAMをVRAMとして扱う技術としては、すでに「Unified virtual memory(UVM)」が存在しますが、UVMには「遅延が大きく処理性能が低下しやすい」という問題があります。CXL-GPUの遅延はわずか二桁ナノ秒で、処理性能の低下を抑えられるとのこと。

Panmnesiaのテストでは、CXL-GPUを用いたシステムはUVMを用いたシステムと比べてカーネル実行速度が3.23倍に向上することが確認されています。

なお、CXL-GPUが市販品に応用されるかどうかやその時期は記事作成時点では不明です。