RDMA (Remote Direct Memory Access) 通信

🌐 RDMA (Remote Direct Memory Access) 通信の解説

RDMA (Remote Direct Memory Access) 通信は、ネットワーク経由でデータを転送する際に、CPUを介さずに、あるホスト（サーバー）のメモリから直接別のホストのメモリへアクセスし、データを転送する技術です。

この技術は、特にAI/HPC（高性能コンピューティング） や大規模データセンターにおいて、CPU負荷を劇的に軽減し、超低遅延かつ高スループットなデータ転送を実現するために不可欠な要素となっています。

🚀 RDMAの仕組みと従来のI/Oとの違い

1. 従来のネットワーク I/O (非RDMA)

従来の標準的なデータ転送（例：TCP/IPソケット通信）では、データ転送処理においてCPUが複数のコピー操作に関与します。

1. アプリケーションがデータを送信バッファに書き込む。

2. OSカーネルがデータをバッファからネットワークカード（NIC）のバッファにコピーする。

3. NICがネットワークにデータを送信する。

4. 受信側でNICがデータを受信バッファにコピーする。

5. OSカーネルがデータをアプリケーションのバッファにコピーする。

これらのカーネルとCPUの関与が、遅延（レイテンシ）とCPUオーバーヘッドの主な原因となります。

2. RDMAの仕組み（ゼロコピー）

RDMAは、ネットワークインターフェースカード（NIC）自体に転送ロジックを持たせることで、CPUとOSカーネルを介さずにメモリ間で直接データを転送します（ゼロコピー）。

1. 送信側のアプリケーションが、転送したいデータのメモリ領域を登録（レジスト） し、NICに転送指示を出す。

2. NICが直接データをホストメモリから読み出し、ネットワークへ送信する。

3. 受信側のNICがデータを受信し、CPUやOSを介さずに直接ターゲットメモリ領域に書き込む。

✨ RDMAの主要なメリット

• 低遅延 (Low Latency): CPUとカーネルをバイパスするため、ソフトウェアスタック処理に伴う遅延が大幅に削減されます。AI/HPCで求められるミリ秒以下の超低遅延が実現します。

• CPU負荷軽減 (Low CPU Overhead): 転送処理がNIC（RDMA対応NIC、またはRNIC）にオフロードされるため、CPUはデータ転送に関わる必要がなくなり、アプリケーション処理に専念できます。

• 高スループット: CPUのボトルネックが解消されるため、ネットワークの物理的な帯域幅（例：400G、800G）を最大限に活用できます。

🌐 RDMAの主な実装技術

RDMAを実現するための主な技術規格には、以下のものがあります。

1. Infiniband (IB): RDMAのために設計された、元祖となる高性能ネットワーク規格。HPC分野で広く採用されています。

2. RoCE (RDMA over Converged Ethernet): 標準的なイーサネットネットワーク上でRDMAプロトコルを実行するための技術。データセンターでの主流となりつつあります。

   • RoCEv2: IP層の上で動作し、ルーティングが可能になったバージョンです。

3. iWARP: TCP上でRDMAプロトコルを実行するための技術。

データセンターでは、既存のイーサネットインフラを活用できるRoCEの採用が急速に進んでいます。ただし、RDMAが正常に機能するためには、ネットワークがパケットロスを発生させない（ロスレスである）ことが極めて重要となります（これが前述のiLossless技術が求められる理由です）。

光ニューラルネットワークが光回路を使ってどのように高速情報処理を行うかについて、さらに詳細を知ることができます。(PyTorchによる畳み込み演算)