摘要：随着AI技术的迅猛发展，对于AI网络的要求也越来越高。在这一背景下，具有低延迟和高吞吐率的RDMA（远程直接内存访问）技术变得越发重要。然而，传统RDMA技术需要高性能的网卡支撑，过高的成本使其在应用中的普及受到限制。
针对这一问题，国数集联将未来互联技术CXL的发展特点与RDMA技术相结合，创新性地推出了RDMA over CXL协议。该协议在仅依赖CXL交换机的情况下，无需额外的网卡设备支持，就实现了点对点传输性能，同时延迟仅为1.97微秒。国数集联这一突破性创新将为RDMA技术应用于更广泛的领域提供新的解决方案。
前沿：随着大模型和人工智能应用的快速进展，行业对于高速低延迟的网络技术越来越关注。为了增强AI计算中的通信能力，RDMA技术不断展现其优势，成为AI网络传输领域的重要协议，引领着行业的最新发展。RDMA是一种网络通信技术，它使计算机系统能够通过网络直接读取和写入远程计算机的内存，无需经过中间处理步骤。这种直接的内存访问方式在高性能计算和数据中心领域非常重要。RDMA优势明显。首先，它大大减少了数据传输的延迟和CPU开销，提高了系统的吞吐量和响应速度；其次，RDMA实现高效的数据共享和协作，优化了集群计算和分布式存储系统的性能；此外，RDMA在处理大规模数据集、高速网络和低延迟要求的应用程序方面表现出色。传统的RDMA实现需要专门的网络适配器和协议栈，如InfiniBand HCA卡和RoCE（RDMA over Converged Ethernet）网卡。它们使用发送/接收（Send/Receive）操作模式，在不同计算机之间进行数据传输。RDMA使应用程序能够直接发起数据传输操作，无需CPU干预。需要注意的是，为实现RDMA功能，需要相应的硬件和软件支持。RDMA在诸如高性能计算、大数据处理、云计算和虚拟化等特定领域得到广泛应用。随着技术的进步，RDMA在网络通信和数据传输中的重要性将持续增加。虽然RDMA具备低延迟、高带宽的优势，然而，相较于传统的网络适配器，RDMA网卡成本较高。这是因为RDMA网卡需要复杂的设计和制造来支持高性能的远程直接内存访问。RDMA网卡采用专用的硬件和芯片组，提供低延迟、高带宽和优化的数据传输效率，以满足对性能要求较高的应用。此外，RDMA协议栈的实现还需要相应的软件开发和支持。今天，国数集联向大家介绍基于CXL/PCIe技术的本机数据传输模型，并在CXL Fabric上开发了RDMA协议，实现了对RDMA over CXL技术的创新。这项技术创新使得用户能够在CXL技术上使用RDMA协议，无需修改现有的应用程序即可享受其好处。
1) 首先，国数集联通过利用CXL控制器来构建CXL Fabric。在此过程中，我们将CXL内存划分为Fast Channel和DMA Channel，根据性能和延迟的需求进行区分。Fast Channel用于传递消息和进行延迟敏感的业务传输，而DMA通道则利用PCIe和CXL控制器原生的DMA功能，提供高吞吐率的数据传输能力。2) 在内核模块中，我们引入了rdma_nupa层，构建nupa_rdma0设备，将RDMA操作适配到CXL/PCIe控制器上，实现了与上层的ib_core和ib_uverbs的无缝衔接。3) 在用户空间，用户应用程序可以直接使用标准的RDMA verbs进行编程和操作，从而充分利用CXL/PCIe技术的优势。这种无缝衔接和使用标准接口的设计，简化了开发人员的工作，并提供了便捷的编程接口来利用CXL Fabric上的高性能数据传输。RDMA over CXL
Testbed Walkthrough
基于本技术，国数集联在x86，arm平台上进行测试，下列为x86平台上的测试结构。
图：利用rdma_nupa框架构建nupa_rdma0的IB device
图：基于RDMA over CXL技术的延迟测试结果对比：RDMA over CXL
v.s. RDMA v.s. RoCE v2
类似于RoCE（RDMA over converged ethernet），RDMA over CXL（RoC）是一种基于PCIe/CXL链路的协议创新。通过在链路层和协议层进行创新，国数集联成功将RDMA协议适配到了CXL网络之上（当然，标准的PCIe网络也可以支持）。这项创新为在CXL架构中实现RDMA通信提供了新的解决方案。
与RoCE v2和RDMA IB不同，使用RDMA over CXL技术时无需额外的适配器来完成通信功能，只需利用CPU或GPU上标准的PCIe或CXL接口即可实现。同时，类似于IB网络，CXL网络具有天生的协议控制特性，能够提供完美的无损网络环境，从而加速RDMA over CXL技术在实际应用中的推广和应用。
图：通过引入RDMA NUPA Layer，国数集联实现RDMA over CXL总结：通过将RDMA技术与CXL相结合，利用CXL网络高速低延迟的特性，国数集联成功构建了下一代无损网络架构并实现了RDMA协议传输。未来，国数集联将加快在AI网络中推广该协议的应用，以实现CXL网络技术的快速商用化，敬请期待！国数集联还将提供包含我们技术的虚拟机演示环境，并将其上传到Github网站: https://github.com/Clussys，详情请点击阅读原文。
CXL（Compute Express Link）技术是一种高速互联技术，旨在改善计算系统内部各个组件之间的通信效率。它提供了一种高带宽、低延迟的通信通道，使内存、加速器和其他计算资源能够直接连接，从而大幅提升了数据传输速度和系统整体性能。CXL技术的出现为计算密集型任务和数据密集型应用带来了巨大的潜力，并为下一代数据中心架构的构建提供了新的思路。
CXL技术的设计目标是提供一种通用的高速互连接口，可以与不同类型的计算加速器和设备进行连接。它基于PCI Express（PCIe）物理层和协议，但在协议层面进行了扩展和优化，以满足高性能计算和数据中心应用的需求。
1. 高带宽：CXL技术提供了高带宽的通信通道，支持多通道和多链路配置，以满足对大规模数据传输和高速计算的需求。2. 低延迟：CXL技术采用了优化的通信协议和传输机制，实现了极低的数据传输延迟，提高了系统的响应速度和实时性能。3. 内存扩展：CXL技术支持直接内存访问（DMA），使计算节点能够直接访问远程节点的内存，避免了传统网络通信中的数据复制和处理开销，提高了数据传输效率。4. 协同加速：CXL技术通过提供共享内存和协同加速功能，支持计算节点和加速器之间的高效协作，实现更高的计算性能和能效。5. 可编程性：CXL技术提供了灵活的编程模型和软件接口，使开发人员能够充分利用CXL接口的性能和功能，实现定制化的应用和算法加速。
