新闻转载网络组网架构 - 互联网数据中心网络25G组网架构设计

供应信息

背景



为什么升级到25G以太络

过去的一年里，我们可以看到很多互联数据中心的服务器接入已经从10G以太升级到25G以太，大家为什么要升级到25G以太呢

•支撑高性能业务：主要配合业务的速扩张和应用系统性能的提升，例如基于AI、大数据的互联应用推动业务流量成倍增长；

•支撑业务突发：存在业务突发的应用热点使得业务方需要基础架构做到支撑；
匹配服务器性能的升级：服务器CPU及存储IO的性能升级，使得每台服务器络吞吐性能增加，10G组法满足带宽需求；

•单比特成本降低：对于公有云类业务，25G以太现络单比特成本下降，降低运营成本；
技术红利：新一代的25G以太交换机芯片，提供了丰富的技术特性，如Telemetry、RDMA（RemoteDirectMemoryAccess，远程直接数据存取）等，大大提升了基础络运维的效率，降低了成本。

在互联数据中心中，25G以太相比10G以太在组架构层面有什么变化接下来就让我们一起来了解25G组架构。



是什么决定了25G组架构

在部署建设25G数据中心络时，为更好地进行产品选型和架构方案的确定，我们可以把影响因素归纳到两个方面：

•服务器规模：指预期单集群中服务器的数量；

•业务应用需求：指不同业务类型对络收敛比、服务器单上联双上联等方面的要求。

比较常见的络架构模型为二级络架构和级络架构，下面将为大家分析这两种架构与服务器规模、适用业务应用需求之间的对应关系。



25G络架构设计方案



二级络架构





▲图1：二级络架构拓扑图



如上图1中的两种二级络架构拓扑图，我们针对服务器单上联双上联方式、规模、设备选型、收敛比等方面进行分析如下：



▲表1：二级络架构对比表



当单集群服务器规模在1000～2000台时，可以采用基于盒式（BOX）多核心二级架构即可满足需求，由于该架构中采用同系列单芯片交换机方案，对于PFC（Priority-basedFlowControl，基于先级的流量控制）+ECN（ExplicitCongestionNotification，显式拥塞通知）+MMU（MemoryManagementUnit，内存管理单元）管理，芯片水线设置一致性高、协调性好，同时转发时延低、吞吐率高，整可部署RDMA业务和络可视化方案。

当单集群服务器规模在5000～20000台时，可以采用基于Chassis多核心二级架构，该架构Spine层核心设备有两种类型核心板卡可以选择，分别如下：

•CB类板卡，满足业务常出现多打一的场景，通过大缓存机制有效减少多打一场景下的丢包；

•DB类板卡，满足业务对于RDMA组和络可视化要求较高场景，同时该架构继承了基于BOX多核心二级架构的势。

在二级组架构中，我们可以基于单集群服务器规模和业务需求决定采用哪种架构，在组中路由协议部分，在Spine-Leaf之间可采用EBGP（ExternalBorderGatewayProtocol，外部边界关协议）协议，所有Leaf设备部署相同AS号（AutonomousSystemnumber，自治域系统号），Spine层接收Leaf层路由后进行AS号替换，解决EBGP水平分割问题。当业务需要服务器双上联时，建议采用去堆叠方案进行Leaf层部署，具体细节详见《【第六期】如何现数据中心络架构去堆叠》。



级络架构





▲图2：级架构拓扑图



对于单集群服务器规模超过2万台的超大型数据中心，Spine+Leaf的二级组已经不能满足需求，且扩展性也变差。这时建议采用基于POD（PointOfDelivery，数据中心比较小单元）横向扩展（Scale-out）的级架构。

如上图2，每个POD内是Spine+Leaf的二级组，服务器数量和络设备数量标准化固定，多个POD之间再通过核心设备进行互联，从而现更大规模的组，解决灵活扩展的问题。我们通过POD数量、服务器规模、设备选型和收敛比来进行呈现如下表2：





▲表2：级架构对比表



在级组架构中，同样也是相同的架构下两种设备选型，其中POD内部即为标准的Spine+Leaf二级架构，设备选型一致。在核心层进行区分选择，该选择如二级架构中的Chassis（CB类板卡）多核心二级架构和Chassis（DB类板卡）多核心二级架构的选择，在此不再赘述。但这里需要注意当业务需求部署RDMA业务时，建议将RDMA域的部署范围控制在POD内部，因为更大规模的RDMA部署，PFC和ECN报文的控制难度将极具增大，同时拥塞反压影响更为严重。如果要规划更大规模的数据中心，在单集群现超过10万台服务器，就需要升级Spine层交换机设备，采用可提供128口100G的BOX设备，这样POD内可现服务器规模翻倍。



下一代数据中心架构展望



据IDC（InternationalDataCorporation，国际数据）预测，2025年数据中心要处理的数据量将达到175ZB，是2022年的5倍之多，且增长比较为迅速，从2022年的76ZB预计到2025年增长到486ZB。在速增长的数据面前，基础络需要多方面的努力，例如从络带宽的迭代升级和1:1络收敛比的IPCLOS架构上进行改进，那么下一代组架构在IPCLOS络架构中是否还会采用Chassis设备，以及未来服务器接入将演进升级到什么形态以满足业务需求分析将在下一篇文章详细解读。






本期作者：王磊
锐捷络互联系统部行业咨询





往期精彩回顾


【首期】浅谈物联技术之通信协议的纷争
【第二期】如何通过络遥测（NetworkTelemetry）技术现精细化络运维
【第期】畅谈数据中心络运维自动化
【第四期】基于RogueAP反制的线安全技术探讨
【第五期】流量可视化之ERSPAN的前世今生
【第六期】如何现数据中心络架构去堆叠
【第七期】运维可视化之INT功能详解
【第八期】浅析RDMA络下MMU水线设置
【第九期】第七代线技术80211ax详解
【第十期】数据中心自动化运维技术探索之交换机零配置上线
【第十一期】浅谈数据中心100G光模块
【第十二期】数据中心络等价多路径（ECMP）技术应用研究
【第十期】如何为RDMA构建损络
【第十四期】基于EVPN的分布式VXLAN现方案
【第十五期】数据中心自动化运维技术探索之NETCONF
【第十六期】一文读懂络界新贵SegmentRouting技术化繁为简的奥秘
【第十七期】浅谈UWB（超宽带）室内定位技术
【第十八期】PoE以太供电技术详解
【第十九期】机框式核心交换机硬件架构演进
【第二十期】IPv6基础篇（上）地址与报文格式
【第二十一期】IPv6系列基础篇（下）邻居发现协议NDP
【第二十二期】IPv6系列安全篇SA技术解析
【第二十期】IPv6系列安全篇园区IPv6的接入安全策略
【第二十四期】Wi-Fi6真的很6（概述篇）不只是更高的传输速率
【第二十五期】Wi-Fi6真的很6（技术篇）前方高能，小白慎入
【第二十六期】IPv6系列应用篇数据中心IPv4IPv6双栈架构探讨
【第二十七期】你不可忽视的园区ARP安全防护
【第二十八期】企业办公接入认证技术详解




相关推荐：


新一代数据中心络架构
Clos组技术
如何现数据中心络架构去堆叠
未来30年不落后的络架构，智能络





随着行业的影响力不断扩大，国产数据库的生意也在不断的蔓延，市场的发展也在逐步推进。OceanBase 完全自主研发，已连续 10 余年稳定支撑双 11 ，创新推出“三地五中心”城市级容灾新标准，是全球唯一在 TPC-C 和 TPC-H 测试上都刷新了世界纪录的原生分布式数据库。https://www.oceanbase.com/topic/techwiki-guochanshujuku