互换架构是网络设备的主题

，就像人的心脏一样沉要。数据中心作为面向利用的综合业务平台和未来云推算的主题基础架构

，对网络设备的互换架构提出了更美满、更刻薄的要求。让以太网从传统的“全力而为”造成更为成熟的“无损网络”

，互换架构该若何演进
？

一、         引言

网络的高速发展出格是新一代数据中心及未来的云推算

，对构建互联网基础架构的互换机和路由器的互换架构提出了更高要求

，使其向着统一互换架构和业务融合、更大容量和带宽、更精密的QoS保障、更高的靠得住性和容错机能等方向发展

，以满足不休涌现的各类新型业务和利用。网络设备的进取反过来进一步推进互联网的遍及和良性发展。

绝不夸大地说

，互换架构是网络设备的主题

，就像人的心脏一样沉要。互换架构决定了一台设备的容量、机能、扩大性以及QoS等诸多关键属性。在其短短二十几年的汗青中

，先后出现了MESH架构互换、Crossbar矩阵互换和基于动态路由的CLOS互换架构等分歧状态。对于代表业界发展水平的大容量或超大容量的机架式网络设备而言

，通常选取Crossbar矩阵互换或CLOS互换架构

，MESH架构互换重要用于槽位数较少的框式互换机。

二、         数据中心对新一代互换架构的要求

互换架构的通常模型如图1所示

，在逻辑上由数据通路资源、节造通路资源这两个相辅相成的部门组成。数据通路资源具体蕴含互换网及其端口带宽、互换网适配器（FA：Fabric Adaptor）、流量治理器（TM：Traffic Manager）、缓存（Buffering）以及用于互联的高速总线
＝谠焱纷试丛蛟毯糜谧试捶峙洹⒁滴竦鞫取⒂等卫淼牧骺氐ピ⒌鞫绕鳎⊿cheduler）

，调度器有时也叫仲裁器（Arbiter）。齐全意思上的互换架构还蕴含报文处置器（PP：Packet Processor）或网络处置器（NP：Network Processor）。

图1  互换架构通常模型

数据中心作为面向利用的综合业务平台和未来云推算的主题基础架构

，对网络设备的互换架构提出了更美满、更刻薄的要求

，重要蕴含：支持统一互换架构

，大容量及高扩大性

，转发机能

，业务调度和精密化QoS

，弹性。

1、支持统一互换架构（Unified Switch Fabric）

数据中心目前存在相对独立的三张网：数据网（Data）、存储网（SAN）和高机能推算网（HPC）。为了便于未来的业务整合和服务提供、简化治理、降低建设成本和运营守护成本

，三网将逐步走向融合。要求网络设备的互换架构能方便地扩大和支持FCoE、FC等接口及其转发

，从而与存储网络无缝融合；支持CEE（Convergence Enhanced Ethernet）加强型以太网等新型接口

，使以太网从传统的“全力而为（Best-effort）”造成更为成熟的“无损网络（Lossless）”。

2、大容量及高扩大性（Capacity & Scalability）

超宽带时期在来临

，以Youtube、iTunes、Facebook、GoogleEarth、网真系统、移动视频等为代表的视频流、音频流、社交网络、P2P、多媒体等业务正急剧发展

，对未来网络提出了近乎无终点的带宽需要。要求互换机拥有大容量和优异的可扩大性

，即随着业务拓展而逐步扩大端口数、端口速度

，从而提高端口容量。扩大性还蕴含能凭据业务必要扩大新的端口类型

，支持网络资源虚构化

，支持集群系统等。

作为衡量系统互换能力和未来可扩大能力关键指标

，互换机的互换容量相当于汽车的排量指标。新一代机架式数据中心互换机互换容量在1～10Tbps级别

，集群系统更高达几十Tbps。端口容量则指产品当前版本所能提供的最大网络端口容量

，由网络端口速度乘以相应的线速端口数得出

，表征了产品当前现实所能支持的线速转发能力。同样互换容量的产品

，在分歧版本和阶段

，可能有分歧的端口容量；同样互换容量的产品

，由于互换架构总开销分歧

，所能支持的端口容量也会分歧。

端口速度：新一代架构要求除支持千兆、万兆以太网端口之表

，还要求每槽位能滑润支持一到多个40Gbps和100Gbps端口

，这是带宽发展过程中一个质的飞跃。

3、转发机能

线速转发机能：通常是指64字节幼包的线速转发能力

，表征了系统处置报文头的能力

，在一样的端口流量下

，64字节幼包要求系统在单元功夫内处置更多的报文数。转发机能还要关注线速一致性

，即大包幼包都能线速

，都不丢包；Pair模式、Full Mesh模式都能线速转发。

转发时延实时延抖动：目前存储转发技术的端口到端口时延在几微秒到几十微秒

，可满足绝大无数利用场所。Cut-through转发时延可达到1微秒以下

，重要用于少数对时延极度敏感的紧耦合高机能推算。时延抖动则指时延的一致性、时延可预测性

，VoIP、视频等实时业务通常要求低时延和时延一致性。

4、业务调度和精密化QoS

近年来带宽需要的年增长达到50～70%

，而带宽供给年增长通常在30%。资源总是有限的

，不成能给所有效户、所有业务提供足够的带宽

，从而导致现实的网络是一个存在拥塞的网络。网络设备必要提供更美满和精密的QoS支持

，即凭据分歧用户分歧业务的SLA要求

，提供相应有保障或可预测的带宽、丢包率、突发缓存能力、时延、时延抖动等指标承诺。

业务调度和队列（Scheduling & Queuing）：没有业务调度的互换架构就像没有红绿灯的十字路口

，容易产生碰撞和变乱

，谈不上QoS。粗放式调度就像每个方向有一个车路

，有单一圆形红绿灯的十字路口

，比没有红绿灯有大幅改善

，但容易阻塞。而精密化调度则好比每个方向有三个车路（左转、直杏注右转）

，红绿灯由三个对应的方向批示箭头组成（左转、直杏注右转箭头）

，这种调度显然效能更高、越发有序了。

在互换机里

，车路就好比队列

，红绿灯就好比调度器。队列越多

，就能够对流量进行更精密化的治理和调度

，使到分歧出口、分歧优先级的业务转发互不影响

，解除头阻塞。队列越多

，调度器也越复杂

，设计复杂度也高

，有的设备还支持档次化调度（H-QoS）。所能支持队列数量也是网络设备的关键指标之一

，通常设备支持十几、几十到几百条队列不等

，少数高端产品能够支持1K、十几K或几十K。

流分类缓和存（Classification & Buffering）：与业务调度缜密有关的就是流分类缓和存。流分类是对分歧用户和业务进行鉴别而后映射到分歧的优先级和队列。而没有缓存或缓存太幼

，再好的调度也形同虚设或大打折扣。随着利用越来越复杂

，流量突发越来越大

，越来越频仍（好比搜索业务）

，足够大的缓存对新一代数据中心至关沉要。

5、互换架构的弹性（Resiliency）

弹性是指部件出现故障、或报答操作失误时

，可能自动检测到

，并对故障进行隔离

，从而让系统职能机能不受损失或尽可能少受损失（Graceful Degradation）。蕴含冗余性（Redundancy）和容错性（Fault Tolerance）。选取与主控板物理上独立的N+1互换网板

，即转发平面和节造平面物理上分离有利于进一步提高系统的弹性。

三、         传统的基于CIOQ的Crossbar互换架构

基于CIOQ（Combined Input Output Queuing：组合输入输出队列）的Crossbar互换架构在上世纪90年代出现。如图2所示

，该架构蕴含一到多个并行工作的无缓存Crossbar芯片

，每个Crossbar芯片通过互换网端口FP（Fabric Port）衔接到所有输入端口对应的FA端口和所有输出端口对应的互换FA端口；业务调度通常选取集中仲裁器

，连到所有的输入输出FA芯片和Crossbar芯片；出口FA按时或实时地向仲裁器汇报出口拥塞情况。一次典型的互换过程蕴含三个步骤：（1）输入端口发送业务前

，入口FA先要向仲裁器要求发送（Request to transmit）;（2）仲裁器凭据输出端口队列拥塞情况

，给入口FA发送允许发送（Request granted）；（3）业务通过互换网转发到输出端口。

在入口方向

，缓存选取VoQ（Virtual output Queuing：虚构输出队列）方式给到分歧主张输出端口、分歧优先级的业务流分配相应的队列

，对入口流量进行缓冲。在出口方向

，也有一个缓存

，用以吸收互换网过来的突发流量。因而称之为CIOQ。

图2   基于CIOQ的Crossbar互换架构

由因而集中调度

，所以仲裁器的调度算法复杂度很高

，机能扩大性较差

，系统容量大时调度器容易形成瓶颈

，难以做到精确调度。

由因而粗放型调度

，所以在出口方向必要放一个比力大的缓存

，并做进一措施度

，以支持粒度更细的系统级QoS。为了充分利用出口缓存

，必要提高系统加快比

，加快比通常达到1.6～2

，提高加快比意味着系统能支持的有效端口容量降落（加快比是指互换网端口速度与现实的网络端口速度的比值）。

有些产品互换架构在几何拓扑大将多个Crossbar连成与下文描述的CLOS架构相类似的大局

，并选取静态路由方式

，即业务流进入互换网前

，凭据源端口指定或基于Hash算法选择一条蹊径。所以

，属于统一条流的所有报文将选择统一条蹊径进入互换网。显然

，当系统中业务流较为单一时

，被Hash算法选中的蹊径容易形成阻塞

，而其它蹊径则较为空闲。类似路理

，业务流从第二级互换到第三级时

，也容易形成阻塞。这种架构不是严格意思上的无阻塞CLOS互换架构

，其互换机能与基于CIOQ的Crossbar相当。

基于CIOQ的Crossbar同时满足了较大容量互换和较好的业务调度的需要

，是一种比力美满的互换架构

，互换容量能够从几百G到几T

，通常支持10G接口但无法支持40G和100G接口。由于互换容量不是很大

，互换网通常集成在主控板上

，选取1+1主备或负荷分管工作方式。

四、         新一代基于动态路由的CLOS互换架构

CLOS互换架构由贝尔尝试室Charles Clos博士在1953年的《无阻塞互换网络钻延追论文中初次提出

，后被宽泛利用于TDM网络

，为留想这一沉大成就

，便以他的名字CLOS定名这一架构。近二十年来包互换网络的高速发展

，火急必要超大容量和具备优异可扩大性的互换架构

，CLOS这个古老而新鲜的技术再一次焕发出旺盛的性命力。

CLOS互换架构是一个多级架构；在每一级

，每个互换单元都和下一级的所有互换单元相衔接。一个典型的CLOS互换三级架构由（k

，n）两个参数界说

，如图3所示

，参数k是中央级互换单元的数量

，n暗示的是第一级（第三级）互换单元的数量。第一级和第三级由n个k×k的互换单元组成

，中央级由k个n×n的互换单元组成。整个组成了k×n的互换网络

，即该网络有k×n个输入和输出端口。
对于必要更高容量的互换网

，中央级也可所以一个3级的CLOS网络（即CLOS网络能够递归构建）

，好比4个第一（三）级n×n芯片加上2个n×n的第二级芯片可组成一个2n×2n的互换网。由于CLOS网络的递归个性

，它理论上拥有可扩大性

，支持互换机端口数量、端口速度、系统容量的滑润扩大。

CLOS互换架构能够做到严格的无阻塞（Non-blocking）、可沉构（Re-arrangeable）、可扩大（Scalable）。

图3  CLOS互换架构

CLOS架构界说了一种几何拓扑结构

，在早期TDM及语音利用中

，其可沉构个性通常由软件推算和配置实现。对于高速包互换系统

，大量业务流的主张端口在频仍而急剧地变动（如ns级）

，通过软件来对转发蹊径进行选择和沉配置变得不现实。因而

，必要选取近些年专门针对用于包互换系统的CLOS架构而设计的动态路由方式。

动态路由关键点在于能负荷分管地平衡利用所有可达蹊径。对于第一级

，每个业务流可通过Round-robin或随机方式均匀发送到k条连到第二级的蹊径上（通；谛旁姆⑺停；达到第二级的业务流将基于信元自路由技术（Cell-based Self-routing）

，凭据互换网路由选择相应蹊径互换到第三级主张端口。第三级收到所有来自第二级的信元时

，把信元沉组成报文

，并保障报文挨次正确。动态路由方式由此实现了严格的无阻塞互换

，并有利于减幼加快比从而提高有效端口容量。

动态路由方式有一个凸起利益

，即滑润支持更高速度的网络端口

，好比40GE/100GE。这是由于它能够充分利用所有可用蹊径形成一个大的数据流通路

，好比24条3.125Gbps通路能够支持100GE数据流。相反

，静态路由方式则受限于单条蹊径的带宽

，好比基于XAUI接口的Crossbar互换

，网络端口速度只能达到10Gbps

，无法支持40GE和100GE。

基于动态路由的CLOS架构

，再结合相宜的业务调度机造

，就能够支持美满的QoS。选取CLOS互换架构的典型设备有：iSlot官方网站N18000统一互换架构主题互换机

，Juniper T1600主题路由器。在2009年2月初

，Juniper刚刚颁布了TX-Matrix Plus

，通过多框互联技术支持把16台T1600构建成一个25Tbps的无阻塞互换系统

，显示了CLOS架构的可扩大性。2004年

，Cisco颁布了其路由器旗舰产品CRS-1

，选取了三级动态自路由的Benes互换架构

，支持72个机架的互联

，达到46T/92T的系统容量。Benes互换内容上是CLOS互换架构的一个特例。

由于CLOS互换系统容量很大

，物理实现上

，通常选取N+1个独立的互换网槽位

，与主控板节造平面彻底分离

，一方面提高了系统容量可扩大性

，另一方面极大水平上提高了转发平面的靠得住性

，预防了节造平面出现故障或进行倒换时对转发平面的影响。

五、总结

对于高端机架式互换机和路由器

，以基于CIOQ的Crossbar互换架构和CLOS互换架构为主。其中基于动态路由的CLOS互换架构结合信元自路由技术、散布式调度技术是目前面向新一代数据中心和云推算等多业务复杂利用、合用于大容量主题互换机和主题路由器的美满、梦想的一种互换架构。