“可靠性”的预与立

2005.10 8

“可靠性”的预与立

文/张向阳

凡事预则立，不预则废。对于转型中的运营商而言，构建Multi-Play 业务网络并提高其可靠性，已成业内共识。但如何顺利实现可靠性的预与立，并非人人皆知。

着电信网络向All-IP 的演进，传统的因特网需要转型为多业务的电信级IP 承载网。为了获得进一步的发展和成熟，电信级的网络必须具有99.999%的可靠性、业务流量的快速

切换以及强壮性。由于IP 技术的复杂性，因此要采用一系列的技术，方能获得所期望的可靠性。

高可靠性已成必然需求

随着网络融合时代的来临，如今相当比例的长途话音呼叫已经转化为数据包，通过互联网传输，ILECs 开始利用IMS 平台替换传统的PSTN 平台。而一些电信运营商率先成功部署了IPTV 业务，显示Multi-Play 业务良好的营收和赢利潜力，掀起了全球IP 网络扩建的一轮新浪潮。因此，越来越多的企业正选择用IP VPN 替换昂贵的帧中继网络。电信网络面向All-IP 网络发展，互联网将成为统一的全业务IP 承载网。

高可靠性是一种荣耀，但荣耀总是伴随着更大的责任感。很早以前，电信运营商就为PSTN 和出租电路建立了99.999%的可靠性标准， 即每年宕机时间仅为5分钟。Cable 运营商也为有线电视制订了相似的标准。因此，为了承载高质量的Multi-Play 和VPN 业务，IP 承载网络必须支持99.999%的可靠性标准。基于会话的一些业务，比如普通话音业务，如果会话中止，本次通话也将中止，用户必须重拨启动业务。为有效处理上述状况，IP 承载网必须提供快速自动路径保护机制，以重路由话音流量，就像SDH 或PSTN 功能一样，能提供50ms 自动保护机制。

总之，作为A l l-I P 网络的I P 承载网，提供互联网接入业务时，必须要提供99.99%的高可靠性；在承载语音业务、IPTV 和VPN 业务时，要提供99.999%的高可靠性，同时还要为基于会话类业务提供快速路径倒换机制。高可靠性已成为必然需求。如何尽快提高IP 承载网的可靠性，已是迫在眼前的现实问题了。

随

“可靠性”的预与立

维护一个流量工程数据库，并建立一些特别的路径隧道，同时让这些路径上的路由器预留出适当的资源。除了对流量进行控制外，MPLS TE 还提供50ms 的保护机制。

MPLS TE FRR 是一整套的保护机制，用以保护MPLS TE LSP （Label Switching Path ） 免受链路和节点故障的影响，其基本原理是通过主备方式LSP ，通常有两种实现方式即bypass 方式和detour 方式。bypass 方式只能提供链路保护，而detour 方式既能提供链路保护，又能提供节点保护。在实际应用中detour 方式的开销很大，所以更多的是采用bypass 方式。

出于安全方面的考虑，常常会利用MPLS VPN 来传输语音和视频信号。有些VPN 客户对可靠性要求非常高，由于MPLS VPN 和MPLS TE 都基于标签转发，所以用TE 隧道标签来替代MPLS VPN 的外层LSP ，用TE FRR 来保护MPLS VPN 内的流量。TE 隧道建立在PE 之间，VPN 流量在这些隧道上运动并受到TE FRR 提供的50ms 保护。

华为的VPN over TE 方案特性可用于MPLS BGP VPN 、 PWE3和VPLS ，这些特性还能让某些VPN 流量通行于隧道中，另一

些则通行于隧道外，或者让不同的VPN 流量通行于不同的隧道中。在提供商业化VPN 服务时，这些功能显得格外有用。

RPR

RPR 技术的基本出发点是要综合SDH 和Ethernet 的优点，既要有SDH 的可靠性，又

可靠性的预先谋定

只有充分了解各种技术的可靠性程度，洞悉其优缺点，未雨绸缪，运营商才能保证所构建网络的高可靠性。

服务可靠性分为网络级可靠性和应用级可靠性。网络级可靠性范围覆盖从UNI 到应用系统，如软交换和SHO ，而应用级可靠性涵盖从用户终端到应用系统的端到端服务。一些应用系统有高可靠性要求，比如电信级的软交换，MTBF 长达50年，但另外一些设备，例如VOD 和DHCP 服务器，只需要企业级的可靠性。而提高应用系统高可靠性的最常用方法，就是部署多个冗余节点，一个冗余应用系统的设计需要综合考虑网络侧和应用系统侧的相互配合，其相关技术包括VRRP 、DR/BDR 选择、Anycast RP 等。

网络故障是服务中断的最重要原因。操作失误、物理链路故障和网络设备故障是引发网络故障最主要的三个原因，各自占到整体故障的20-30％。考虑到IP 网络的复杂性，产生了很多专门保证网络可靠性的技术，根据所处TCP/IP 层次不同，进行以下分类：

如表1所示，从下往上，构建可靠IP 承载网的第一要素是采用电信级设备，包括关键部件的冗余化设计（如控制单元、交换光纤和电源）、热插拔功能模块和不中断业务的软件升级等。

第一层：能提供50ms 自动路径倒换功能的SDH ，已逐渐丧失在城域网的原有地位；RPR （Resilient Packet Ring ）协议凭借其50ms 保护功能、即插即用特性和带宽利用效率，在接入网和中等规模汇聚网络里得到有效应用。

第二层：RSTP/MSTP 提供了2-5秒保护机制。R R P P 是华为的专利技术，基于环状网络拓扑，在不增加额外硬件成本前提下，能提供亚秒级保护功能。IEEE802.1ad 链路汇聚可以运行在两台直连设备上，利用多条链路实现保护和负载均衡。而Smart-Link 作为华为另一项专利技术，则可

以工作于两台非直连设备之间。

第三层：所有保护机制都是基于路由协议。IGP FC （Interior Gateway Protocol Fast Convergence ）目的在于减少路由协议的收敛时间。而NSF （Non-Stop Forwarding ）、GR 、SSO 和NSR 都是为了减少控制模块倒换和路由器重启带来的影响。

第2.5层：M P L S 通常被视为一种2.5层的技术，尽管它是建立在I G P 基础之上的。从逻辑上讲，MPLS 是在原有网络上叠加上了一层面向连接的网络，并能提供主备路径保护机制。TE FRR （Traffic Engineering Fast Re-Route ）可提供50ms 的快速保护机制，并要求路由器具备足够的处理能力。就提供亚秒级保护，实现TE 整体修复的条件并不苛刻。鉴于MPLS VPN 已被广泛部署，华为采用了VPN over TE 的方法来避免VPN 内的数据流遭受物理链接故障和节点故障的影响，同时采用VPN FRR 和增强型VRRP 来对付PE （Provider Edge ）故障的影响。

另外，对于保证服务的可用性而言，QoS 和网络安全是极为重要的。

堪当重任的可靠性技术

MPLS TE

MPLS TE 针对网络流量的控制问题而设计。路由器在缺省状态下都是按最短路径法则进行路由，不会考虑链路的带宽或拥塞状态。采用MPLS TE

时，则会创建和

表1 网络可靠性模型

要有Ethernet的有效性。类似于SDH，RPR 也采用了双环结构，环上节点称为站点，两个相邻站点之间的光链路称为Span，每个Span上数据速率保持一致。

R P R最大的吸引力在于它的自愈能力，可对任何类型的故障提供50m s的保护。R P R有两种工作模式即w r a p和steering。前者提供的保护速度更快，但带宽开销较大；而后者的保护速度虽然较慢，但仍能满足50ms的要求。RPR的另一个亮点是它的易用性，只需插入RPR线卡后即可工作。RPR还能够运用空间复用和公平算法来改善带宽效用，增强QoS等。

尽管RPR的市场价格还略显昂贵，但其50ms的保护、即插即用及高效的带宽使用特性，使之成为接入层和中等规模汇聚层的最佳选择。

VPN FRR

MPLS TE FRR在保护TE隧道间的链路和节点故障方面非常有效。通过将语音和IPTV数据流导入MPLS BGP VPN，并将MPLS BGP VPN与TE隧道绑定，这些语音和视频数据流就能在网络发生故障时得到很好的保护。但是，如果是PE本身TE隧道的端点发生了故障，那服务将被中断。

为实现语音和视频传输的电信级可靠性，华为开发出了VPN FRR技术，其基本思想就是将VPNv4主路由和备份路由都加载至转发引擎中。在得知主路由发生故障时，转发引擎会将主路由标记为“不可用”，同时自动启用备用路由。通过这一机理，数据流中断时间通常只有约200ms，从而使得通话连接不至于出现中断情况，甚至用户察觉不出明显的静音效果。

不同场景的成功应用

不预不立。正是凭着对各种可靠性技术的深刻理解和预先谋定，运营商在构建网络时能够有的放矢，针对不同的应用场景，成功地采取了不同的解决方案。Internet 接入

Internet接入服务需要99.99%的可用

性，每年的故障时间不超过一小时。电信

级网络设备的平均故障间隔时间为50年以

上，板卡为20年以上，同时设备的平均修

复时间需在1小时以内。为了达到99.99%

的可用性，设备必须支持IGP快速收敛技

术。对于单个PE或者单个BRAS，每年2%

的故障可能性和1小时的故障恢复时间是

可以被用户接受的。

为了在没有增加费用支出的前提下，

节约1小时的BRAS修复时间，可以通过移

动BRAS到中间节点形成BRAS集群，并设

置N:M备份，以保障某台B R A S出现故障

后，使用该台BRAS的用户通过重新拨号来

连接其它正常工作的BRAS，有时该拨号过

程可以被用户电脑内的软件自动执行。集

中式部署的BRAS更适合ISP的批发业务模

式，并可以降低CAPEX和OPEX，可以通过

规划流量靠近到Internet出口的方式来节

约带宽资源。

然而，集中式部署的B R AS集群也存

在隐患，使用这种部署方式的网络不是非

常健壮，一旦PE出现故障，大量用户将无

法连接到Internet上，因此推荐使用冗余

的PE，并且从汇聚节点到PE节点，用一个

hub-and-spoke VPLS来搭建两条隧道以消除

隐患。值得注意的是，如果网络中仅是一

个BRAS集群，那么VPLS的隧道也被IGP快

速收敛保护，汇聚层不存在单点故障。因

此，这种解决方案有99.999%的可用性，

并且网络有良好的健壮性。

语音

语音业务要求提供99.999%的可靠

性，拥有快速切换来防止会话被中断，

并且业务也必须非常健壮，因此软交换

以及连接到PSTN和PLMN网络的TG（Trunk

Gateways）需要部署冗余。出于安全原

因，SBC（Session Border Controllers）配置

为IP电话机的代理，每个IP电话机应至少

在两个SBC注册，并且每个SBC应连接两个

PE作冗余。另外，也是出于安全原因，语

音流量应当用MPLS BGP VPN进行传输。

IGP快速收敛能够应用在核心网和城

域网，收敛时间同样是500ms，在一些更

糟的情况下，因为MPLS VPN增加了一些时

间，所以收敛时间会长达几秒。在这种解

决方案中，汇聚层以上没有单点故障，同

时采用的是电信级的网络设备，因此可以

保证99.999%的可用性和良好的健壮性。

可是，有些会话链接会因为长达几秒的网

络存储损耗而中断。

针对链路和节点故障，基于TE的VPN

提供了50ms级保护。另外TE隧道已预留了

资源保障语音业务的QoS。针对PE故障，

VRP FRR提供了200ms级保护。通常会在后

台部署一台高端以太网交换机，用来汇聚

软交换、T G和N M S的以太网口，同时这

种部署方式能实现网络的平滑升级。为了

简化网络和增强可用性，华为将以太网交

换功能集成到NE80/40的TSR中，通过BFD

（Bi-directional Fault Detection）技术可以

极大地加快V R R P倒换时间。总体来说，

上述技术将系统恢复时间减少到200ms以

内，用户的呼叫连接不会中断。

IPTV

有线电视运营商已经为电视服务建立

了一套可用性标准，电信运营商在提供电

视服务时必须要保证相当的可用性等级。

但是VOD业务不是经常在有线电视系统里

使用，有时用户也可以接受可靠性较差的

VOD业务。

通常来说，对于一个覆盖全国的BTV，

使用一个或两个SHO即可。PIM SSM是在

核心网和城域网中运用最为广泛的一个协

议，它依靠IGP快速收敛来保护。在IGP收敛

以后，它能在1秒钟以内更新组播树。当链

接或路由器发生故障时，一些用户可能有

2秒钟左右的中断。BTV源节点用Anycast RP

的技术保护，PIM SM依靠RP来寻找BTV的

SHO，而如果RP发生故障，那么整个BTV业

务将中断。Anycast RP可以多个路由器组成

“可靠性”的预与立

环路，防止链路和节点故障，RSTP/MSTP 一般需要2-7秒来切换链路。在农村地区，设备和光纤面临着更加苛刻的应用环境，例如断电、光纤意外切断等，因此传统的技术难以保证99.999%的可靠性。

对于接入网而言，RPR 技术担当着重要角色，可以同时保护链路和节点故障，可在50ms 之内解决问题，而且RPR 对于第二层的协议，例如RSTP/MSTP 都是透明的，几乎不需要任何额外的配置。因此在维护过程中，误操作的可能性降到了最低。

RPR 有1G 和10G 两种规格。假定一个运营商的因特网和语音业务的渗透率是100%，部署了100个基于MPEG-4的IPTV 频道，客户中5%是VOD 用户，那么IG 带宽的RPR 环网可以支持5K 用户，10G 的RPR 环网可以支持50K 用户。

RP 组，实现冗余备份和负载均衡。由于在汇聚层以上没有存在单点故障，同时采用上述保护机制，因此可以实现2秒的故障倒换和99.999%的可靠性保障。

与语音业务类似，V O D 流量也通过MPLS BGP VPN 承载，以确保安全性。通常VOD ES （Edge Server ）部署在城域网和核心网的连接处。由于VOD ES 作为点击率高节目的缓存，大量VOD 的流量由ES 直接发送到用户，所以核心网的可靠性和QoS 对于VOD 基本没有影响。

在城域网中，VPN 被部署在流量工程的基础上。但在大多数情况下，城域网没有足够的带宽，因此流量工程很少被用作一种保护机制。VOD 消耗极大带宽，所以专用的资源需要被预留和控制在分配的带宽以内。通过RSVP TE 实现资源预留，通过华为IPTN 解决方案可以实现CAC （Call Admission Control ）机制。

为取得99.999%的可用性，用户应当接入至少两台VOD ES ，一旦出现故障可以快速倒换。但是因为VOD 对网络资源的消耗很大，有可能会占用其它低优先级业务的带宽，如Internet ，因此通过配置较小带宽的TE 隧道，同时和VPN 进行绑定，可实现VOD ES 的备份链路的带宽控制。

VPN

相对于个人用户，企业用户需要更高的可靠性。可靠性的市场机会在于和客户签订SLA （服务等级协议），确定99.999%的可靠性、实时级别的延迟和抖动以及低报文丢失。

MPLS-VPN 是三层VPN 业务，它可以由IGP 快速收敛、CE 双归属到PE 、VPN over TE 、VPN FRR 等技术来保护。城域以太论坛（Metro Ethernet Forum ）定义了两种2层的VPN 即E-line 和E-LAN 。前者是客户办公室之间的点对点连接，后者由PWE 来实施，基于MPLS 传送信令和转发数据。通过IGP 和VPN over TE 来实施保护。

E-L A N 是客户办公室之间的多点连

接，由VPLS 来部署，需要解决的问题也比E-Line 多，VPLS 的扩展性不强，必须划分为不同的层次。而为了提供冗余，UPE 需要连接到两个NPE 上，有些客户也要求自己的CE 连接到两个UPE 上。

以太网使用RSTP/MSTP 来避免环路，这要求运营商的NPE/UPE 以及客户的C E 都要运行R ST P/M S T P 。不过，即使是一个中型的网络，这种做法实际上也不可行。对于C E 的双归属，华为开发了部分RSTP/MSTP 特性，把B P D U 报文从另外一个链路再传回给CE 。对于UPE 的双归

属，华为开发了LSP 备份特性。UPE 建立一个主LSP ，一个备份LSP ，备份LSP 是主LSP 的热备份。当主LSP 被使用的时候，备份的LSP 处于阻塞状态，没有环路。由于是热

备份，当主LSP 故障时，备份LSP 在200ms 之内切换为使用状态。华为的解决方案避免了运营商设备和客户设备一起运行RSTP/MSTP ，提供亚秒级的保护，并具有良好的扩展性。

接入网

随着宽带渗透率的提高，越来越多的DSLAM 部署在人口稀少的郊区和农村，因此需要一个特别的接入网来降低CAPEX 和OPEX ，大部分运营商倾向于构建以太网。由于环网技术可以节省光纤，提供冗余链路，其在接入网中得到广泛应用。

原始的以太网使用RSTP/MSTP 来避免

责任编辑：许鹏 xupeng@https://www.wendangku.net/doc/aa16116463.html,