中国移动江苏公司地市级IDC机房配套建设指导意见
随着全业务竞争的全面展开和互联网业务的快速发展,2009年我省将完成全省12个地市级IDC机房的配套建设,为规范各地市IDC机房的配套建设,有效支撑IDC业务发展,特制定本指导意见。今后将根据IDC业务发展的需要,对此指导意见做适当修改。
一、网络配套建设内容:
1、在前期各地市级IDC机房改造(包括机房电源、接地、空调、主桥架、架空地板、风管等)完成的基础上,完成网络集装架、列桥架、交流列头柜、综合配线架、综合布线等工程。
2、完成各地市级IDC机房网络环境的搭建,包括网络、安全等设备的布署。
二、IDC机房网络配套要求:
(一)网络分层结构
1、Internet核心层:
做为各地市IDC业务的去往CMNET网络的出口,提供IDC业务接入Internet的能力。此层原则上由各地市城域网中两台城域网核心路由器构成。
2、IDC机房核心层:
各地市IDC业务的核心层由两台高端三层交换机及网络安全设备组成,高端三层交换机做为基础业务接入区中各服务器的网关设备,防火墙做为安全增值业务接入区中各服务器的网关设备。
3、IDC机房汇聚接入层:
汇聚接入层做为纯二层网络,按功能可分为基础业务接入区和增值业务接入区,基础业务接入区提供各类基础业务接入网络的能力,增值业务接入区在提供基础业务的同时还可提供设备的网络安全防护能力。基础业务接入区与增值业务接入区原则上按物理区域区分,各区域的大小由各地市根据业务需求确定。
(二)网络设备配置
地市级IDC机房标准网络配置:一对高端三层交换机,一对高端防火墙、一台入侵检测设备,二层接入交换机若干(根据机房网络机架数测算)。此配置将根据业务发展的需要,对安全增值设备(安全扫描、SSL VPN网关等)做适当增加。
IDC机房网络设备配套配置
设备名称备注
建议采用集采典型配置1的设高端三层交换机
备
建议采用集采典型配置3的设高端防火墙
备
千兆两端口入侵检测设备(IDS)省公司统一选型后下发
建议采用集采典型配置2的设二层交换机
备
1、高端三层交换机:
高端三层交换机要在集团公司三层交换机集采产品范围内选
择。同时应具备以下功能:
●局域网标准
1)IEEE 802.3:以太网标准(包括802.3ab/802.3u/802.3z等)2)IEEE 802.1d:介质存取控制桥标准
3)IEEE 802.1q:虚拟网标准
4)IEEE 802.1p:优先级
5)组播协议支持及流量优化功能
6)其它标准
●硬件结构
1)硬、软件采用模块化、无阻塞交换结构;
2)背板带宽:大于等于640Gbps;
3)吞吐量:大于等于400Mpps
4)设备槽位数:大于等于7个
●性能指标
1)足够数量的交换机的端口容量,至少支持两个GE光口,24个10/100M FE电口。
2)支持同时配置4K个VLAN。
3)每端口支持1024个MAC地址,整机支持128K个MAC地址数
4)支持全双工、半双工能力
6)交换机的传输时延≤1ms
7)交换机具有路由能力,并支持RIP、OSPF、IS-IS等主流路
由协议
8)支持VRRP、策略路由、三层、二层ACL等功能。
9)VRRP可支持同时配置组数≥256组。
●物理接口
1)接口速率:1000Mbps,100 Mbps,155M,622M,2.5G,10G
2)介质类型:单/多模光纤,非屏蔽双绞线
3)接口类型:双绞线RJ45,光纤ST或SC、LC型等
●系统可靠性
1)不中断通信情况下,可在线进行电路板的热插拔操作;
2)主要部件应采用主/备用工作方式,或采用N+1冗余配置
3)整机的平均故障间隔时间(MTBF)≥100,000小时
4)双主控及电源等关键部件冗余配置
●管理规程
1)RFC 1157:简单网络管理协议(SNMP V2)
2)RFC 1213:SNMP MIBII
2、高端防火墙:
防火墙要在集团公司防火墙集采产品范围内选择。同时应具备以下功能:
性能吞吐量(bps)≥1G RAM容量≥1G Flash容量≥16M
最大支持连接数≥250k
每秒新建连接数≥7k
最大策略数量≥50k
VPN连接数≥2k
3DES/AES VPN吞吐量≥400Mpps
虚拟防火墙数≥25
槽位设备槽位数≥1个
支持的接口和模块10GE 不作要求千兆多模光口≥2 10/100/1000自适应电口≥4 10/100自适应电口不作要求
3、二层交换机:
高端三层交换机要在集团公司三层交换机集采产品范围内选择。同时应具备以下功能:
●局域网标准
1)IEEE 802.3:以太网标准(包括802.3ab/802.3u/802.3z等)2)IEEE 802.1d:介质存取控制桥标准
3)IEEE 802.1q:虚拟网标准
4)IEEE 802.1p:优先级
5)支持STP协议
6)其它标准
●性能指标
1)足够数量的交换机的端口容量
3)支持全双工、半双工能力
4)交换机的传输时延≤1ms
5)支持子VLAN以及不同端口同属一个子VLAN等功能。
●物理接口
1)接口速率:1000Mbps,100 Mbps,
2)介质类型:单/多模光纤,非屏蔽双绞线
3)接口类型:双绞线RJ45,光纤ST或SC、LC型等
●管理规程
1)RFC 1157:简单网络管理协议(SNMP V2)
2)RFC 1213:SNMP MIBII
4、入侵检测设备(IDS):
千兆入侵检测系统的性能应该满足以下要求:
监控速率:2Gbps(双向)
可监控最大TCP连接数:不低于150万
端口数:至少2个千兆监控端口(光口),1个管理端口
5、标准网络集装架
尺寸(宽*深*高):600*1000*2200mm,各地市可根据托管设备的具体尺寸要求,可做宽、深方向的适当调整,如选择600*1200*2200mm的网络集装架。机柜布置原则上采用“面对面、背对背”的排列方式。
网络集装架内的电源模块需满足12台服务器的双路交流供电
需求。网络集装架的机柜门要求具备上锁功能,并且每一机柜的钥匙应为互不相同的。
6、维护终端:
各IDC机房需配置3-4台维护终端及推车,包括鼠标、键盘、显示器以便用户和维护工程师对设备进行现场维护。
(三)电源设备配置
1、设备用电量和类型:
根据设备用电不同分别估算所需的交、直流用电量,其中IDC 机房内除了传输等少量设备外,其它设备均使用交流电,因此IDC 机房交直流容量配比一般取9:1。
机房配套设备估算一般采用两种方式——面积估算法和机架估算法
(1)面积估算法(根据机房面积测算用电量,其中机房面积包括主设备、空调、主走道、列走道等面积)
主设备按照1KW/㎡计算
传输设备按照300W/㎡计算,适当考虑扣除DDF、ODF等设备面积。
实际设备装机率按照0.85~0.9考虑。
空调用电量估算法:机房主设备用电量*0.7
(2)机架估算法
主设备按照3~4KW/机架计算
传输设备按照0.5~1KW/机架计算,适当考虑扣除DDF、ODF
等设备数量。
实际设备单机架装机率按照0.85~0.9考虑。
空调用电量估算法:机房主设备用电量*0.7
2、开关电源设备配置
蓄电池后备时间按照2个小时标准配置;
小容量系统配置2组1000AH 电池时其容量不宜超过450A/54V;
大容量系统配置4组1000AH 电池时其容量不宜超过900A/54V ;
原则上不建议每套电源配置4组以上的1000AH 蓄电池。
(1)蓄电池容量计算:
K 安全系数:取1.25;
I :负荷电流;
T :放电小时数2小时;
t :环境温度25℃;
η:放电容量系数,取0.61;
α:电池温度系数,取0.008;
(2)开关电源模块数
模块数=N+1=(负载电流+蓄电池容量/10)/模块额定电流+1 备用模块按照所需模块/10后取整配备。即:N ≦10,按照N+1]
25(1[Q -+=t KIT
αη
配置模块,当N>10,按照N+2配置模块,以此类推。
3、UPS设备配置
单台UPS机架后备电池不宜超过4组,单台满容量后备时间建议45~60分钟之间;
原则上单套UPS容量不宜超过400KVA以上;
UPS建议采用冗余并机系统以提高系统安全性;
UPS系统负载率≤70%;
建立UPS双母线架构,双母线UPS宜选配同等容量同等输出同等架构的系统。
UPS电池容量配置需要关联厂家恒功率放电功率来计算。
UPS系统需考虑配置谐波控制装置。对于200kVA及以上的UPS设备,宜采用高效、12脉冲UPS主机。
4、机房空调配置
(1)空调土建要求
留足够的空调室外机安装平台,平台具有良好的散热环境,不宜设置在西侧。室外机平台应靠近室内机安装位置,做到两者间距离最小化。
机房层高应满足工艺设备的净高要求,层高分配见下表:
层高分配核心机房
工艺净高3200~3300mm
气体灭火管网高度200mm
风管或架空地板净高高度风帽上送风上送风下送风
300~500mm 350~550mm
结构梁及面层高度约为700mm
机房层高4500mm
4500~
4800mm
4500~4800mm
采用架空地板下送风方式的机房,如果同时设置回风管,则层高应进一步提高。
架空地板下部应采用阻燃保温材料(不低于B1级)进行隔热处理,以防止下层顶部结露。
当架空地板净空高度≥350mm时,地板下宜布置气体灭火喷头。机房和地板下需同时保护,按照一个防护分区考虑气体灭火系统。
(2)空调送风方式
当空调送风距离超过15m时,可考虑在机房两侧设置空调机组安装区域,或通过提高空调风机风压以及增加回风管道、诱导风机等辅助手段来满足设备散热需求;
核心机房的送风方式应通过对机房平均装机率、机架平均功耗、维护方便程度、初期成本等几方面的比较后选择合适的送风方式:1)风帽上送风方式对机房层高的要求不高,送风距离不超过10米。风帽上送风方式的冷热通道不封闭,气流组织不合理,不建议选用。
2)精确风管上送风方式适用于机房装机功耗不变的机房或者是对现有上送风机房的改造。
3)地板下送风方式适宜用于新建机房。
4)对于机架装机功率大的高密度机房,在采用下送风方式外,还可采用冷通道封闭、架空地板加地板送风单元、在机房上部设置回风管道或者采用冷冻水模式的空调系统等辅助措施解决机架高发热量的问题。
(3)空调总冷负荷测算
机房空调的总显冷量不得小于机房设备的散热量,并同时考虑机房维护结构及照明人员的散热量,总冷负荷应包括围护结构负荷、维持房间正压的新风负荷、照明负荷及工艺设备负荷。工艺设备负荷按照电能全部转化为热能计算,电力设备按照效率损失转化为热能计算,测算公司如下:
1)苏北地区
机房空调冷量需求=设备功耗+机房面积*90W
电力室空调冷量需求=开关电源终局负荷*0.1+UPS终局负荷*0.2+电力室面积*90W
2)苏南地区
机房空调冷量需求=设备功耗+机房面积*120W
电力室空调冷量需求=开关电源终局负荷*0.1+UPS终局负荷*0.2+电力室面积*120W
(4)空调配置要求
机房空调在预测制冷量的基础上增加20%的备份制冷量;
机房空调要求采用主机N+1冗余模式进行配置,在室内和室外
安装空间允许的前提下,建议N=5;
在室内和室外安装空间允许,总制冷量不变的情况下,首选“单台容量较小,空调数量较多”的模式;
机房空调的送风量宜满足机房换气次数≥30次/h。
5、机房照明
IDC机房照明需采用架间照明,平均照度按300~500lx取值;
工作区内一般照明的均匀度(最低照度与平均照度之比)不宜小于0.7。非工作区的照度不宜低于工作区平均照度的1/5;
机房内应设置备用照明,其照度宜为一般照明的1/10。备用照明宜为一般照明的一部分。
6、机房接地
交流工作接地、安全保护接地、直流工作接地、防防雷接地等四种接地宜共用一组接地装置;若防雷接地单独设置接地装置时,其余三种接地宜共用一组接地装置,并采取防止反击措施。
接地应采取单点接地并宜采取等电位措施。
机房共用一组接地装置时,宜将各系统分别采用接地线与接地体连接。
7、动环监控
机房动力设备及环境集中监控系统应包括:开关电源、UPS、蓄电池、空调、机房温湿度、烟感、水浸、图像以及红外灯控等,其中开关电源、UPS、空调等设备应通过智能采集方式,蓄电池应实现整组、单体电压的全电量采集。
动环监控应与机房改造同步实施,并与IDC机房同步启用。
8、机房配电线架
(1)楼层配电、电力电缆
楼层使用容量应小于楼层总配电容量的70%
楼层总配电具有双电源自动切换功能。
对于超过630A的楼层配电建议采用2套楼层配电系统或采用母排连接方式。
对于楼层配电总进线电缆载流量要考虑到电缆线径、敷设方式、路由长度、散热条件等所有降容系数。
(2)走线架
主要考虑交流、直流及主走线架,以及列向的强弱电走线架。强电和弱电、交直流走线架不得混用,并根据相关规范设置安全隔离距离。
9、配电系统
估算IDC机房设备用电及空调用电终局总量,结合IDC机房所在大楼变压器及油机的峰值负荷,评估大楼高低压配电系统是否能够支撑IDC机房供电需求;
变压器负载率≤65%
油机负载率≤70%
(四)综合布线要求
1、IDC机房内网络设备与服务器设备之间的连接必须通过网络配线架跳线实现。
2、每列应设置一网络机架作为本列的综合配线架,用于安装本列的网络交换机及网络配线单元,综合配线架内的网络配线单元数量应与本列网络集装架数量相同,且与各架内的网络配线单元一一对应。
3、每个网络机架内安装一个24口网络配线架,用于连接各服务器设备。
4、根据机房供电和机架散热要求,一般每机架的服务器数不应超过12台,服务器与服务器之间空隙不小于1U。按每服务器设备两条网线的要求完成双绞线的布放。
注:实际应用时可能每服务器只通过一条网线连接二层交换机,多余网线和网络配线架端口预留。
(五)设备数量测算
1、机房机架数:
(1)分项占地面积测算法
机房机架数=(机房总面积-电力室面积-传输设备面积-空调面积-主走道-列走道-电缆井道)/每机架投影占地面积;
其中:电力室区域面积应占机房总面积的30%以上
传输区域面积应占机房总面积的10~15%
主走道宽度:1800~2000mm;
列间距宽度:1、采用上送风方式,最小间距不小于1000mm;2、采用下送风方式,最小间距不小于1000mm;
按照工艺单机架平均发热量计算,2kW~3kW时,间距
1000~1200mm;3kW~5kW 时,间距1200~1500mm;
5kW以上时,间距为1500~1800mm。3、具体列间距宽度
必须结合机架尺寸考虑;
空调维修区域宽度:根据具体的空调型号和厂家的技术要求确定,当空调送风距离超过15m时,可考虑设置两侧
空调区域;
根据上述尺寸,结合拟定IDC机房现场情况,估算可安装的标准机架数量
(2)机架综合占地面积测算法
机房机架数=机房可装机面积/每机架综合占地面积
机房可装机面积:机房内除电源间外的面积。
每机架综合占地面积:2.5~4平米(一般按3.5测算)
2、二层交换机数:
根据机房供电和机架散热要求,一般每机架的服务器数不应超过12台。
二层交换机数=机架数X 12/24
注:按24电口二层交换机测算
(六)IDC出口链路的配置
IDC机房的两台核心出口交换各通过1条GE链路上行到城域网中的核心路由器。按IDC机房内每服务器的平均流量为1Mbps测算。IDC出口约可支持2000台服务器。如实际流量超过上行流量可通过GE捆绑的方式对出口宽带进行扩容。
(七)IDC机房网络规划
1、网络拓朴:
IDC机房网络拓朴图
CMNET
城域网核心路由器
Internet核心层
IDS
防火墙
IDC核心层IDC机房核心交换机
IDC汇聚接入层接入交换机接入交换机
基础业务接入区增值业务接入区
5
IDC核心层:
各地市IDC机房核心交换机各通过一个GE链路以三层方式原则上连接至城域网核心路由器。核心交换机之间通过一个GE或两条GE捆绑方式二层连接。防火墙通过GE口侧放的方式与核心交换机连接。IDS设备通过GE口与两台核心交换机连接。核心交换机通过端口镜像的方式将出口流量送IDS设备检测。
IDC汇聚接入层:
各二层接入交换机通过两条GE链路分别以二层方式上行至两
台核心交换机。
2、数据规划建议:
(1)三层路由
核心交换机与城域网核心路由器通过三层互连,通过默认路由的方式疏导上行路由。
基础业务接入区内各服务器的网关设置在核心交换机上,并通过VRRP协议保证网关的可靠性。
安全增值业务接入区内各服务器的网关建议设置在防火墙上,并通过VRRP协议保证网关的可靠性。也可设置在核心交换机上并通过策略路由引导流量去防火墙。地市公司视具体情况而定。
对于服务器在基础业务接入区与安全增值业务接入区之间的调整,不需对服务器进行物理位置上的调整,只需在核心交换机和防火墙上对相关数据进行配置既可实现。
(2)二层交换
各二层汇聚接入交换机与核心交换机通过二层互连。与核心交换机之间布署STP协议,保证二层交换的可靠性。
3、网管接入
IDC机房内各网络设备统一接入IP综合网管,在省中心网管网内统一考虑网管采集机的扩容,各地市不再布署网管采集机设备。
三、附则
本指导意见自发布之日起执行。