一级视频云存储技术方案

1一级视频云存储系统设计

1.1一级网络视频云存储概述

本项目采用华为网络视频云存储VCN3000设计一级视频云存储子系统.采取分布式直接存储，集中管理的方式，针对摄像头视频存储硬件采用针对视频存储优化的网络视频存储和磁盘阵列，所有的存储设备部署在各辖区运营商机房(六个),前端摄像头采用标准的H.264编码RTP流，直写到网络视频存储中。

华为网络视频云存储VCN3000采用由管理平台、IP网络,通过虚拟化、云结构化和高精确视频直接存储模式。运用负载均衡、对象存储等技术，结合视频、图片数据特点，面向应用，满足视频监控业务高可靠性、不间断的海量存储需求。采用分散存储技术加速大数据智能分析快速提取和分析效率。

华为网络视频云存储VCN3000系统使用存储虚拟化技术针对海量存储应用需求，为用户提供透明存储构架、高可扩展性的云管理存储服务。在云管理存储系统中将信令与业务承载码流相分离，云管理服务器只处理控制信令而不处理视频数据，实时视频数据直接写入到云管理存储物理存储节点，无需中间环节。

视频云管理存储管理软件在市局监控中心以集群方式进行部署，实现全市所有监控点和所有云管理存储物理设备的统一管理。

视频云管理存储系统中，IPC直写存储设备，采用云管理方案解决云管理存储管理单节点失效问题，利用负载均衡技术充分利用各存储节点的性能。云管理存储系统采用统一接口与视频管理平台对接，降低平台维护和用户管理复杂度。

华为网络视频云存储VCN3000支持基于GB/T28181标准实现与各级标准平台（符合GB/T28181规范的标准平台）间的互联互通，平台之间通过信令安全路由网关进行信令对接，在信令的控制下媒体通过媒体服务器互联。该体系构架可以支持上下级级联、平级级联以及监控报警专网与公安网的互联。

GB/T28181标准平台互通示意

GB/T28181标准支持的功能包括：注册、实时视音频点播、设备控制、报警事件通知和分发、设备信息查询、状态信息报送、历史视音频文件检索、历史视音频回放、历史视音频文件下载、网络校时、订阅和通知等。

VCN3000基于GB/T28181标准，通过外域的方式接入第三方平台，可实现级联、互联等多种组网方式。

华为网络视频云存储VCN3000基于云计算技术，组成网络视频云存储系统，采用统一规格的云存储节点构建，系统运行不依赖独立服务器。视频存储设备集中部署在公安机关控制中心，实现对存储资源统一分配、统一管理、集中部署。

1. 所有空间虚拟化统一管理，按需智能配置；

2. 在线动态扩容（性能和容量），扩展透明，对应用无影响；

3. IO全局动态负载均衡；

4. 采用监控专用的流媒体云存储数据管理结构，直接存储流媒体视频数据，并执行流媒体的转发和历史录像检索回放；

5. 整体业务持续运营，故障自动切换；且具有快速修复能力；

6. 和监控平台应用的高效整合，支持高效录像、检索、回放等；

7. 高密度、低功耗设计，节省机房空间，节约系统能耗；

8. 采用针对视频业务的存储优化，提升提供服务能力，降低维护成本。

1.2华为网络视频云存储VCN3000主要架构

计算资源池管理：通过运算整合，实现整体计算资源统一管理，灵活配置。系统智能运算，根据业务自动分配系统资源。

存储资源池管理：通过存储整合，实现存储资源的统一管理，自动部署，合理利用，进行自动发布与回收。

视频云管理软件：基于Linux操作系统平台开发，可内嵌在网络视频存储内运行，也可安装在独立服务器运行。

云存储节点设备完全对等部署，无差异。经过虚拟化后，所有的应用云存储节点会虚拟化为一台巨大的应用云存储设备。在肉眼上，人们看到的是机柜中整齐划一的单一品种设备。在逻辑上，成千上万的摄像机，以及各种各样的后台软

件，看到的只是一台设备。这台大设备拥有海量的接入、存储以及转发等能力。

集群采用一级索引管理，能根据用户的各种查询条件(录像类型、锁定类型、报警类型、时间段等)进行快速定位。

无论是传统的磁盘阵列方案还是新颖的数据云存储

方案，无可避免的采用了“N+M”的部署方式。如右图所

示，N即是工作设备，M则是备份冗余设备，当某台工作

设备故障倒下后，冗余设备可以顶替上去工作。如果控

制信令的调试服务器损坏，则整个系统也无法调度，业

务迁移。

而N+0云化模式不再需要冗余设备，如左图所

示，所有设备都是工作设备，而且均对等部署没有

主次之分。当其中一台设备故障时，云内其余节点

设备共同分担故障设备的业务工作。故障设备上的

摄像机会立即切换到其它正常设备上，最大限度地实现了设备故障后业务不中断的根本需求。

1.3华为网络视频云存储VCN3000主要功能

1.3.1集群管理特性:

业务周期管理：支持包括创建、运行、添加节点、删除节点、解散、业务分配的周期管理，支持web方式的管理。

动态扩展：支持集群的可控伸缩，支持集群节点的添加和删除操作，可根

据业务变化动态调整集群总的业务处理能力和存储容量；管理员可根据业务需

求解散集群，解散后集群中各节点失去集群保护功能，但仍能继续承载业务，不影响用户使用。视频云管理存储系统可以组建海量的存储资源池，容量分配

不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的

扩展都可以通过在线扩展完成。

系统管理：支持对物理资源和集群的监控功能，支持对集群工作状态的实时显示。

负载均衡：支持负载均衡的策略执行；支持当物理机出现资源紧张的情况时，自动进行业务迁移，以平衡物理资源的负载。

远程配置：通过web管理界面，用户可完成节点的初始化配置

实时监控：支持对物理机内存、CPU、网络等资源使用情况进行实时监控；支持存储池容量、状态实时监控，磁盘即将失效预告警；支持传感器实时监控，包括如CPU温度，磁盘温度，环境温度，风扇转速，机器功耗；支持对物理机在线、下线状态监控；支持对系统关键进程的状态监控；支持以上所有资源超限制使用或异常时的告警。

备份恢复：支持集群全数据备份，包括集群配置、业务配置、录像数据。

系统安全：当集群本身出现故障时，基本录像、预览、回放、下载功能不受任何影响；支持物理机故障预测（如：日志爆发，进程重启，磁盘即将失效等），从而将业务先于故障提前迁移并告警，最大限度减小数据损失。

前端接入:集群前端采用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。

1.3.2视频存储与回放功能

视频录像:主要包含客户端本地录像、平台录像及前端录像，平台录像分为事件录像、定时录像和手动录像三种录像模式。系统可以按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头由用户指定，存储开启相关的资源。

缓存补录：断网等条件下，前端设备能够将本地保存的数据补录到系统中。华为视频监控平台产品通过录像缓存补录技术，实现网络异常情况下的视频数据临时存储在IPC或编码器内置存储介质中，有效避免了网络中断造成的视频数据丢失，保障视频数据的完整性。

缓存补录技术示意

动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上得到反映。

周期覆盖：采用编码器直写存储的方式工作，系统保存的历史录像数据可以按照指定的循环覆盖策略进行删除。

数据恢复：支持分钟级索引快速重构，满盘配置状态下系统在30分钟内完成索引恢复；

视频检索:用户可以按监控点编号、录像类型、时间组合、锁定、标注等条件查询录像数据。

视频回放:用户可以在客户端上点播回放监控系统录像，也可以将系统录像文件下载到本地PC机上（录像文件格式为.mp4），然后使用通用播放器进行回放。系统利用对视频进行以时间、位置、告警类型、身份信息、关联设备和人工标签进行标记，通过分类查询机制，可以实现利用上述任何条件组合在海量数据中的完成秒级查询；支持根据编码器名称以及时间段、录像类型对录像数据进行回放。支持根据编码器名称以及时间段对录像数据进行回放时间定位。应支持快放、慢放.支持倒序回放。支持I 帧回放。支持手动停止回放。

视频下载:支持根据编码器名称以及时间段对录像数据进行下载。应支持断点续传。

视频锁定:支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。应支持已锁定的录像片段锁定时长到期自动解锁。

视频删除:系统管理员授权后可以根据监控点编号、录像时间、录像类型删除视频录像。

周期存储:按策略支持按周期、容量进行录像数据的周期覆盖式存储。

1.3.3运维管理

管理功能：可实现配置管理、故障管理、性能管理、业务管理、日志管理、安全管理、存储管理、资源管理；

时钟同步功能：自动向NTP（网络时间协议）服务器进行时钟同步的功能；

前端接入：系统支持编码器/网络摄像机主动注册，支持跨NAT部署；

实时监控：支持对物理机内存、CPU、网络等资源使用情况进行实时监控；支持存储池容量、状态实时监控，磁盘即将失效预告警；支持传感器实时监控，包括如CPU温度，磁盘温度，环境温度，风扇转速，机器功耗；支持对物理机在线、下线状态监控；支持对系统关键进程的状态监控；支持以上所有资源超限制使用或异常时的告警。

标准协议对接支持标准的SNMP协议对接，采用Mibs文件。

1.3.4接口功能

云认证接口:视频云管理存储对外提供登陆、认证接口，保证系统安全性。

系统支持用户管理、用户组管理、权限管理和用户查询与签退。

用户管理详细功能说明

视频存储接口:提供统一的视频存储相关的接口：视频写入、视频检索、视频下载、视频回放等。

视频管理接口:提供统一的视频管理相关的接口：视频锁定、解锁、删除等。

存储空间管理:提供统一的图片管理相关的接口：创建/删除/修订资源池。

1.3.5系统功能

远程配置:通过web管理界面，用户可完成节点的初始化配置。

可靠性:系统应提供7*24小时不间断的服务，具备负载均衡和集群功能,当集群本身出现故障时，基本录像、预览、回放、下载功能不受任何影响；支持物理机故障预测（如：日志爆发，进程重启，磁盘即将失效等）.

不会因系统内部分服务器宕机，造成系统服务中断。

管理服务器采用集群方案保证系统的稳定性。

单节点故障不影响系统业务的持续性。

可用性历史视频图像的点击回放的延迟时间小于1s，图像无卡顿现象，播放清晰、流畅。

视频数据检索秒级响应:系统利用对视频进行以时间、位置、告警类型、身份信息、关联设备和人工标签进行标记，通过分类查询机制，可以实现利用上述任何条件组合在海量数据中的完成秒级查询

安全性云管理存储子系统管理需采用权限、密码验证机制

可维护性:支持集群的可控伸缩，支持集群节点的添加和删除操作，可根

据业务变化动态调整集群总的业务处理能力和存储容量；管理员可根据业务需

求解散集群，解散后集群中各节点失去集群保护功能，但仍能继续承载业务，不影响用户使用。视频云管理存储系统可以组建海量的存储资源池，容量分配

不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的

扩展都可以通过在线扩展完成。

系统支持在线扩容，云管理存储集群规模调整

支持不中断业务模式下进行系统升级

1.4华为VCN3000视频存储设备参数介绍

VCN3000是华为视频监控存储的核心网元，具备大容量、高可靠、高性能、高安全性、高扩展性和开放易集成等特点。

图片 1 VCN3000正面图

图片 2 VCN3000背面图

技术指标

规格名称规格描述

操作系统与协议Suse Linux Enterprise Server 11 SP1, 64-bit,windows;支持iSCSI / NFS / CIFS / FTP / HTTP / AFP协议

主处理器2×Intel Sandybridge E5-2407，主频为2.2GHz 系统内存2×DDR3-8GB-1333MHz内存

硬盘驱动器系统盘：2×2.5’300GB SAS盘

数据盘：36×3.5’SATA/NL SAS，单盘最高可支持4TB，支持热插拔

RAID模式系统盘：RAID1；数据盘：RAID 00,5,6

堆叠组网支持128台VCN3000

分布式组网支持分布式部署

主机接口10/100/1000M以太网口×2、10/100M管理网口×1,支持网口绑定其他接口USB2.0×4、DB15 VGA接口×1、RS232串口×1

基本模式媒体性能512Mbps 256路2 Mbps网络视频/视音频接入512Mbps 256路2 Mbps网络视频/视音频转发512Mbps 256路2 Mbps网络视频/视音频存储

表格VCN3000产品规格和功能列表

1.5网络视频存储详细设计

本项目设计的华为网络视频云存储VCN3000具有良好的先进性、互通性、功能性、扩展性。同时在稳定性以及安全性方面，平台操作系统采用SuSE LINUX 系统，并采用了端口加固技术，整个存储平台架构采用开放式，国标规范化设计，系统具备平台互联能力。

平台设计充分考虑客户应用需求，具有良好的可扩展的开放性，平台的开放性，遵循最新的《安全防范视频监控联网系统传输、交换、控制技术要求》（GB/T28181-2011）国标标准要求，并提供良好的集成能力及二次开发接口，供其他上层业务系统的集成对接。

1.5.1容量设计

容量需求:

一级视频云存储配置:3000块4TB/7200转企业级NL SAS/SATA硬盘,84台VCN3000.每个运营商机房布置14套VCN3000,500块4TB/7200转企业级NL SAS/SATA硬盘,共6个运营商机房.

同时配置一套(双机)云管理软硬件, 每个运营商机房可独立运行,独立管理.

1.5.2设备清单

1.6网络视频存储VCN3000设计特点

1.6.1关键部件冗余设计

视频存储，采用双GE主机接口，冗余电源、散热风扇；甚至可以采用双系统启动磁盘并进行Raid1保护。

在冗余部件故障的情况下，可以迅速更换，丝毫不影响系统的正常运行，从而，有效保证业务的连续性。

1.6.2磁盘碎片避免设计

磁盘碎片的分类简单说，分为外部碎片和内部碎片。内部碎片是由于存储数据块的大小无法占满簇空间而生成的，会对磁盘空间造成浪费。如果仅仅简单通过减小簇的大小来降低磁盘空间的损失，将增加整个磁盘簇的数量，就会增加文件查询时间。

外部碎片是因为存储数据块被分散保存到整个磁盘的不同地方，而不是连续地保存在磁盘连续的簇中。这种数据碎片不会在系统中引起任何问题，但文件碎片过多会使系统在读文件的时候来回寻找，引起系统性能下降，甚至缩短硬盘寿命。

基于如上技术分析，所以，只要我们能够保证视频文件的顺序存储，并且

处理好磁盘最小存储单位划分的合理性即可实现在保证磁盘检索性能的基础上避免磁盘碎片的生成。

一体化视频存储的系统软件的最底层模块BSM就是通过专利的视频流动态块控制技术、视频块连续写入技术和合理空间回收技术相结合，对视频数据存储进行优化，从而，既保证了数据的连续性，又避免了磁盘空洞，从根本上杜绝磁盘碎片的产生，保障读、写、查询、删除业务的高速、高效。既延长了磁盘寿命，又为秒级索引和回放提供了底层技术支撑。

1.6.3磁盘坏道自动修复设计

在监控业界SATA/NL SAS盘故障率比较高，达到年故障率3%左右。而视频监控业务压力大，7*24小时运行，此业务场景下SATA/NL SAS盘点故障率更加高，将达到5%左右。

鉴于SATA/NL SAS磁盘较高的故障率，启动磁盘坏道修复功能。避免因为磁盘出现数据块的损坏而导致的整个Raid组降级导致的性能急速下降，影响业务的正常运行。通过坏道的自动修复功能，利用内部逻辑计算快速修复数据块或者磁盘坏道，在保证数据安全性的同时，保证业务的连续性。

视频监控业务场景下硬盘的故障主要是由于针对硬盘的反复不停的写而造成的硬盘坏道。在硬盘发生坏道的时候，通常情况下系统对Raid组降级，利用热备盘替掉有坏道的盘。在磁盘组降级处理的过程中，读写性能严重下降，致使整个系统效率明显降低。

其实，通常情况下此坏盘其余空间都是好的，而且硬盘还有一定的保留扇区(5%)可以修复此故障。此场景下利用Raid校验功能，将坏块对应位置的数据计算出来，并利用硬盘的写修复机制，用保留扇区中的硬盘介质来顶替坏道，实现硬盘的修复，避免了微量坏道导致的Raid降级引起的系统性能下降，同时也延长了硬盘的使用寿命。

从可靠性角度考虑，存储不会无限制修复，达到用尽保留扇区的阈值后会自动通过拷贝式重构，将此盘替换。

1.6.4流媒体优化的RAID技术

传统Raid技术为结构化数据安全设计，旨在充分保证数据的正确性和完整性的基础上保证业务的连续性，而视频监控系统的视频流媒体为非结构化数据，具备一定的错误容忍性，对业务的连续性要求相对更高。因此，传统Raid 技术在视频监控的应用场景下无法提供完美的系统服务。

系统基于流媒体的连续数据、循环写入、顺序读写等非结构化数据的特点，采用优化的流媒体Raid存储技术对传统存储读写优化，基于流媒体接入的数量和码流以及Raid组的磁盘数量，根据磁盘吞吐性能自动调整条带深度、IO 块大小和并发数量，实现流媒体数据读写性能随Raid组磁盘数量线性增长，极大的增强了整机的读写性能，成功规避了单纯的传统Raid部署难以规避的条带深度与读写性能之间的矛盾，将系统读写性能大幅度提升。

1.6.5SafeVideo

系统基于流媒体的连续性、实时性、时序性以及播放软件具备容错机制的特点，采用优化的流媒体Raid5存储技术对传统存储容错性优化，提出LUN永不失效的概念。即在RAID5配置下当两块及以上磁盘失效时，仅将LUN的写功能挂起，但依旧保留读取功能，对媒体流数据进行读取和优化，在保证数据可用性的基础上最大限度保证数据的完整性和监控业务的连续性，从而规避传统RAID5的磁盘故障导致LUN失效带来的全部的数据丢失风险；

系统基于监控业务全天候不中止的运行特点，为了保证系统的整体性能最优，采用动态热备磁盘技术在Raid救援的过程中对待新插入的数据磁盘，最大限度规避回拷动作带来的风险和性能恶化。在机制上保证数据安全性的基础上充分保证系统的整体性能。

1.6.6缓存补录

网络摄像机的视频数据和信令要依靠网络才能进行传输，因此网络的可靠性

也成为衡量视频监控系统可靠性的一个重要参考。而在实际的视频监控系统中，网络的临时中断和故障不可避免。当网络发生中断时，如何保障期间的视频数据不丢失是一个成熟的视频监控平台产品必须要考虑的问题。华为视频监控平台产品通过录像缓存补录技术，实现网络异常情况下的视频数据临时存储在IPC或编码器内置存储介质中，有效避免了网络中断造成的视频数据丢失，保障视频数据的完整性。

缓存补录技术示意

断网缓存及补录功能要求必须网络摄像机支持此功能并且带有SD卡存储能力。

1、在正常网络情况下，视频数据通过网络传输到VCN3000中进行保存。

网络正常示意

2、当网络摄像机与VCN3000之间出现网络故障时，平台通过心跳线检测判断断网状态并记录断网信息。当网络摄像机自动侦测到网络故障，立即启动录像补录功能，将视频数据的传输从通过网络传输切换为本地存储，把视音频数据存储在设备的永久存储介质SD卡中。若网络断开时间较长时，SD卡数据进行循环覆盖。

考虑到网络摄像机“检测到网络断”相对“网络实际断”有一个延时，利用IPC支持本地缓存预录方式,将缓存视频数据一起追加打包至网络摄像机的永久性存储介(SD卡)将期间视频数据临时保存在本地（如下图）。

网络异常示意

3、在检测到网络由断开变为恢复时，由VCN3000发起请求,按照已设定的录像计划策略，自动检索空缺录像时段信息，向IPC发起录像下载信令。若下载发生异常，VCN3000将自动重发下载请求，此时前端网络摄像机不会删除未下载成功的录像文件。补录断网丢失的数据，确保视频监控系统数据存储的完整性和连续性，补录完成后，前端网络摄像机将自动删除缓存数据。

网络恢复示意

1.6.7节能环保设计

根据政府倡导的节能、环保的要求，我们对系统进行针对相应的技术和产品细节介绍。

环保手段

●视频云存储全部采用绿色环保器件，符合RoHS技术要求并取得

认证。

●视频云存储通过内部温控机制智能调整风扇转速，有效减低噪

声，减少粉尘的吸附。

●视频云存储采用4U/36盘位设计，磁盘密度更高，机房空间更节

省。

节能技术

●视频云存储全部采用低功耗器件，高转换效率电源，每盘位能

耗较其它厂商更低。

视频云存储采用磁盘缓上电技术降低电源最大功能，降低电源系统自能耗，有效降低能耗。

视频云存储采用4U/36盘位高密度设计和空气动力学优秀散热技术相结合，令机房热量分布更集中，制冷系统降温效果更换，变相降低制冷能耗。

视频云存储支持磁盘、磁盘组、整机休眠和唤醒技术，特别是整机休眠技术在存储产品业内尚属首例。通过休眠技术降低系统待机能耗。

视频云存储均采用休眠技术设计，可以提供基于磁盘、磁盘组的休眠功能。还可以提供基于整机的休眠的功能。系统休眠3/4磁盘，能耗将降低20％，整机休眠，能耗降低95％。