一种多变元网络可视化方法
ISSN 1000-9825, CODEN RUXUEW E-mail: jos@https://www.wendangku.net/doc/22804791.html,
Journal of Software, Vol.21, No.9, September 2010, pp.2250?2261 https://www.wendangku.net/doc/22804791.html, doi: 10.3724/SP.J.1001.2010.03889 Tel/Fax: +86-10-62562563
? by Institute of Software, the Chinese Academy of Sciences. All rights reserved.
?
一种多变元网络可视化方法
孙扬1+, 赵翔2, 唐九阳1, 汤大权1, 肖卫东1
1(国防科学技术大学C4ISR技术国防科技重点实验室,湖南长沙 410073)
2(School of Computer Science and Engineering, University of New South Wales, Sydney NSW 2052, Australia)
Multivariate Network Visualization Paradigm
SUN Yang1+, ZHAO Xiang2, TANG Jiu-Yang1, TANG Da-Quan1, XIAO Wei-Dong1
1(C4ISR Technology National Defense Key LAB, University of Defense Technology, Changsha 410073, China)
2(School of Computer Science and Engineering, University of New South Wales, Sydney NSW 2052, Australia)
+ Corresponding author: E-mail: victor_830514@https://www.wendangku.net/doc/22804791.html,
Sun Y, Zhao X, Tang JY, Tang DQ, Xiao WD. Multivariate network visualization paradigm. Journal of
Software, 2010,21(9):2250?2261. https://www.wendangku.net/doc/22804791.html,/1000-9825/3889.htm
Abstract: This article proposes a multivariate network visualization paradigm, MulNetVisBasc. Advanced Start
Coordinates (ASC) are employed to place nodes on the basis of multivariate attributes and to devise an algorithm
that that incorporates edge-merging and routing techniques to automatically lay-out edges; furthermore, a
user-friendly human-computer interface is developed to assist users in further data analysis and mining. The
experimental results suggest that the visualization of MulNetVisBasc not only uncovers the multivariate
distributional characteristics of datasets intuitively, but also displays the associations of networks clearly and is
helpful in discovering the implicit knowledge hidden behind datasets. The edge layout algorithm reduces the visual
clutters caused by edge crossing and is suitable for relatively huge multivariate network datasets in virtue of its low
complexity. Finally, the human-computer interface is flexible and convenient.
Key words: multivariate network visualization; Elamer; advanced star coordinates; network visualization;
multivariate data visualization; information visualization
摘要: 提出一种多变元网络可视化方法MulNetVisBasc,根据节点的多变元属性,使用高级星形坐标法布局网络
节点,以边融合及路由技术为基础设计算法,自动有效布局网络边,实现友好的人机交互界面辅助用户进一步对数据
进行分析挖掘.实验结果表明,MulNetVisBasc的可视化结果能够在直观揭示数据集多变元分布特性的同时清晰展
现其网络关联特性,有助于用户发掘多变元网络数据集中潜在的隐性知识.边布局算法能够有效减少视图中的边交
叉数量,且复杂度较低,适用于较大规模数据集,人机交互界面灵活方便.
关键词: 多变元网络可视化;基于边融合及路由技术的边布局算法Elamer;高级星形坐标法;网络可视化;多变元可
视化;信息可视化
? Supported by the National Natural Science Foundation of China under Grant No.60903225 (国家自然科学基金); the Excellent
Graduates Innovation Foundation of University of Defense Technology of China under Grant No.B080503 (国防科学技术大学优秀研究
生创新基金)
Received 2009-10-14; Revised 2010-01-20; Accepted 2010-06-10
孙扬等:一种多变元网络可视化方法2251 中图法分类号: TP391文献标识码: A
多变元网络是节点(或边)具有多变元属性的结构网络,这种数据组织结构普遍存在于各应用领域,如社会网络中以网络节点表示社会个体成员,网络边代表成员间的关系,而每个社会成员都同时拥有自己的属性信息(姓名、年龄、性别等);生物学中的蛋白质分子交互网络以节点代表蛋白质分子,边表示分子间的相互作用,而每个分子又都包含了名称、功能等多变元信息.对于各类多变元网络数据,研究人员的需求不只局限于单纯分析其多变元特性或网络特性的信息,他们通常还会提出同时分析二类特性以揭示数据集的多变元统计特征与网络结构的内在联系的要求.如社会学家经常会提出拥有相似特点的人是否会联系紧密的疑问,分子生物学家对相互作用的蛋白质分子是否具有相似功能十分感兴趣.但是,由于多变元数据分析与网络数据分析的目的、方法、手段、过程差别非常大,因此,目前尚不存在相应的分析技术辅助研究人员有效地研究、探索、发掘及理解大量抽象复杂的多变元网络数据.另一方面,信息可视化技术作为抽象信息有效地展现分析工具日益得到了研究人员的认可,并且已分别在多变元数据和网络数据方面进行了较深入的研究.但二者的关注点不同:多变元可视化方法侧重于构建能够保持原多维数据拓扑结构的低维展现,以辅助用户在可视空间中分析各多变元对象间的相互关系,主要方法包括枝形图[1]、平行坐标系[2]、星形坐标系[3]、多维标度法(MDS)[4]、等距映射法(ISOMAP)[5]等;而网络可视化方法则强调通过优化网络图布局增强节点间关联信息的可理解性及易读性,重要的评价指标有网络图的对称性、网络边的交叉数量等[6].Eades提出的力导引布局方法是一种经典的网络可视化布局方法[7].文献[8,9]分别对两类信息可视化方法进行了详细的综述.
然而,信息可视化技术领域对于能够同时展现多变元网络双重特性的可视化方法的研究仍然停留在较为简单的层次:首先使用网络可视化方法布局节点,然后在其上叠加多变元展现形式,如使用节点(边)的可视化特征(如形状、大小、颜色等)、将节点直接替换为枝形图、在节点上附加类似平行坐标系的方式来展现网络节点(边)的多变元属性.Becker等人使用长方形节点的宽和高表示美国电话网络中部分主要城市的电话主叫及被叫数量[10],Stephen等人使用节点大小和颜色分别代表e-mail网络中邮箱节点的邮件数量及所有者的职位信息[11],Xu等人在已布局的网络节点上叠加多个landscape曲面展示其多变元属性[12].此类方式虽然能够较好地体现多变元网络中的网络结构特征,但也存在很多局限性,如变元可视数量较少、对多变元特性揭示不直观、容易引起交叠问题等.因此,仅在网络布局的基础上叠加多变元可视技术是不够的,需要在网络布局的同时即考虑其多变元特性.Wu等人将涉及多变元属性的测地自组织映射法(GeoSOM)与节点布局过程结合以可视化多变元网络,使其网络布局能够体现出数据集的聚类及奇异点等特征[13,14].但是,由于SOM方法本身固有的缺陷,该方法计算复杂度较高,无法直观体现数据对象的维分布情况;并且在节点位置固定的情况下,该方法也未考虑通过优化边布局解决可视混乱问题.
因此,本文提出一种新的多变元网络可视化方法MulNetVisBasc(multivariate network visualization based on advanced star coordinates).首先,应用高级星形坐标法(ASC)将多变元网络节点降维投影到多变元空间对应的低维参考坐标系中;然后,基于边融合及路由思想提出Elamer算法自动布局网络边,以尽量减少边交叉数量;最后,设计实现特色而友好的交互方式以辅助用户对多变元网络数据集进行可视分析.实验分析表明,MulNetVisBasc 产生的可视化效果易于理解,能够在直观揭示数据集的多变元特性(尤其是维分布信息)的同时清晰展现其网络关联特性,有助于发掘多变元网络数据集中潜在的隐性知识.Elamer算法可以大幅度减轻因边交叉引起的可视混乱,且时间复杂度较低,适用于规模较大的数据集,人机交互界面灵活方便,用户满意度较高.
1 预备工作
1.1 假设与符号
虽然多变元网络的节点和边都可能具有多变元属性,但本文只讨论网络节点具有多变元性的情况.为便于全文论述,首先给出如下假设说明及定义:
2252
Journal of Software 软件学报 V ol.21, No.9, September 2010
假设说明.严格地定义,多属性数据集中相关属性才能称为“变元(variate)”,而相互完全独立(正交)的属性应该称作“维(dimension)”.但是,我们也可认为维是一类特殊的变元(相互间存在正交性).因此,本文为使论述更加符合读者的阅读习惯,对变元和维不进行详细区分.
定义1. 多变元网络G 由网络节点、边及节点具有的变元集组成,可形式化描述为G =?V ,E ,A ?.其中,V 表示节点集合,E 代表边集合,A 是V 中元素属性值项F (V )=(f 1,f 2,…,f m )的集合.V ,A 的势相等,即|A |=|V |.
定义2. 假定G 中节点V ={V 1,V 2,…,V n }来自相同的应用领域,由一组相同的数值型变元(属性)A 1,A 2,…,A m 进行描述,且每个节点V i 都包含完整的m 个属性值,不存在变元值缺失情况.
定义3. G 中无向(或有向)边E ={e 1,e 2,…,e l }是V 中元素的无序偶或有序偶?V i ,V j ?的集合,并且称与节点V i 相连边的条数为V i 的度,记为d (V i ).
1.2 高级星形坐标法(advanced star coordinates ,简称ASC )
ASC 是我们前期提出的一种多变元可视化方法[15],它改进了星形坐标法(SC)降维过程信息损失较为严重、可视化结果未体现多变元数据集维分布信息、手动配置维度轴繁杂、耗时的不足.如图1所示,ASC 使用圆形 中沿直径方向的向量sj ej D D uuuuuu v 作为维度轴表示多变元数据集的一维,将多变元数据集中所有数据任意两维对应 数值近似相等的数量定义为相应两维的相关系数,并根据各相关系数值排列维度轴,数值越大,二维度轴夹角越小.而后,依据变元间的语义相关性标定维度轴正向,完成高级星形坐标系的构建;ASC 使用平面直角坐标系中
的一点F i (x i ,y i )代表多变元对象F (V i ),其属性值12(,,...,)i i i m f f f 定义为F (V i )在原多维空间中的维坐标.将F i (x i ,y i )
在高级星形坐标系各维度轴的投影点在相应维度轴上的坐标定义为F (V i )的可视坐标,并以减小相应多变元对象的可视坐标与维坐标的差别为准则,使用最优化方法求解全部对象的可视坐标,实现对用户有意义的降维运算,将抽象的多变元对象映射到低维可视空间-高级星形坐标系中.ASC 的降维算法效率较高,适用于数据量较大、维数较高的数据集合,可视化结果易于理解.与SC 方法相比,提高了手动配置维度轴的效率,缩短了发掘有效结论的时间,减少了简单降维过程引入的信息损失,体现了多变元数据集合丰富的维分布信息. D sk D s 4s 1D s 2
D s D ek
D e 1D e 4
D e 3
D e 2......X
Y O
F i (x ,y )
Fig.1 ASC multivariate data visualization model
图1 ASC 多变元可视化模型
2 基于ASC 的多变元网络可视化方法(MulNetVisBasc )
MulNetVisBasc 方法是根据Card 提出的信息可视化参考模型[16]设计的多变元网络可视化方法(图2).首先组织原始数据集形成规范的多变元网络节点及边的数据表;然后计算多变元节点数据表中各维度的相关系数,并以此为基础绘制高级星形坐标系,使用ASC 降维算法将多变元节点投影到高级星形坐标系中;通过高效的边
孙扬等:一种多变元网络可视化方法2253
融合及边路由算法合理布局网络边,以尽量减少边交叉数量,清晰展现节点间关联信息;而后,对形成的多变元网络可视化结构进行渲染,使用样条曲线绘制网络边,使用不同颜色按照不同分类标准标注节点,确保可视化视图美观,易于理解;最后,设计友好的人机交互操作对可视化过程进行控制,以辅助用户更加直观、准确地分析、发掘相关隐性信息.
Users
Human
Rendering
Fig.2 MulNetVisBasc information visualization framework
图2 MulNetVisBasc可视化框架
2.1 基于ASC的节点布局
首先,不考虑多变元网络数据中的关联信息,只抽取其中由所有节点属性值形成的多变元数据集,并以此为数据基础,利用ASC方法绘制高级星形坐标系.然后,将多变元网络节点降维映射到高级星形坐标系中,并在二维平面中计算全部节点相互之间的欧式距离组成距离矩阵,而后以距离矩阵作为输入使用k-means方法对多变元网络节点进行聚类(ASC方法最主要的优点在于能够清晰、直观地揭示多变元数据集的聚类信息及其维分布信息,如果在可视化视图中未形成簇状分布,则对相应数据集ASC方法就丢失了它的使用价值.因此,本文假定降维后的多变元网络节点也会在高级星形坐标系中形成多簇聚类,而此处的k值可由用户根据可视化效果图交互设定).最后,计算每个聚类的长方形最小包围盒,为下一步进行边融合及路由布局做准备.
2.2 基于边融合及路由技术的边布局算法——Elamer
传统网络可视化方法主要通过各种算法布局节点使产生的网络图能够尽量符合诸多绘图美学标准[17],从而提高网络结构信息、关联信息的可读性,如图3所示.而Purchase在研究中发现,最重要的绘图美学标准是边交叉数量最小原则[18].但MulNetVisBasc为能展现数据集的多变元分布特性,在未考虑节点关联信息的情况下使用ASC方法布局网络节点,使得网络节点的位置相对固定,无法进行大幅度调整,如果直接将相关节点以直线相连势必会产生相当数量的交叉,引起多变元网络图的可视混乱.因此,为能够清晰表现节点间的关联信息就需要重点研究网络边的布局,以减少多变元网络图中边交叉的数量.但是,使用最优化方法求解最小化网络边交叉的布局已被证明是一个NP难问题[19],因此,我们只能设计尽量减少边交叉数量的方法.恰当地使用边融合及路由技术能够极大地减少网络图中的交叉,如图4所示,通过将拥有共同端点的边部分进行融合,可以减少边交叉的几率;在ASC产生的多簇布局中,若非相邻簇节点连线穿越其他簇,则会产生很多交叉,若将其绕行(路由)即可达到较好的减少边交叉数量的效果,如图5所示.
边融合技术是计算机视觉研究中的重要内容[20],而边路由方法是VLSI、计算几何、机器人路径设计领域中的热点问题[21].Doantam等人首次将二者结合应用于流图(flow map)边的自动绘制[22],他们以流图节点的距离矩阵为基础,使用聚合式层次聚类法将所有节点组织为二叉树形式;然后“根化”流图源点对该二叉树进行重新组织,其边融合效果由父亲节点连接其子节点时进行分叉实现,边路由算法则应用于父亲节点连接子节点时穿越子节点的同层兄弟节点的情况,该方法对单源流图的可视化效果较好.虽然我们可将多变元网络近似“拆分”为多层单源流图,并且Doantam也使用压条法(layering)实现了多源流图(可认为多层单源流图的重叠)边的自动绘制,但是由于该方法对多源流图绘制的效果与单源流图相比存在较大差距,而且在使用压条法时需要对每一源点进行重新“根化”,“根化”算法复杂度又相对较高O(n2),不适于处理多变元网络中“源点”较多的情况,因此,本文不能直接套用该方法进行网络边的布局,但是该方法的部分思想可借鉴用于本文边布局算法中的边融
2254
Journal of Software 软件学报 V ol.21, No.9, September 2010
合及路由过程
.
(a) A graph with a bad layout (b) Improved layout of the graph in Fig.3(a)
(a) 布局较差的网络图 (b) 布局改进后的网络图
Fig.3 Importance of drawing aesthetics in drawing graph
图3 绘图美学标准在网络图绘制中的重要性
Fig.4 Edge merging reduces edge crossing Fig.5 Edge routing reduces edge crossing
图4 边融合技术能够减少边交叉 图5 边路由技术能够减少边交叉
为适应多变元网络的结构特点及MulNetVisBasc 的节点布局特点,实现多变元网络边的有效自动布局,本文提出Elamer 算法(edge layout algorithm based on edge merging and routing).算法分为3部分:簇间网络边融合(edge merging between clusters,简称EMBC)、簇间网络边路由(edge routing between clusters,简称ERBC)及簇内网络边融合(edge merging inner cluster,简称EMIC).簇间网络边融合解决拥有相同端点的不同簇间节点连线的融合分叉问题,算法思想如图6所示;簇间网络边路由解决非相邻簇节点连线可能穿越兄弟簇的问题,算法思想如图7所示;簇内网络边融合解决相同簇内节点连线的融合分叉问题,算法思想如图8所示. d Substituting node Branching
node
d d
Fig.6 Edge merging between clusters
图6 簇间网络边融合
孙扬等:一种多变元网络可视化方法2255
d
Fig.7 Edge routing between clusters
图7 簇间网络边路由
Substitut
ing node
Fig.8 Edge merging inner cluster
图8 簇内网络边融合
为了能够形式化描述EMBC,ERBC及EMIC这3部分算法,首先给出如下定义:
定义4. 任意节点V i都归属于一聚类簇cluster k,称与节点V i相连的非cluster k内节点为V i的簇间相关连点, V i的簇间相关连点与V i相连边的条数定义为V i的簇间度,记为d between(V i),而cluster k内的节点与V i相连边的条数定义为V i的簇内度,记为d inner(V i),则d between(V i)+d inner(V i)=d(V i).
定义5. 如图6~图8所示,将两条拥有共同端点的边融合,其分叉点定义为该组边的分支点,对d between(V i)>0的节点V i,在其簇间相关连点所在包围盒边缘定义V i的同位点以代替V i与各簇间相关连点连接.
首先给出Elamer算法的簇间网络边融合算法:
簇间网络边融合算法(EMBC).
(1)计算各节点的簇间度、簇内度;
(2)选取d between(V i)最大的节点V i,将其簇间相关连点按所属聚类进行划分并计算其重心点;
(3)以V i为原点划分四象限,将全部重心点按所属象限分组,在每一象限内分别计算V i与各重心点的距
离,并分别记入数组CG quad;
(4)在每一象限内,以V i为起点,以直线连接CG quad中最小的点,交该点所属聚类cluster j的包围盒于点U ij,
2256 Journal of Software软件学报 V ol.21, No.9, September 2010
则U ij为V i在cluster j中的同位点,V i U ij的中点为分支点;
(5)删除每一象限CG quad中的最小点,将cluster j中与V i相关连点的簇间度减1,同时更新d between(V i);
(6)以分支点为起点,重复执行步骤(4)、步骤(5),当d between(V i)=0时终止;
(7)以V i、分支点及同位点为控制点,使用catmull-rom样条曲线绘制连线;
(8)重复执行步骤(2)~步骤(7),直到所有节点的簇间度都为0时终止.
当执行簇间网络边融合第(4)步时,若产生的连线会穿越其他聚簇,则执行簇间网络边路由过程,算法如下: 簇间网络边路由算法(ERBC).
(1)依据连线穿越所划分面积选取包围盒的顶点作为路由点;
(2)连接路由点和重心点,若仍然会穿越其他聚簇,则继续按照步骤(1)选取路由点,直到路由点可无障碍
的连接重心点;
(3)通过全部路由点,将分支点与重心点以catmull-rom样条曲线连接.
经过簇间网络边融合及路由过程,所有簇间网络边布局完成,簇间相关连点在相应的包围盒边缘都产生了对应的同位点.最后,Elamer算法进行簇内网络边融合完成整个边布局过程.
簇内网络边融合算法(EMIC).
(1)在每一簇内,首先给出所有同位点的簇内度;
(2)选取d inner(V i)最大的同位点V i,以V i为原点划分四象限,将与其相关的点按所属象限分组,在每一象限
内分别计算V i与各相关点的距离,并分别记入数组CG quad;
(3)在每一象限内,以V i为起点连接CG quad中最小的点,计算连线中点作为分支点;
(4)删除每一象限CG quad中的最小点,将其簇内度减1,同时,d inner(V i)=d inner(V i)?1;
(5)以分支点为起点,重复执行步骤(3)、步骤(4),当d inner(V i)=0时终止;
(6)重复执行步骤(2)~步骤(5),直到簇内所有同位点的簇内度都为0时终止;
(7)使用相同方法计算簇内其余节点的全部分支点;
(8)以同位点、节点及分支点为控制点,使用catmull-rom样条曲线将其进行连接.
为避免折线拐点给用户带来的视觉刺激,Elamer算法参照文献[22]使用catmull-rom样条曲线代替直线对各端点进行连接;同时,若绘制的样条曲线会覆盖除端点外的其他节点,则Elamer算法会对该节点产生一个极小的随机扰动微调其位置,使其避开连线;对于簇内网络边融合过程中可能产生的共线问题,如图9所示,Elamer算法则以分支点、分支点的相关点及其之间的节点为控制点绘制Bézier曲线绕开该节点(簇间网络边融合不会产生共线问题,若存在共线情况,则Elamer算法必定会调用网络边路由算法直接绕开聚簇).
a b b
node node
Fig.9 Solution to co-linearity problem
图9 共线问题的解决
2.3 人机交互设计
MulNetVisBasc结合其节点、边的布局以及针对多变元网络数据可视分析任务的特点,设计了友好便捷的人机交互界面,以辅助用户进一步发掘分析该类数据集的结构特征及其中蕴含的隐性知识.
为能更加清晰地展现不同类别节点的分布及关联信息,MulNetVisBasc按照节点所属分类,使用不同颜色对其进行标注;由于ASC方法将节点聚簇,簇内节点较为密集,因此设计了信息可视化工具通用的缩放、平移功能,以放大查看簇内节点的关联情况;为减少可视混乱,发掘潜在关键节点,集成连接度滑块根据节点度的大小对其进行动态过滤;高亮和导航功能可以辅助用户研究网络连接的拓扑结构,当用户将鼠标移动到某一节点时,与该节点相连的节点及边高亮显示,并且文字标注节点的特征信息(如名称等),用户鼠标沿连线运动至一相关
孙扬等:一种多变元网络可视化方法2257
点,则与该点相关的节点及边加入上一操作形成的高亮视图(初始视图节点布局集中,文字标注会产生可视混乱,因此在交互筛选之后,才进行节点的文字标注).
3 实验结果
我们首先通过实验验证MulNetVisBasc方法的有效性,同时观察整个多变元网络数据集在改进星形坐标系中的多维分布及其之间的相互关联情况,获取较为丰富的隐性知识,并发掘不同种类相互关联节点的维分布特性;然后,通过对比Elamer算法作用前后的可视化结果,检验边布局的重要性及Elamer算法的正确性;最后,通过对不同规模数据集应用Elamer算法及Doantam提出的边布局算法比较二者性能.
3.1 实验设置
实验原型采用Eclipse基于prefuse开发包[23]编写实现,操作系统平台Microsoft Windows XP,机器配置为: Intel P4 2.6,1GB,120GB 硬盘.实验数据采用真实的国际军火贸易数据集,每一个网络节点代表一个国家或地区,每个节点的衡量指标包括该国或地区的全球和平指数(GPI)、人均GDP(GDP per capita)、人均军费(ME per capita)、部队人均军费(ME/AF)、每千人的军队数量(armed forces per 1000 people)、军费占GDP的比重(ME/GDP)、军费占中央财政的比重(ME/CGE),共7个变元属性,网络边表示相连两个国家在2005年间进行过军火贸易(此处暂未考虑二者在交易过程中的买卖角色,即该网络为无向网络).数据集来源于http://www.prio. no/NISAT/Small-Arms-Trade-Database/与https://www.wendangku.net/doc/22804791.html,/.
3.2 可视化效果
图10是采用MulNetVisBasc方法对2005年国际军火贸易数据的可视化结果图,并根据各国家的发达程度进行了标注.其中,三角形表示发达国家,圆形代表发展中国家,维度轴标注端为数值增大方向.观察分析该图,我们可以直观获得如下结论:首先,GDP Per Capita,ME Per Capita,ME/AF,GPI维相关度较高聚集在一起, Armed Forces Per 1000 People,ME/GDP,ME/CGE维之间也存在一定相关度;其次,图中大体形成了4个聚类:左上方以发达国家为主的聚类,发达、发展中国家各占一部分的中间区域,右上方的发展中国家聚类和右下方的两个孤立点(通过交互操作可知是Eritrea和North Korea);再次,与发展中国家相比较而言,发达国家人均GDP、人均军费及部队人均军费都比较高,而全球和平指数较低(指数越低,说明该国或地区和平程度越高),发达国家每千人的军队数量、军费占GDP的比重、军费占中央财政的比重略低于发展中国家,但差别不大(除Eritrea和North Korea外);最后,有部分发展中国家未进入国际军火贸易网络,在图中表现为一些无边连接的节点;而发达国家基本都是国际军火贸易的主角,在图中表现为连接较多或拥有未分支网络边的节点.
经过简单地缩放、平移、高亮显示等一系列交互操作,我们分析了美国、俄罗斯和中国的军火贸易伙伴关系,如图11~图13所示,对比3图可明显发现:美国的贸易伙伴遍及各类国家,但未与俄、中建立联系;俄罗斯的军火贸易主要针对中间区域的国家及GPI指数较高、GDP Per Capita,ME Per Capita,ME/AF指数较低的国家;而中国的军火贸易却只局限于GPI指数较高、GDP Per Capita,ME Per Capita,ME/AF指数较低的国家,并且与俄贸易伙伴的交集甚少.
为进一步证明MulNetVisBasc的优越性,我们使用Wu等人提出的GeoSOM方法[14]可视化同一国际军火贸易数据集,效果如图14所示.对比图10与图14易知:首先,MulNetVisBasc可展现全部节点及其关联信息,而GeoSOM只能处理相互间有连接的节点,丢失了上文提到的未进入贸易网的部分发展中国家,因此存在信息缺失问题;第二,虽然GeoSOM的节点位置也是由多变元属性共同决定,但是由于没有MulNetVisBasc中类似高级星形坐标系的“参照物”,所以只能模糊描述节点的多变元分布情况.即使GeoSOM采用了节点背景颜色标注变元值,但这只限于一个变元的表达(如图14中颜色即表示军费占GDP的比重);第三,GeoSOM未考虑边布局优化问题,图14中存在较多交叉及一定程度的可视混乱,给用户发掘数据集的隐性信息带来认知困难;而MulNetVisBasc中的相互关联较为清晰,有益于用户进一步的分析挖掘;第四,GeoSOM的边带有贸易方向信息,同时,边颜色表示了贸易量,但是该信息在MulNetVisBasc却没有涉及,这是MulNetVisBasc的不足之处.总
2258 Journal of Software 软件学报 V ol.21, No.9, September 2010 之,MulNetVisBasc 与GeoSOM 虽各有优劣,但是相比较而言,MulNetVisBasc 在同时直观揭示数据集多变元及网络特性(尤其是多变元分布信息)方面的优势较为明显,而且也不存在前文提到的多变元网络可视方法变元可视数量较少问题.
为验证边布局算法Elamer 在MulNetVisBasc 中的重要性,我们同时生成了未进行边优化的MulNetVisBasc 效果图,如图15所示.由于节点排列较为密集,网络边较多,可视混乱程度较高.尤其是方框部分,根本无法分辨其中的节点连接关系,很多信息被覆盖在由大量交叉边形成的“密集网”之下.而图10在使用了Elamer 算法之后,该问题得到了很大程度的改善,与图15相比,方框区域中节点间的连接关系变得较为清晰.但是,图15的可取之处在于对“密集网”边缘节点的连接度展现较为直观(图中圆圈中的节点度较高);而在图10中却只能根据边的起点分支走向信息判断该节点为高度节点.因此,我们正在考虑根据边权重信息以由深及浅颜色渐变方式渲染网络边,以弥补Elamer 算法因边融合及路由导致节点度展现不直观的缺陷.
Fig.10 Visualization of international arms transfers Fig.11 Highlight arms trade partnership of USA
图10 国际军火贸易数据可视化效果图 图11 高亮显示美国军火贸易伙伴
Fig.12 Highlight arms trade partnership of Russia Fig.13 Highlight arms trade partnership of China 图12 高亮显示俄罗斯军火贸易伙伴 图13 高亮显示中国军火贸易伙伴
Fig.14 Visualization of international arms transfers Fig.15 Visualization of international arms transfers using GeoSOM without Elamer
图14 国际军贸数据集的GeoSOM 可视化效果图 图15 未使用Elamer 算法的国际军贸数据可视化效果
孙扬 等:一种多变元网络可视化方法
2259
3.3 性能分析比较 下面分析Elamer 算法与Doantam 所使用的边布局算法的理论时间复杂度.Doantam’s 算法包括网络节点布局调整、层次聚类、“根化”过程、边融合、边路由及渲染过程.首先,我们认为,其网络节点布局调整过程(时间复杂度O (n 2))与本文使用ASC 方法布局网络节点步骤对应(时间复杂度接近O (n lg n )),都不应属于狭义的边布局过程;其次,二者又都需要聚类前计算任意两节点间距离(时间复杂度O (n 2))、聚类后计算最小包围盒及最后进行可视渲染,并且二者在上述过程的时间复杂度差异不大.因此,对比分析中我们只考虑了Doantam’s 算法中的层次聚类、“根化”、边融合及路由过程,Elamer 算法中的k -means 聚类、簇间边融合及路由和簇内边融合过程.Doantam’s 算法边融合及路由的时间复杂度为O (n ),传统层次聚类方法的复杂度为O (n 2),“根化”过程为O (n 2) (优化后能够达到O (lg n )2)[22],因此,Doantam’s 算法的总时间复杂度为O (n 2)(只是针对单源情况,多源时复杂度会更高);而k -means 算法的时间复杂度为O (n ),Elamer 算法簇间边融合及路由过程中计算节点簇间(内)度步骤的最差时间复杂度为O (nl ),平均为O (l lg n )(l 为边数量),根据节点度排序的最差时间复杂度为O (n 2),平均为O (n lg n ),计算分支、同位点的时间复杂度为O (n ),簇内网络边融合过程中计算同位点与各相关节点距离的复杂度为O (kn ),根据距离排序节点的最差时间复杂度为O (n 2),平均为O (n lg n ),计算分支节点的复杂度为O (n ),因此, Elamer 算法总的时间复杂度最差为O (n 2)或O (nl ),平均为O (n lg n )或O (l lg n ).相比较而言,一般情况下,Elamer 算法的性能在理论上优于Doantam’s 算法.
为使用真实数据进一步证明Elamer 算法性能的优越性,我们对比分析了Elamer 算法与Doantam’s 算法对不同规模多变元网络数据集的运行时间效率.除国际军火贸易数据集(190节点、312条边)外,我们还收集了Padgett’s Florentine families network(16节点、38条边)[24]和Krackhardt’s high-tech managers advice network(21节点、145条边)[24]两个小型多变元网络,以及大型多变元网络Jeong 等发布的Biological network(1 870节点、2 240条边)[25],并使用GEOMI [26]人工合成一个中等规模的多变元网络(516节点、773条边),结果如图16所示.
Fig.16 Performance comparison of Elamer and Doantam’s algorithm
图16 Elamer 算法与Doantam’s 算法的性能比较
从图中我们发现,两种算法对于小型网络运行效率较好,对中型网络的运行时间尚处于用户能够承受的范围.但随着网络规模的逐渐增大,Doantam’s 算法所需时间大幅度上升,Elamer 算法的效率优势逐渐显现,其性能与网络整体规模之间大体呈现线性关系.我们还注意到,相比同等节点的一般多变元网络图,对于high-tech managers advice network 这类近“完全图”(每两节点间必有边连接),两种算法的时间效率大幅下降,说明多变元网络边数量对他们性能的影响都比较大.这是因为网络边数量大幅增加,会促使Doantam’s 算法出现更多“源点”,也会提高Elamer 算法计算节点簇间(内)度的复杂度,这与本文对二者时间复杂度的理论分析是一致的. 16/38 21/145 190/312 516/773 1870/2240
Multivariate network (node/edge)
5000
4500
400035003000250020001500
1000
500
0R e s p o n s e t i m e (m s ) Doantam’s algorithm Elamer
2260 Journal of Software软件学报 V ol.21, No.9, September 2010 4 结论与进一步工作
本文针对现有多变元网络可视化方法的局限性,提出了一种新的多变元网络可视化方法MulNetVisBasc.根据节点的多变元属性,使用ASC方法布局网络节点,以边融合及路由技术为基础,设计了Elamer算法自动有效布局网络边,实现了友好的人机交互界面,以辅助用户进一步对数据进行分析挖掘.实验结果表明, MulNetVisBasc的可视化结果能够在直观揭示数据集多变元分布特性的同时,清晰展现其网络关联特性,有助于发掘多变元网络数据集中潜在的隐性知识,人机交互界面灵活方便,用户满意度较高;Elamer算法能够大幅度减少因边交叉引起的可视混乱,并且与Doantam所使用的边布局算法相比时间复杂度较低,适用于数据量较大的数据集合.
对于MulNetVisBasc方法,以后还需要在网络边多变元特性可视化、Elamer算法的优化(尤其是聚簇包围盒的生成方式及边融合过程中区域划分问题)及进一步完善人机交互界面的等方面进行研究.
致谢非常感谢封孝生副教授在Elamer算法设计与实现过程中给予的指导和帮助,以及Jeffrey Heer副教授在prefuse开发包使用过程中给予的帮助.
References:
[1] Hoffman PE. Table Visualizations: A Formal Model and its Applications. Lowell: University of Massachusetts, 1999.
[2] Inselberg A. The plane with parallel coordinates. The Visual Computer, 1985,1(2):69?91. [doi: 10.1007/BF01898350]
[3] Kandogan E. Visualizing multi-dimensional clusters, trends, and outliers using star coordinates. In: Proc. of the 7th ACM SIGKDD
Int’l Conf. on Knowledge Discovery and Data Mining. New York: ACM Press, 2001. 107?116.
[4] James XZL. Visualization of high-dimensional data with relational perspective map. Information Visualization, 2004,3:49?59. [doi:
10.1057/palgrave.ivs.9500051]
[5] S hao C, Huang HK, Zhao LW. A more topologically stable ISOMAP algorithm. Journal of Software, 2007,18(4):869?877 (in
Chinese with English abstract). https://www.wendangku.net/doc/22804791.html,/1000-9825/18/869.htm [doi: 10/1360/jos180869]
[6] Kozo S, Shojiro T, Mitsuhiko T. Methods for visual understanding of hierarchical system structures. IEEE Trans. on Systems, Man
and Cybernetics, 1981,11(2):109?125. [doi: 10.1109/TSMC.1981.4308636]
[7] Peter E. A heuristic for graph drawing. Congressus Numerantium, 1984,42:149?160.
[8] Herman I, Melancon G, Marshall MS. Graph visualization and navigation in information visualization: A survey. IEEE Trans. on
Visualization and Computer Graphics, 2000,6(1):24?43. [doi: 10.1109/2945.841119]
[9] Wong PC, Bergeron RD. 30 years of multidimensional multivariate visualization. In: Proc. of the Scientific Visualization,
Overviews, Methodologies, and Techniques. Washington: IEEE Computer Society, 1997. 3?33.
[10] Becker RA, Eick SG, Wilks AR. Visualizing network data. IEEE Trans. on Visualization and Computer Graphics, 1995,1:16?28.
[doi: 10.1109/2945.468391]
[11] Stephen GE, Graham JW. Navigating large networks with hierarchies. In: Proc. of the 4th Conf. on Visualization’93. Washington:
IEEE Computer Society, 1993. 204?209.
[12] Xu K, Cunningham A, Hong SH, Thomas BH. GraphScape: Integrated multivariate network visualization. In: Proc. of the Asia-
Pacific Symp. on Visualization. Los Alamitos: IEEE Computer Society, 2007. 33?40.
[13] Wu YX, Takatsuka M. Visualizing multivariate network on the surface of a sphere. In: Proc. of the Asia-Pacific Symp. on
Information Visualization. Los Alamitos: IEEE Computer Society, 2006. 77?83.
[14] Wu YX, Takatsuka M. Visualizing multivariate networks: A hybrid approach. In: Proc. of the IEEE Pacific Visualization Symp.
Los Alamitos: IEEE Computer Society, 2008. 223?230.
[15] Sun Y, Tang JY, Tang DQ, Xiao WD. An improved multivariate data visualization method. Journal of Software, 2010,21(6):
1462?1472 (in Chinese with English abstract). https://www.wendangku.net/doc/22804791.html,/1000-9825/21/1462.htm [doi: 10.3724/SP.J.1001.2010.01462] [16] Card S, Mackinlay J, Shneiderman B. Readings in Information Visualization: Using Vision to Think. San Fransisco: Morgan
Kaufmann Publishers, 1999.
孙扬等:一种多变元网络可视化方法2261
[17] Sindre G, Gulla B, Jokstad H. Onion graphs: Aesthetic and layout. In: Proc. of the IEEE Symp. on Visual Languages. Washington:
IEEE Computer Society, 1993. 287?291.
[18] Purchase H. Which aesthetic has the greatest effect on human understanding? In: Proc. of the 5th Int’l Symp. on Graph Drawing.
Springer-Verlag, 1997. 248?261.
[19] Garey MR, Johnson DS. Crossing number is NP-complete. SIAM Journal on Algebraic and Discrete Methods, 1983,4(3):312?316.
[doi: 10.1137/0604033]
[20] Hussien B, Sridhar B. A robust line extraction and matching algorithm. SPIE Intelligent Robots and Computer Vision XII, 1993,
2055:369?380.
[21] David PD, Emden RG, Eleftherios K, North SC. Implementing a general-purpose edge router. In: Proc. of the 5th Int’l Symp. on
Graph Drawing. Springer-Verlag, 1997. 262?271.
[22] Doantam P, Ling X, Ron Y, Pat H, Terry W. Flow map layout. In: Proc. of the IEEE Symp. on Information Visualization.
Washington: IEEE Computer Society, 2005. 219?224.
[23] Heer J, Card SK, Landay JA. Prefuse: A toolkit for interactive information visualization. In: Proc. of the CHI 2005. New York:
ACM Press, 2005. 421?430.
[24] Wasserman S, Faust K. Social Network Analysis: Methods and Applications. Cambridge University Press, 1994.
[25] Jeong H, Mason SP, Barabasi AL, Oltvai ZN. Lethality and centrality in protein networks. Nature, 2001,411:41. [doi:
10.1038/35075138]
[26] Ahmed A, Dwyer T, Forster M, Fu XY, Ho J, Hong SH, Koschutzki D, Murray C, Nikolov NS, Taib R, Tarassov A, Xu K. GEOMI:
Geometry for maximum insight. In: Proc. of the 13th Int’l Symp. on Graph Drawing. Springer-Verlag, 2005. 468?479.
附中文参考文献:
[5] 邵超,黄厚宽,赵连伟.一种更具拓扑稳定性的ISOMAP算法.软件学报,2007,18(4):869?877. https://www.wendangku.net/doc/22804791.html,/1000-9825/18/
869.htm [doi: 10/1360/jos180869]
[15] 孙扬,唐九阳,汤大权,肖卫东.改进的多变元数据可视化方法.软件学报,2010,21(6):1462?1472. https://www.wendangku.net/doc/22804791.html,/1000-9825/
21/1462.htm [doi: 10.3724/SP.J.1001.2010.01462]
孙扬(1983－),男,山东济南人,博士生,主要研究领域为信息可视化,人机交互技术.
汤大权(1971－),男,博士,教授,主要研究领域为信息资源管理,信息可视化
.
赵翔(1986－),男,博士生,主要研究领域为
网络数据管理.
肖卫东(1968－),男,博士,教授,博士生导
师,主要研究领域为信息管理,信息可
视化.
唐九阳(1978－),男,博士,副教授,主要研
究领域为对等网,知识管理.
IDC运维可视化
IDC运维可视化 近两年，互联网相关产业发展非常迅速，互联网业务发展也是非常快。业务的增长也对数据中心IT设备需求量也急剧增加。 数据中心的运维和设备的运维是一件非常烦琐的事情，需要工程师进行大量手工工作。在快速扩张的过程中也遇到了诸多问题，我们在这方面做了很多的努力，本文将会就这一主题与大家分享的一些经验。 业务近几年发展迅猛，四年前的设备量、IT设施相关设备不多，直到四年前在移动端、方案端开始发力，业务拓展非常迅速，对设备增加的需求也日趋迫切。现在整个的设备规模是以万来统计。 设备增加，数据中心Rack的需求势必增加。的Rack已经达到以千来统计的规模。对于IDC 来说，机会的增加不可能把所有的业务放在同一个IDC，的IDC从最初的一个主要数据中心，迅速增加到两个、三个，我们数据中心之间也进行了这样的一个互联。 的IDC建设经历了一下几个阶段： 第一阶段：自建IDC为主。 从2000年开始，自建IDC，但自建IDC存在不少问题：
?投入大、建设周期长：因为要拿IDC、要审批，要申请电力资源，因为IDC是一个高耗电项目。然后再建楼，建设备…,一般来说，一个IDC的建设周期需要2—3年，这还是速度比较快的，有的需要五、六年。 ?可扩展能力受限制：IDC建设初期的需求是预估的，随着业务的扩展，对IDC的规模要求也就逐渐增加，需要进行弹性扩展。 第二阶段：自建自有+ 供应商IDC 现代互联网要行业要求轻资产，花重资建IDC已经不适应市场规律，所以在业务快速发展过程中，在自建自有IDC的同时，也向供应商或者是运营商借用他们已经建好的数据中心。 但租用IDC存在各种不同于自建IDC的管理差异： 机房情况不能及时获取,包括机房的一些UTS的监控，温度、湿度的监控都在g供应商的管理之下。而且一般运营商监控的系统是不对外开放和对接的。 监控粒度粗，供应商的监控相对来说粗一些。他们只对某一个通道和角度，或者是某一个机柜、机组传感器进行监管。 响应实效差，当出现故障和问题时，响应速度慢，他对你设备不了解，你对他环境不了解等，在协作方面也会有信息的不通畅。 我们在做数据中心时遇到的这些问题需要解决，但我们不能通过无限制的增加人力来应对数据中心快速扩张，运维人员做的事情太基础对运维的效率、对运维工程师的发展都存在很大的弊端。 如何以有限的人力资源去应对快速增长的数据中心的运维？
VMware服务器虚拟化解决方案(详细)
虚拟化解决方案
目录 一、VMware解决方案概述........................ 错误!未定义书签。 1.1 VMware服务器整合解决方案......................................................................... 错误!未定义书签。 1.2 VMware商业连续性解决方案......................................................................... 错误!未定义书签。 1.3 VMware测试和开发解决方案......................................................................... 错误!未定义书签。 二、VMware虚拟化实施方案设计.................. 错误!未定义书签。 2.1 需求分析 ......................................................................................................... 错误!未定义书签。 2.2 方案拓扑图 ..................................................................................................... 错误!未定义书签。 2.3 方案构成部分详细说明 ................................................................................. 错误!未定义书签。 2.3.1 软件需求.............................................................................................. 错误!未定义书签。 2.3.2 硬件需求.............................................................................................. 错误!未定义书签。 2.4 方案结构描述 ................................................................................................. 错误!未定义书签。 2.4.1 基础架构服务层.................................................................................. 错误!未定义书签。 2.4.2 应用程序服务层.................................................................................. 错误!未定义书签。 2.4.3 虚拟应用程序层.................................................................................. 错误!未定义书签。 2.4.4 VMware异地容灾技术......................................................................... 错误!未定义书签。 2.5 方案带来的好处 ............................................................................................. 错误!未定义书签。 2.5.1 大大降低TCO....................................................................................... 错误!未定义书签。 2.5.2 提高运营效率...................................................................................... 错误!未定义书签。 2.5.3 提高服务水平...................................................................................... 错误!未定义书签。 2.5.4 旧硬件和操作系统的投资保护.......................................................... 错误!未定义书签。 2.6 与同类产品的比较 ......................................................................................... 错误!未定义书签。 2.6.1 效率 ..................................................................................................... 错误!未定义书签。 2.6.2 控制 ..................................................................................................... 错误!未定义书签。 2.6.3 选择 ..................................................................................................... 错误!未定义书签。 三、VMware 虚拟化桌面应用实列 ................. 错误!未定义书签。 3.1 拓扑图 ............................................................................................................. 错误!未定义书签。 3.2 方案描述 ......................................................................................................... 错误!未定义书签。 3.3 方案效果 ......................................................................................................... 错误!未定义书签。 四、项目预算.................................. 错误!未定义书签。
网络摄像机传输组网方案大全
网络摄像机传输组网方案大全 最简单的点对点应用，远端一台IPC,局端直接接NVR 监挥中心远端机有2个IPC,但局端不必出2个网口，只用一个接NVR即可 远端机有4个IPC,但局端不必出2个网口，只用一个接NVR即可 TW-IPVOI 1 Jtl 电 T^-IPY01 ■ 1电 监授中心IPGI 10DM TW-IPVOI 1光1电 IPC5 T W-IFV02 ［光2 申 IPC1 IPC4 前鶴监樓中心
监控申心 远端机有8个IPC,但局端不必出2个网口，只用一个接 NVR 即可 IPC1 JPC2 10OM \ \ IPG3 ? ■- ■，- — IPC6 .' TW-IPVOB IPC5 iJtafe ? I ?1 IPC7 IPC8 I O&M TW-IPVD1 丨光I 电
IPC1 X IPC6 \ TW-IPVO1/G 1 光1电 I PC I ■=IPC24 曲檸中心甚至远端机有24个IPC,但局端只用一个网口接NVR即可，当然要用千兆了
15 OP8G 是千兆的局端机，可以联接 8个远端的光纤远端机（千兆），每个远端机可 以接1到8个甚至更多IPC. OP8G 是千兆的局端机，可以直接联接 8个远端带光纤口的IP 摄像机 N7R 喘1电 1光4 电 IPS IPG5 IPCB IPC7 v 'StfF 1 TW-IPVOB 1 光B 电 10Q/1000L1 I -Litk-ORaG 8光诚 ipce MVR T-Unk-OPfiG fiitt 电 100 100CM 监控中心 IPC6 IFC7 TC2 rc^ rcj ItMJVl
网络安全数据可视化综述
网络安全数据可视化综述 摘要：在经济迅猛发展的推动下，计算机作为重要的传播媒介进入人们的生活，网络成为获取信息、进行交流、计算研发的主要工具，与此同时网络安全问题日 益突出，如何将网络安全隐患尽可能的降低，塑造安全的网络环境成为当下信息 技术的重大难题。本文将站在信息安全数据可视化的角度进行分析，试图找到其 未来的发展方向。 关键词：网络安全；数据安全；可视化；发展 现代社会已经进入到信息化时代，网络的应用越来越广泛，分布在人们生活 的各个领域，给人们生活带来了很大便利，但是，网络安全问题也对个人信息保 密造成极大威胁，提高网络安全是一项十分重要工作。网络安全数据可视化通过 视觉处理，来将网络异常情况向用户进行反馈，是一种网络安全保障的有力措施，加强对网络安全数据可视化的研究，有着重要现实意义。 一、网络安全数据可视化概述 网络安全数据可视化是通过综合网络安全态势、可视化技术，来将与网络安 全的相关数据以直观、形象的方式直接呈现给用户，使用户及时了解网络安全存 在的隐患，从而提高网络环境的可靠性、安全性。 在网络安全数据可视化中，最常见的是日志数据可视化，但由于日志数据需 要较长时间完成上传，实时性较差；加上日志数据在检测时可能被改变，其可信 度无法完全保障；此外，管理部门IDS传感器报警数量十分庞大，许多日志数据 报警问题无法及时有效分析、处理，降低日志数据的可靠性[1]。 综上，日志数据可视化本身存在种种限制，难以满足现阶段网络安全的需求；对于此种情况，以数据流为基础，进行网络可视化，通过实时监控网络流量，是 网络数据可视化的一种有效途径。 二、网络安全数据存在的问题 2.1网络数据面临的安全问题 由于国家经济的发展，促进着网络技术的开发，我国目前也进入到在网络技 术发展的潮流之。但是随着在网络技术的日益发展，其漏洞也日益地暴露出来， 容易引发一系列的安全问题，其中主要的安全问题包括在网络技术规模的扩大、 网络信息数据的稳定、网络数据的传送以及相关业务的不断发展以及来自网络外 界的安全威胁。网络规模的扩大就是指对网络的使用范围的扩大，相关的设备信 息跟不上发展的需求，导致其相关设备的发展出现停滞，并将给网络设备安全管 理工作带来一定的阻碍作用。 网络信息数据的稳定，指的就是网络信息在传递的过程中具有保密性，保证 数据传输的安全，防止数据的泄露。来自外界的网络危险，这些威胁包括很多方面，包括网络病毒的传播以及网络存在的相关漏洞导致黑客入侵等方面，这些来 自与外界的网络安全危害会对在网络技术使用者造成威胁等等，这些问题的存在 将严重的制约着在网络技术安全的发展。 2.2在网络日志中发现的问题 目前网络发展中的网络数据之间流通性较差，只有实现各项网上设备之间的 流通才能顺利地进行数据的传送工作，现阶段数据设备不能根据提供的数据，进 行识别，导致不能选择数据的正确分析方式，与此同时还不具备提供筛选数据和 处理数据细节的功能，这些存在于网络日志中的问题，会在一定程度上降低相关 人员工作的效率。现阶段网络日志中还存在着数据信息单一的现象，设备在识别
基础架构及服务器虚拟化解决方案
网络基础架构及数据中心规划方案 2016年11月
目录 一．网络建设需求 (3) 1.1 目标架构： (3) 1.2设计目标： (3) 二. 规划方案 (4) 2.1 方案拓扑 (4) 2.2 架构说明 (5) 2.3 为什么选用Vmware虚拟化技术（整个方案的重点） (6) 2.4 VMware方案结构 (7) 2.4.1 基础架构服务层 (7) 2.4.2 应用程序服务层 (9) 2.4.3 虚拟应用程序层 (14) 2.4.4 数据备份 (15) 2.4.5 具体方案陈述 (20) 2.5 VMWARE方案带来的好处 (21) 2.5.1 大大降低TCO (21) 2.5.2 提高运营效率 (23) 2.5.3 提高服务水平 (24) 三. 项目预算 (24) 总述
为推进公司信息化建设，以信息化推动公司业务工作改革与发展，需要在集团总部建设新一代的绿色高效能数据中心网络。 一．网络建设需求 1.1 目标架构： 传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。最终形成底层资源对于上层应用就象由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现。 1.2设计目标： 扩展性： 架构设计能应对集团未来几年的发展以及满足整合分公司资源的需要； 简化管理 使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。 高效复用 得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。即能够实现总硬件资源占用降低了，而每个业务得到的服务反而更有充分的资源保证了。 网络安全：
IP摄像机的解决方案
IP摄像机的解决方案 【】目前安防行业对于IP 摄像机的关注程度越来越高，各种解决方案陆续 推出，在某些应用场合，比如机场、车站等场所已开始采用IP 摄像机产品，IP 摄像机作为模拟摄像机的更新换代产品，必将在各个行业的安防应用中得到普及。 IP 摄像机的解决方案，需要采用高度集成的专用视频处理芯片，需要集 成CCD 接口、图像处理单元、视频编码单元、通用处理器单元、网络接口等外设模块，在此基础上运行IP 摄像机图像处理、编码、智能分析、应用层软件及 实时操作系统，在平台级软件上，要实现视频分发、存储、备份、检索、设备 定位、系统管理等功能，既要求主芯片具有强大的处理性能、齐全的外部接口，又要求高度的集成和低功耗、低成本，对于开发厂商的综合开发实力要求很高，普通的摄像机厂商和系统开发商难以承受。 海康威视近期推出了IP 模块产品，采用了Ti 最新推出的Davinci 处理器，该处理器是Ti 公司专门为网络视频开发的专用芯片，高度集成了300MHz 的ARM9 处理器、600MHz 的C64X +的DSP 处理器及图像辅助处理模块和丰富的外部设备，运行Linux 操作系统，特别适合IP 摄像机的产品定位，海康威视在 此基础上，成功开发出了IP 模块产品，可面向广大的摄像机厂商、系统开发商 做二次开发。 海康威视的IP 模块，并非完整的IP 摄像机，而是IP 摄像机中的数字视 频处理模块，它既可以连接传统的模拟摄像机，也可以连接CCD 和CMOS 传 感器，除了具备编码标准版本的H.264Mainprofile，还可以增加大量与应用相关的图像处理、智能识别模块，可以实现宽动态的图像处理技术、背景光补偿、
数据中心信息安全解决方案模板
数据中心信息安全 解决方案
数据中心解决方案 （安全）
目录 第一章信息安全保障系统...................................... 错误!未定义书签。 1.1 系统概述 .................................................... 错误!未定义书签。 1.2 安全标准 .................................................... 错误!未定义书签。 1.3 系统架构 .................................................... 错误!未定义书签。 1.4 系统详细设计 ............................................ 错误!未定义书签。 1.4.1 计算环境安全 ...................................... 错误!未定义书签。 1.4.2 区域边界安全 ...................................... 错误!未定义书签。 1.4.3 通信网络安全 ...................................... 错误!未定义书签。 1.4.4 管理中心安全 ...................................... 错误!未定义书签。 1.5 安全设备及系统......................................... 错误!未定义书签。 1.5.1 VPN加密系统 ...................................... 错误!未定义书签。 1.5.2 入侵防御系统 ...................................... 错误!未定义书签。 1.5.3 防火墙系统 .......................................... 错误!未定义书签。 1.5.4 安全审计系统 ...................................... 错误!未定义书签。 1.5.5 漏洞扫描系统 ...................................... 错误!未定义书签。 1.5.6 网络防病毒系统 .................................. 错误!未定义书签。 1.5.7 PKI/CA身份认证平台 .......................... 错误!未定义书签。 1.5.8 接入认证系统 ...................................... 错误!未定义书签。
基于多元异构网络安全数据可视化融合分析方法_张胜
收稿日期：2014-12-05；修回日期：2015-01-12。 基金项目：国家自然科学基金资助项目（61402540）。作者简介：张胜（1975－），男，湖南株洲人，博士研究生，CCF 会员，主要研究方向：网络信息安全、计算机支持的协作学习、网络软件；施荣 华（1963－），男，湖南长沙人，教授，博士，主要研究方向：计算机通信保密、网络信息安全；赵颖（1980－），男，湖南长沙人，讲师，博士，主要研究方向：信息可视化、可视分析。 文章编号：1001-9081（2015）05-1379-06 doi ：10．11772/j．issn．1001-9081．2015．05．1379 基于多元异构网络安全数据可视化融合分析方法 张 胜 1，2* ，施荣华1，赵 颖 1 (1．中南大学信息科学与工程学院，长沙410083;2．湖南商学院现代教育技术中心，长沙410205) (*通信作者电子邮箱48209088@qq．com) 摘要：随着现代网络安全设备日益丰富，安全日志呈现多元异构趋势。针对日志数据量大、类型丰富、 变化快等特点，提出了利用可视化方法来融合网络安全日志，感知网络安全态势。首先，选取了异构安全日志中有代表性的8个维度，分别采用信息熵、加权法、统计法等不同算法进行特征提取；然后，引入树图和符号标志从微观上挖掘网络安全细节，引入时间序列图从宏观展示网络运行趋势；最后，系统归纳图像特征，直观分析攻击模式。通过对VAST Challenge 2013竞赛数据进行分析，实验结果表明，该方法在帮助网络分析人员感知网络安全态势、识别异常、发现攻击模式、去除误报等方面有较大的优势。 关键词：网络安全可视化；多元异构数据；特征提取；树图和符号标志；时间序列图 中图分类号：TP391文献标志码：A Visual fusion and analysis for multivariate heterogeneous network security data ZHANG Sheng 1，2* ，SHI Ｒonghua 1，ZHAO Ying 1 (1．School of Information Science and Engineering，Central South University，Changsha Hunan 410083，China ; 2．Modern Educational Technology Center，Hunan University of Commerce，Changsha Hunan 410205，China ) Abstract:With the growing richness of modern network security devices，network security logs show a trend of multiple heterogeneity．In order to solve the problem of large-scale，heterogeneous，rapid changing network logs，a visual method was proposed for fusing network security logs and understanding network security situation．Firstly，according to the eight selected characteristics of heterogeneous security logs，information entropy，weighted method and statistical method were used respectively to pre-process network characteristics．Secondly，treemap and glyph were used to dig into the security details from micro level，and time-series chart was used to show the development trend of the network from macro level．Finally，the system also created graphical features to visually analyze network attack patterns．By analyzing network security datasets from VAST Challenge 2013，the experimental results show substantial advantages of this proposal in understanding network security situation，identifying anomalies，discovering attack patterns and removing false positives，etc． Key words:network security visualization;multiple heterogeneous data;feature extraction;treemap and glyph;time-series chart 0引言 近年来， 随着计算机网络规模不断扩大、信息高速公路不断提速以及网络应用的不断增加，网络安全面临着越来越严峻的考验。特别是进入“大数据”时代以来，网络攻击呈现出 大数据的“3V ”特征，即攻击规模越来越大（Volume ），如分布式拒绝服务（Distributed Denial of Service ，DDoS ）攻击，常常 可以发动成千上万的设备同时攻击一台主机；攻击类型越来越多（Variety ），新的攻击模式和病毒木马的变种叫人防不胜防；攻击变化越来越快（Velocity ），如一次有预谋的网络攻击往往包含多个步骤和多种应变的方案。 为了保证网络安全需求，技术人员开发出各种网络安全设备，如：流量监控系统、防火墙系统（Firewall ）、入侵防御系 统（Intrusion Detection System ， IDS ）和主机状态监控系统等。这些设备运行过程中都会产生海量的日志文件，因为来自不 同的传感器，所以格式、指标等各不相同，记录着各自应用领域发生的安全事件，如果割裂看待每种设备的安全事件，只能发现片面的、零散的安全问题，如何在大数据时代有效管理和动态监控网络，从海量的、异构的、快速变化的网络安全日志中全面发现问题，感知网络态势是当今网络安全的重要研究课题。 1网络安全可视化与多元融合系统 网络安全可视化分析技术是一个新兴多学科融合的研究 领域，它利用人类视觉对模型和结构的获取能力，将抽象的网络和海量高维数据以图形图像的方式展现出来，从而快速地发现网络安全数据中隐含的规律、模式以及发展趋势，帮助分析人员提高认知，把握、预测和解决网络安全问题的能力。 自从2004年召开网络安全可视化国际会议（Visualization for Cyber Security ）以来，越来越多的可视化工具涌现出来［1］ ， Journal of Computer Applications 计算机应用，2015，35(5):1379－1384，1416ISSN 1001-9081CODEN JYIIDU 2015-05-10 http://www．joca．cn
应用虚拟化解决方案
应用虚拟化解决方案 篇一：XXXX应用虚拟化解决方案 XXXX 统一接入平台项目 解决方案建议书 XX/9/21 第1章 第2章 第3章 概述................................................. ................................................... ..... 4 项目背景和目的................................................. .................................... 4 项目需求................................................. (5) 功能需求................................................. (5) 技术需
求................................................. (5) 实施要求................................................. (6) 其他要求................................................. (7) 解决方案及对应项目需求的实现................................................. ........ 8 对应功能需求的实现................................................. .......................... 10 集中管理 ................................................ .............................................. 10 应用发布 ................................................ .............................................. 10 存储隔离 ................................................ .. (11)
D-LINK网络摄像机解决方案
D-LINK网络摄像机 工厂类解决方案 1.1数字网络闭路电视监控系统 制造业目前的需求 2．2．1．1制造业的运营模式 台商的IT产业创造了许多世界知名的公司及庞大的产业链, 其产品销卖全世界,顺应近年来中国大陆成为世界工厂, 台商制造业的运营布局有以下特点: ?运营总部位于台湾 ?中国为主要生产制造基地 ?内地其它城市有卫星厂,办事处, 营销据点 ?产品由大陆出口营销全世界 ?其它国家亦设有分公司 针对此种特色, 运营总部及分公司的IT,网络及监控需求须考虑到下列应用特点. ◆建设专属VPN网络 ◆运营数据实时汇总 ◆仓管讯息实时更新
◆公司动态实时披露 ◆生产线,仓储实时监控 D-Link的监控系统充分考虑制造业的特殊需求,可满足底下所述制造业的行业特殊监控需求. 2．2．1．2全球监控架构,层次式系统 针对此种模式的运营结构, 在监控上首要支持各据点的独立运作监控, 且要能按需扩充以节省成本, 并须能因应未来全球监控的统筹管理平台, 所有的一切皆可透过公司内部局域网或互联网达成. 此部份的监控应用平台须确实在市场经过实际使用验证, 此种分布式层次系统非目前采用模拟方式或DVR等系统所能达成, 必须要有大型监控软件开发能力才能支撑此种高可靠度的平台. D-Link的监控平台系统已实际应用于中国大陆多家电信运营商, 并投入正式商用运营, 其可靠性及稳定度通过电信单位的严格考验, 故D-Link的监控平台能满足制造业独立据点及全球统筹管理监控的双重应用需求. ?总部与地区分部皆同时执行监控 ?总部可依需求监控某些指定厂区及位置 ?可随时弹性动态调整 ?可执行本地及远程同步录存至硬盘 ?适合多层级组织架构
数据中心、网络安全
一、数据中心的作用： 用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。 二、数据中心的组成 1、基础环境： 主要指数据中心机房及建筑物布线等设施，包括电力、制冷、消防、门禁、监控、装修等； 2、硬件设备： 主要包括核心网络设备（华为、新华三（H3C）、锐捷网络、D-Link）、 网络安全设备包含防火墙、utm、vpn、防毒邮件过滤、IPS防入侵系统物理安全隔离、监管（华为、深信服、新华三、360、天融信、启明星辰） 服务器(戴尔、联想、华为) 存储（惠普、希捷、联想、群辉） 灾备设备、机柜及配套设施； 3、基础软件： 服务器操作系统软件、虚拟化软件、IaaS服务管理软件、数据库软件、防病毒软件等；4、应用支撑平台： 一般来讲是具有行业特点的统一软件平台，整合异构系统，互通数据资源；剩下的是具体应用软件了，多数应该做成与硬件无关的。最最重要的是，光靠软件硬件的罗列是无法构成一个好的数据中心，关键是如何设计、如何 三、网络安全的作用 网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断 四、网络安全的组成 1、防火墙： 防火墙是位于内部网和外部网之间的屏障，它按照系统管理员预先定义好的规则来控制数据包的进出。 2、IPS(防入侵系统) 监视网络或网络设备的网络资料传输行为的计算机网络安全设备，能够即时的中断、调整或隔离一些不正常或是具有伤害性的网络资料传输行为。 3、防毒墙 查杀病毒保护网络安全 4、抗DDOS 主机特定漏洞的利用攻击导致网络栈失效、系统崩溃、主机死机而无法提供正常的网络服务功能，从而造成拒绝服务 5、堡垒机 保障网络和数据不受来自外部和内部用户的入侵和破坏，而运用各种技术手段实时收集和监控网络环境中每一个组成部分的系统状态、安全事件、网络活动，以便集中报警、及时处理及审计定责。 6、WAF网络防火墙 Web应用防护系统（也称为：网站应用级入侵防御系统 7、网闸 安全隔离网闸是一种由带有多种控制功能专用硬件在电路上切断网络之间的链路层连接，并能够在网络间进行安全适度的应用数据交换的网络安全设备。
基于大数据的网络安全分析
基于大数据的网络安全分析 作者：蓝盾研发中心-刘峰 今年接手SOC产品研发，产品经理一直强调核心是事件关联分析，数据大集中后挖掘各种安全隐患，实时性关联分析以及识别或预防各种未知的攻击是技术难点。了解了一下，SOC已进入3.0时代，随着大数据技术的成熟，各个竞争对手都引入大数据平台解决先前无法解决的各种技术问题，比如大数据量存储、实时在线分析，以及各种机器挖掘技术，虽然有技术难度，但比较好的是大数据技术最近才成熟流行起来，大型的互联网公司和运营商虽然已掌握，但大部分公司和产品还未采用或者正在研发，大家基本上都在同一个起跑线上，由于大数据必须与业务紧密结合才能发挥价值，对我们来说是一个机会，正好赶上。 当前的挑战 当前网络与信息安全领域，正面临着全新的挑战。一方面，伴随大数据和云计算时代的到来，安全问题正在变成一个大数据问题，企业和组织的网络及信息系统每天都在产生大量的安全数据，并且产生的速度越来越快。另一方面，国家、企业和组织所面对的网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。 面对这些新挑战，现有安全管理平台的局限性显露无遗，主要体现在以下三个方面 1.数据处理能力有限，缺乏有效的架构支撑：当前分析工具在小数据量时有效，在大数据 量时难以为继，海量异构高维数据的融合、存储和管理遇到困难；安全设备和网络应用产生的安全事件数量巨大，IDS误报严重，一台IDS系统，一天产生的安全事件数量成千上万，通常99%的安全事件属于误报，而少量真正存在威胁的安全事件淹没在误报信息中，难以识别； 2.威胁识别能力有限，缺乏安全智能：安全分析以基于规则的关联分析为主，只能识别已 知并且已描述的攻击，难以识别复杂的攻击，无法识别未知的攻击；安全事件之间存在横向和纵向方面（如不同空间来源、时间序列等）的关系未能得到综合分析，因此漏报严重，不能实时预测。一个攻击活动之后常常接着另外一个攻击活动，前一个攻击活动
华为交换机虚拟化解决方案
华为交换机虚拟化（CSS) 解决方案 陕西西华科创软件技术有限公司 2016年4月1
目录 一、概述 (3) 二、当前网络架构的问题 (3) 三、虚拟化的优点 (4) 四、组建方式 (5) 三、集群卡方式集群线缆的连接 (5) 四、业务口方式的线缆连接 (6) 五、集群建立 (7) 1. 集群的管理和维护 (8) 2. 配置文件的备份与恢复 (8) 3. 单框配置继承的说明 (8) 4. 集群分裂 (8) 5. 双主检测 (9) 六、产品介绍 (10) 1.产品型号和外观： (14) 2.解决方案应用 (20)
一、概述 介绍 虚拟化技术是当前企业IT技术领域的关注焦点，采用虚拟化来优化IT架构，提升IT 系统运行效率是当前技术发展的方向。 对于服务器或应用的虚拟化架构，IT行业相对比较熟悉：在服务器上采用虚拟化软件运行多台虚拟机(VM---Virtual Machine)，以提升物理资源利用效率，可视为1:N的虚拟化；另一方面，将多台物理服务器整合起来，对外提供更为强大的处理性能(如负载均衡集群)，可视为N:1的虚拟化。 对于基础网络来说，虚拟化技术也有相同的体现：在一套物理网络上采用VPN或VRF 技术划分出多个相互隔离的逻辑网络，是1:N的虚拟化；将多个物理网络设备整合成一台逻辑设备，简化网络架构，是N:1虚拟化。华为虚拟化技术CSS属于N:1整合型虚拟化技术范畴。CSS是Cluster Switch System的简称，又被称为集群交换机系统（简称为CSS），是将2台交换机通过特定的集群线缆链接起来，对外呈现为一台逻辑交换机，用以提升网络的可靠性及转发能力。 二、当前网络架构的问题 网络是支撑企业IT正常运营和发展的基础动脉，因此网络的正常运行对企业提供上层业务持续性访问至关重要。在传统网络规划与设计中，为保证网络的可靠性、故障自愈性，均需要考虑各种冗余设计，如网络冗余节点、冗余链路等。 图1 传统冗余网络架构 为解决冗余网络设计中的环路问题，在网络规划与部署中需提供复杂的协议组合设计，如生成树协议STP(Spanning Tree Protocol)与第一跳冗余网关协议(FHGR: First Hop Redundant Gateway ，VRRP)的配合，图1所示。 此种网络方案基于标准化技术实现，应用非常广泛，但是由于网络发生故障时环路状态难以控制和定位，同时如果配置不当易引起广播风暴影响整个网络业务。而且，随着IT规模扩展，网络架构越来越复杂，不仅难于支撑上层应用的长远发展，同时带来网络运维过程中更多的问题，导致基础网络难以持续升级的尴尬局面。
网络摄像机工程方案
网络摄像机工程方案-酒店监控 一，前言 随着城市（镇）生活节奏逐渐变快，功能齐全、货源完备的大型酒店逐渐取代了传统的酒店＆旅馆，走入都市人的生活，成为城市（镇）人消费的重要场所。要在激烈的竞争中取得胜利，已经不能只靠简单的价格战，这只会让商家两败俱伤；只有从降低营销成本、打出品牌，树立良好形象出发，为顾客创造一个安全、舒适、轻松、货源齐备的休闲环境，才有可能取得好的业绩。由此，酒店必须配以一整套完备的网络监控系统，解决酒店运营中的安全隐患、控制管理等问题。目前数字网络监控系统已在银行、博物馆、政府机构、商店和居民社区等得到广泛应用。 目前，在我国各行业中广泛使用的网络监控系统大多为模拟方式，其主要特点是：系统采用矩阵主机控制，通过网络墙监视前端目标，采用长延时模拟录像机进行录像和回放；其主要缺点：当录像资料需要长时间备份时，需要大量的录像磁带，消耗大量的人力和物力，并且在录像回放检索时操作不方便。因此，基于数字存储技术的网络数字视频监控系统经过几年的发展，至今，技术已经完全成熟，很好地解决了传统图像存储及回放等技术难题。 网络摄像机系统不仅存储费用低、效率高，而且还具有网络传输、远程传输和循环存储等优点。与此同时，硬盘录像系统的数字化和传输网络化等先进技术可以实现与防盗报警等系统联网联动，及时准确地反馈现场信息，为报警事件提供充分可靠的依据。 二、系统设计目标 在进行网络监控系统设计的时候，依照贵单位对该系统的基本需求，本着架构合理、安全可靠、产品主流、低成本、低维护量作为出发点，并依此为贵单位提供先进、安全、可靠、高效的系统解决方案。 架构合理：就是要采用先进合理的技术来架构系统，使整个系统安全平稳的运行，并具备未来良好的扩展条件。 稳定性和安全性：这是贵单位最关心的问题，只有稳定运行的系统，才能确保贵单位网络监控系统平稳运行。系统的技术先进性是系统高性能的保证和基础，同时可有效地减少使用人员和系统维护人员的麻烦。良好的可扩展性则是为了用户的发展考虑。随着贵单位安防系统应用时间的增长，未来对安防系统的要求
网络安全数据可视化概述
网络安全数据可视化概述 随着网络通信技术的进步，飞速发展的网络应用对网络安全提出了很高的要求.一直以来，各种网络监控设备采集的大量日志数据是人们掌握网络状态和识别网络入侵的主要信息来源.网络安全分析人员在处理网络安全问题时，首先通过分析相应的数据来了解网络状态和发现异常现象，然后对异常事件的特征以及对网络的影响进行综合诊断，最后采取对应的响应措施.然而，随着网络安全需求的不断提升，网络安全分析人员在分析网络安全数据时遇到了很多新的困难：1)异构的数据源和持续增长的数据量给分析人员带来了繁重的认知负担; 2)新攻击类型的出现和攻击复杂度的提高，使得很多传统的数据分析方法不再有效; 3)大量漏报和误报是一些自动化异常检测系统的弊病; 4)侧重于局部异常分析的传统思路，使得分析人员很难掌握宏观网络态势.如何帮助网络安全分析人员更高效地分析网络安全数据，已成为网络安全领域一个十分重要而且迫切的问题. 在解决网络安全问题的过程中，人的认知和判断能力始终处于主导地位，一个能帮助人们更好地分析网络安全数据的实用办法就是将数据以图形图像的方式表现出来，并提供友好的交互手段，建立人与数据之间的图像通信，借助人们的视觉处理能力观察网络安全数据中隐含的信息，以进一步提高分析人员的感知、分析和理解网络安全问题
的能力.因此，许多学者提出将可视化技术引入到网络安全研究领域中来，并逐步形成了网络安全可视化这一新的交叉研究领域. 早在1995年Becker等就提出对网络流量状况进行可视化，之后Girardind等在1998年曾使用多种可视化技术来分析防火墙日志记录.从2004年开始举办的国际网络安全可视化年会[6](visualization for cyber security，VizSec)，标志着该领域的正式建立，并且在2004～2006年集中涌现了一批高质量的研究成果，如图1所示.从2011年开始，国际可视分析挑战赛[7](VAST challenge)连续3年都采用了网络安全数据作为竞赛题目，推动着该领域呈现出一个新研究热潮.国内网络安全可视化的研究起步相对较晚，哈尔滨工程大学、天津大学、北京邮电大学、吉林大学、北京大学和中南大学等研究机构的一些团队已开展了相关研究.经过十多年的发展，在网络安全可视化领域，学者们提出了许多新颖的可视化设计，并开发了诸多实用的交互式可视分析工具，这也为传统的网络安全研究方法和分析人员的工作方式注入了新的活力： 1)分析人员的认知负担得以减轻; 2)异常检测和特征分析变得更为直观; 3)人们可以更自主地探索事件关联和复杂攻击模式，甚至发现新的攻击类型; 4)网络安全态势的察觉和理解效率得以提高. 本文首先介绍网络安全分析人员需要处理的各种网络安全数据源，并重点从网络安全问题和网络安全可视化方法这2个角度，对已有研