云计算的关键技术及标准化

云计算的关键技术及标准化

云计算的关键技术及标准化

1引言云计算并不是一个全新的名称。1961年，图灵奖得主John McCarthy提出计算能力将作为一种象水、电一样的公用事业提供给用户。2001年，Google CEO Eric Schmidt在搜索引擎大会上首次提出“云计算”的概念。2004年，Amazon陆续推出云计算服务，成为少数几个提供99.95％正常运行时间保证的云计算供应商之一。2007年，随着IBM，Google等公司的宣传，云计算概念开始获得全球公众和媒体的广泛关注。云计算目前并没有统一的定义。根据Wikipedia，云计算是

一种基于互联网的计算新方式，通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算。而Berkeley大学则认为云计算是指Internet上以服务发布的应用以及支撑这些服务的数据中心的软件和硬件。笔者则认为，云计算的概念不仅仅局限于计算，实际上直接称为“云”更加合适，云的本质是网络为用户提供的按需即取的服务Service on Demand，包括基于提供计算能力，存储能力，以及网络能力

的各种服务的组合。正是因为服务的按需即取的特性，需要对应于计算能力、存储能力、交付能力的各种计算资源、存储资源，以及网络资源的按需即取的资源池管理和弹性提

供。从业务提供方式上，云可以提供3种业务：IaaS将虚拟化的资源直接按需提供给客户；PaaS在虚拟化的云计算平台上建立支持多种业务的应用平台，再将应用接口和开发环境、运行环境提供给外部；SaaS在虚拟化的云计算平台上提供按需定制和快速部署的应用软件租用服务。目前，业界研究最多的是IaaS和PaaS，本文将针对IaaS （对应基础云）和PaaS（对应业务云）的关键技术，实现方案以及云的标准化进行阐述。2关键技术2.1虚拟化虚拟化是实现云计算的最重要的技术基础，虚拟化技术实现了物理资源的逻辑抽象和统一表示。通过虚拟化技术可以提高资源的利用率，并能够根据用户业务需求的变化，快速、灵活地进行资源部署。2.1.1虚拟化平台架构在

云计算环境中，通过在物理主机中同时运行多个虚拟机实现虚拟化。多个虚拟机运行在虚拟化平台上，由虚拟化平台实现对多个虚拟机操作系统的监视和多个虚拟机对物理资

源的共享。总的来说，我们认为虚拟化平台是三层结构，最下层是虚拟化层，提供基本的虚拟化能力支持；中间层是控制执行层，提供各控制功能的执行能力；最上层是管理层，对执行层进行策略管理、控制，提供对虚拟化平台统一管理的能力。，虚拟化平台

应该包含虚拟机监视器Hypervisor，虚拟资源的管理，虚拟机迁移，故障恢复，策略

管理（如提供虚拟机自动部署和资源调配）等功能实体。各部分具体功能描述如下：

图1虚拟化平台功能结构（1）虚拟机管理：主要保护VM的创建、启动、停止、迁移、恢复和删除等能力，虚拟机映像管理，虚拟机运行环境的自动配置和快速部署启动等能力。虚拟机管理可根据主机节点/虚拟机的CPU，内存，I/O，网络等资源使用情况，自动地在不同主机节点之间迁移VM，使得VM的性能得到保障。也包含主机节点的失效保护，即当一个主机节点失效后，该功能实体能将其上的服务自动转移到其他节点上继续运行。（2）高可用Cluster：用于保证主机节点的失效保护，当一个主机节点失效后，Cluster自动将其上的服务转移到集群中的其他节点上继续运行。该Cluster还可具有负载均衡和存储集群的能力。（3）动态资源调配：虚拟存储、网络创建、配置、修改和删除等能力。当一个VM的内存、外出或网络资源不足时，可临时借用同节点中其他VM暂时不使用的同类资源。（4）动态负载均衡：兼顾能源消耗和工作负载的均衡。根据策略需要，可开启/关闭部分主机节点，并迁移关联的VM。（5）管理工具：包含虚拟化平台需要支持的一套工具，如P2V（Physical to Virtual），V2P（Virtual toPhysical），VA（Virtual Application），JEOS（Just enough Operating System）等。（6）主机安全：用于保证VM运行环境的安全，包含一组软件，如anti-virus，IDS等。2.1.2虚拟化平台部署，在实际部署中，由于Cluster、动态资源分配、主机安全等与Hypervisor 关系密切，可以作为独立的软件部署在主机节点之中。其他功能都可以集成在一起，形成VM管理器。这样进行功能分配后，整个虚拟化平台可以分为两个软件包：一是Hypervisor+Host OS软件包，驻留在主机节点中；二是VM管理器软件包。两者之间的接口将被简化为配置、简单控制、查看和监控几类。图2虚拟化平台系统架构图运行VM的主机利用Cluster功能组成一个高可用的集群

系统，当其中的某个节点失效时，可无需VM管理器的干涉，自动地将失效节点上的服务迁移到其他节点，并为其重新分配存储和网络资源，使得服务不间断。VM管理可部

署在独立的服务器上，由其负责对虚拟化平台的告警、运行状况监控、负载调整等工作。虚拟化平台物理部署。

图3虚拟化平台部署图2.1.3虚拟化平台的优势（1）平台虚拟化实现资源最优利

用。利用虚拟化技术，在一台物理服务器或一套硬件资源上虚拟出多个虚拟机，让不同的应用服务运行在不同的虚拟机上，在不降低系统鲁棒性、安全性和可扩展性的同时，可提高硬件的利用率，减少应用对硬件平台的依赖性，从而使得企业能够削减资金和运

营成本，同时改善IT服务交付，而不用受到有限的操作系统、应用程序和硬件选择范围的制约。（2）利用虚拟机与硬件无关的特性，按需分配资源，实现动态负载均衡。当VM监测到某个计算节点的负载过高时，可以在不中断业务的情况下，将其迁移到其它负载较轻的节点或者在节点内通过重新分配计算资源。同时，执行紧迫计算任务的虚拟机将得到更多的计算资源，保证关键任务的响应能力。（3）平台虚拟化带来系统自愈功

能，提升系统可靠性。系统服务器硬件故障时，可自动重启虚拟机。消除在不同硬件上恢复操作系统和应用程序安装所带来的困难，其中任何物理服务器均可作为虚拟服务器

的恢复目标，进而减少硬件成本和维护成本。（4）提升系统节能减排能力。与服务器管理硬件配合实现智能电源管理；优化虚拟机资源的实际运行位置，达到耗电最小化，从而可为运营商节省大量电力资源，减少供电成本，节能减排。2.2分布式文件系统分布式文件系统是指在文件系统基础上发展而来的云存储分布式文件系统，可用于大规模集群。主要特性包括：（1）高可靠性：云存储系统支持节点间保存多副本功能，以提供数据的可靠性。（2）高访问性能：根据数据重要性和访问频率将数据分级多副本存储，热点数据并行读写，提高访问性能。（3）在线迁移、复制：存储节点支持在线迁移、复制，扩容不影响上层应用。（4）自动负载均衡：可以依据当前系统负荷将原有节点上的数据搬移到新增的节点。特有的分片存储，以块为最小单位来存储，存储和查询时所有存储节点并行计算。（5）元数据与数据分离：采取元数据与数据分离的方式设计分布式文件存储系统。图4为分布式数据库的系统架构。其中：图4分布式数据库架构●FAC：负责向用户提供文件访问接口，安装在服务

器端（提供给应用以文件操作的API接口；实现与FLR和FAS的交互，完成数据的搬迁）。●FAS：负责文件的调度和访问，完成对磁阵的读写操作，对FAC提供数据读写功能，完成数据的分布式存储。●FLR：负责元数据的管理，保存文件和块的命名空间，文件到块的映射，以及每个块副本的位置。2.3分布式数据库分布式数据

库能实现动态负载均衡、故障节点自动接管，具有高可靠性、高性能、高可用、高可扩展性，在处理PetaByte级以上海量结构化数据的业务上具备明显性能优势。图5为分布式数据库的系统架构。其中：图5分布式数据库架构（1）PEC：解析执行服务器（Parsers& Executing Controllers，简称PEC），SQL服务接入点。负责接收客户的SQL请求，并定向到特定的Tablet服务器上进行数据访问。（2）Master：主要负责数据库的元数据管理和调度工作。（3）TabletServer：负责保存数据库的子表。（4）Space：分布式文件系统的锁服务功能。主要保证共享访问时对数据的独占性。2.4中兴通讯CoCloud增值业务云（见图6）图6中兴通讯CoCloud增值业务云基于上述关键技术，中兴通讯的CoCloud增值业务云服务栈提供了IAAS，PAAS，SAAS多层次云服务模式，包括统一开放环境UOE/Mahup PAAS云平台，云存储，多业务云调度，ECP，NGCC，VPBX，应用工厂等多种云服务方案。2.4.1中兴通讯CoCloud增值业务云优势（1）先进的软件自

适应自动部署方式：实时监控各个业务节点的资源情况，根据预先定制的策略，增加或者减少业务节点，可以自动安装、启动、关闭业务软件，做到软件根据业务节点资源状

况自适应部署。（2）灵活高效的业务扩展方式：在已有的云计算平台上通过简单的配置后，就可以为新的业务分配资源，迅速开展新的业务。（3）统一运维管理：基于云计算

平台开展业务后，基于同样的基础架构开展多种业务，目前的运维管理方式需要转变，不再是烟囱式的建设和运维。统一的云管理平台，通过分权分域的方式，让维护人员进

行业务和设备的管理。（4）自动在线升级功能：提供软件版本中心，通过手工或者自动进行业务版本以及虚拟化软件版本的升级。（5）绿色节能：在业务层面做到软件自适应

自动部署，在业务闲时只保留必要的业务节点，减少了虚拟机资源的使用，减少了资源的消耗；在虚拟化层面，通过资源动态均衡方案和绿色节能方案相结合，将虚拟机部署在恰当的物理机上，保留必要的备用物理机之外，将其他的物理机进行节能管理，从而

减少运营商在业务闲时不必要的能源消耗，实现绿色数据中心。（6）多层次容灾：硬件

发生故障时，虚拟机管理中心自动将虚拟机迁移到其他物理机上，做到虚拟层的容灾；虚拟机发生故障不能恢复时，应用软件部署子系统将故障虚拟机资源释放，并重新申请

新的虚拟机来运行故障的业务节点。（7）平滑扩容：采用分层结构，业务层面和虚拟机

层面之间采用松耦合方式，当物理资源不够用时，直接在资源池中增加物理机并安装虚拟软件后即可使用；当业务处理能力不够时，业务层面的自适应自动部署机制会自动增

加节点，达到业务能力的扩容。2.4.2中兴通讯CoCloud增值业务云优化实例以WAP 网关、彩信多业务云调度为例，假设现网WAP网关容量为30000TPS，彩信容量为3000条，独立建设与多业务云计算方案对比。图7独立建设与多业务云方案对比3云计算标准化3.1总体介绍目前，国内外进行云计算技术研究或与云计算技术相关的标准组织约有40个，进行云计算产业活动的行业也有150个之多。图8给出一个目前各主要有关类别和有关标准组织的一个全景视图，标准化组织包括OCCI，OASIS，DMTF，CSA，OMG，SNIA，OGF等。图中显示，目前的云计算标准组织主要是定义专用的API接口。而在未来的云计算应用场景中，

将支持公共、私有和混合云，虽然有关专有接口仍将会被使用，有关的接口和一些内部实现技术，将采用标准化的规范来实现。

图8云计算标准化视图随着云计算的升温，国内外的电信运营商，设备商以及政府机

构也都积极投入云计算的研究，以期通过云计算技术促进网络结构的优化和整合来降低CAPEX和OPEX，并能够寻找到新的盈利机会点和利润增长点，以及实现向信息服务社会的转型。目前，电信网中云计算还没有一个标准的、统一的技术体系结构，如果不同厂家对云计算提供不同的解决方案，则会造成不同厂家设备之间的互联、互通、互操作，硬件转移等方面的问题，将会对云计算的发展构成障碍。因此如何在电信网中构建一个既能支持传统电信网络的能力，又能支持互联互通的通用的云计算平台将是电信网云计算网络架构关注的重点。3.2IETF Clouds Bar BoFIETF在第77次会议上成立了

Clouds Bar BoF，其主要关注的领域是基于云计算系统的应用/业务对协议的需求，包括应用于不同云计算系统之间、同一云计算架构内部不同层之间或同层内不同功能实体之间的协议的标准化。目前的Clouds Bar Bof已经举办两次。Clouds Bar BoF于2010

年3月25日在美国加利福尼亚州阿纳海姆（Anaheim,CA）举行。此次会议上由GAP 分析，并进行了基于云计算的系统和业务调查，协同IETF的DECADE，IRTF/VNRG，NFSv4和其他标准组织的活动，以避免工作重叠。Clouds Bar BoF第二次会议（IETF 的第78次会议）于2010年7月23日在荷兰马斯特里赫特（Maastricht，Netherlands）举行。此次会议上Clouds得到了Google，Cisco，Verizon，ALU，Alertlogic等厂家的支持，并纷纷给出各自在云计算领域关注的协议制定。Clouds Bar BoF第三次会议（IETF的第79次会议）将于2010年11月份在北京举行。3.3ITU-T FG CloudITU-T在2010年2月的会议上，电信标准化顾问组（TSAG）讨论通过了成立

ITU-T云计算焦点组（FGCloud）。该焦点组将从标准化的角度在ITU-T的范围内，考虑电信网络在传输、安全、业务等方面如何支持“云计算”业务/应用。（1）识别出推进和实现电信支持云计算，标准开发的潜在影响和优先级。（2）在ITU-T范围内，调查未来固定与移动网络项目的研究需求。（3）分析哪些组件将受益于互操作性和标准化。（4）将电信领域内研究云计算的标准组织进行分类。（5）对云计算中的特性、功能进行分级分析，用于估计电信领域云计算的标准化时间表。云计算焦点组目前可分为以下两个工作组：●WG1云计算的益处与需求，主要研究云的定义，生态环境和术语；用例、需求与架构；云安全；云基础设施与网络；云业务与资源管理，平台和中间件；云计算的益处和ICT方面的第一需求。●WG2差距分析ITU-T云计算标准研究路标，主要研究云计算相关标准组织的活动概况；ITU-T云计算标准相关研究的差距分析和行动计划。FG Cloud在2010年6月14—16

日在日内瓦召开了第一次会议，主要讨论了各个标准组织关于云计算的研究进展，ITU-T内部各研究组也已经开展了云相关的研究项目情况。目前已经形成《云生态系统介绍：定义、术语和用例》和《云参考架构需求》文档初稿。图9展示了云生态系统架构图，包括云用户，云SP，云业务开发者等若干角色。

图9云生态系统架构ITU-T云计算焦点组代表了作为全球三大国际标准组织之一的国际电联对云计算的高度重视，必将深远地影响到云计算在电信领域的标准化进程。

云计算的关键技术及发展现状(1)

云计算的关键技术及发展现状 周小华 摘要：本文主要对云计算技术的应用特点、发展现状、利处与弊端以及对云计算的应用存在的主要问题进行了探讨分析，最后是关于云计算的挑战及其展望。 关键词：云计算；数据存储；编程模型 1.云计算定义 云计算是由分布式计算、并行处理、网格计算发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。计算机的应用模式大体经历了以大型机为主体的集中式架构、以pc机为主体的c/s分布式计算的架构、以虚拟化技术为核心面向服务的体系结构（soa）以及基于web2.0应用特征的新型的架构。云计算发展的时代背景是计算机的应用模式、技术架构及实现特征的演变。“云计算”概念由google提出，一如其名，这是一个美妙的网络应用模式。在云计算时代，人们可以抛弃u盘等移动设备，只要进入google docs页面，新建一个文档，编辑其内容，然后直接把文档的url分享给朋友或上司，他们就可以直接打开浏览器访问url。我们再也不用担心因pc硬盘的损坏而发生资料丢失事件。 IBM公司于2007年底宣布了云计算计划，云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置

(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANs)。网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问一个云计 算应用程序。” 云计算是基于互联网的超级计算模式，包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施，进行统一的管理和协同合作。云计算将IT 相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过Internet 获取需要的服务。 通过对云计算的描述，可以看出云计算具有高可靠性、高扩展性、高可用性、支持虚拟技术、廉价以及服务多样性的特点。现有的云计算实现使用的技术体现了以下3个方面的特征： （1）硬件基础设施架构在大规模的廉价服务器集群之上．与传统的性能强劲但价格昂贵的大型机不同，云计算的基础架构大量使用了廉价的服务器集群，特别是x86架构的服务器．节点之间的巨联网络一般也使用普遍的千兆以太网． （2）应用程序与底层服务协作开发，最大限度地利用资源．传

云计算的关键技术及发展现状

云计算的关键技术及发展现状 居巍杰 摘要：本文给出了云计算的定义，总结了云计算的关键技术，揭示了云计算是多种新技术的综合发展产物，并详细介绍了云计算的发展现状。 关键词：云计算；数据存储；编程模型；云安全 1.前言 云计算(Cloud Computing)是一种新近提出的计算模式。云计算将待处理的数据送到互联网上的超级计算机集群中进行计算和处理，把互联网变成一种全新的计算平台，能够在网络上实现按需购买与按使用付费的业务模式。自从云计算的概念提出来以后，立刻引起业内各方极大的关注，现在已成为信息领域的研究热点之一。云计算到底是什么？为什么需要云计算？云计算的关键技术有哪些？云计算的发展现状如何？本文将就上述问题展开叙述。 2.云计算定义 云计算（Cloud Computing）是由分布式计算（Distributed Computing）、并行处理（Parallel Computing）、网格计算（Grid Computing）发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。 IBM公司于2007年底宣布了云计算计划，云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”[1]中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANs)。网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问

云计算技术国内外发展现状

次。联想公司计划推出基于云计算服务的PC及云终端，终端更像一台接收机，它本身没有存储设备，所有的数据都集中在后台。 云计算改变了单个计算机的功能，降低对网络的要求，由于终端不考虑应用的具体实现过程，扩展应用变得更加容易，高可扩展性是云计算的显著特征。应用在服务器端实现和部署，可以轻松实现不同设备间的数据与应用共享，并以统一的方式（例如通过浏览器）在终端实现与用户的交互。 三、国外云计算技术、产业现状及发展趋势 （一）国外云计算技术及产业现状 1、主要国家的最新进展 美国将云计算技术和产业定位为维持国家核心竞争力的重要手段之一，在制定的一系列云计算政策中，明确指出加大政府采购，积极培育市场。通过强制政府采购和指定技术架构来推进云计算技术进步和产业落地发展。例如，美国军队（空军、海军）、司法部、农业部、教育部等部门都已应用了云计算服务。美国历届联邦政府都将推动IT技术创新与产业发展作为国家的基本政策，在2011年出台的《联邦云计算战略》中明确提出鼓励创新，积极培育市场，构建云计算生态系统，推动产业链协调发展。 欧盟欧盟委员会在2012年9月启动“释放欧洲云计算潜力”的战略计划，包括筛选和精简众多技术标准、为云计算服务制定安全和公平的标准规范等，同时明确市场政策，确立欧洲云计算市场，促使欧洲云服务提供商扩大业务范围并提供性价比高的在线管理服务。 英国政府在2013年为13个研发项目拨款500万英镑，以应对阻碍云计算应用的商业和技术挑战。这13个项目的研究重点在于开发相关的系统、服务和软件，帮助解决云服务缺乏互操作性、数据恢复能力和身份验证这三项挑战，提高云服务的安全性。 澳大利亚澳大利亚政府信息管理办公室(AGIMO) 在2011年发布《澳大利亚政府云计算政策：最大化云计算的价值》的文件，并在2013年5月更新和发布了该文件的2.0版，该文件对政府部门使用云计算服务提供了指导，包括云计算相关法律、财政支持、安全规范等。2013年，AGIMO发布《公共服务大数据战略》，该战略以六条“大数据原则”为支撑，旨在推动公共行业利用大数据分析进行服务改革，并制定更好的公共政策。澳大利亚新南威尔士州出台与云服务相关的政策，以利用更加灵活可靠的技术来改善政府的运作和服务，节约运营成本。 韩国在2011年制定了《云计算全面振兴计划》，其核心是政府率先引进并提供云计算服务，为云计算开发国内需求。韩国通信委员会的报告指出，2010年至2012年，韩国政府投入4158亿韩元预算来构建通用云计算基础设施，将利用率低下的电子政务服务器虚拟化，逐步置换成高性能服务器，并根据系统服务器资源使用量实现服务器资源的动态分配。 日本日本经济产业省2010年8月发布《云计算与日本竞争力研究》报告，鼓励和支持包括数据中心和IT厂商在内的云服务提供商利用日本的IT技术等优势，通过分析云计算的全球发展趋势，解决云计算发展过程中的挑战性和关键性问题。

云计算的发展热点与未来趋势

班级：仪器11402 姓名：李学智学号：201406277 当前云计算的发展热点与未来趋势 目前，云计算被认为是未来的IT发展趋势。云计算的应用形式各种各样，但是，有关于云计算的应用却并不是很容易被用户接受的，虽然很多企业组织正在积极的探寻关于云计算的发展战略，可预测未来云计算的发展趋势，将其作为是未来云计算的突破口参考。 一、目前云计算的发展现状 云计算的发展趋势在行业中已经取得共识。它的影响已经逐渐渗透到整个产业以及用户的应用中。云计算将赋予互联网更大的内涵，在某种程度上，它改变互联网企业的运营模式，通过云计算，更多的应用能够以互联网服务的方式交付与运行。云计算将扩大IT软，硬件产品应用的外延，并且改变了软硬件产品的应用模式。IT产品的开发方向也会发生改变来适应上述云计算带来的变化。很多业界领先代表，微软，谷歌，亚马逊等等业界领先代表都推出了自己的云计算产品和方案。如：谷歌推出GDrive服务；AOL的Xdrive服务；亚马逊云计算；HDS，EMC，NetApp先后将云计算和云存储的落地作为今后整体渠道策略调整的关键点；EMC宣布发展目标直指虚拟化和私有云建设；NetApp致力于拓展系统集成商和云存储业务。除此之外，HDS、EMC、NetApp在云存储等方面也取得较好效果。 二、未来云计算的发展趋势 云计算作为一种应用模式，它的出现和应用范围的日益扩大，必将对产业链的上下游产生重要影响，它在不断的适应着企业的需求。未来根据需求进行着不断增多，云计算将要如何发展？经过调查分析有以下几个方向： （一）混合云的发展方向 虽然现在很多企业都已经采用了云服务，但是对于大部分的企业来说，基本上采用的都是多个云服务供应商，包括公共云与私有云，以满足不同的需求。公有云与私有云的组合被大家称之混合云，混合云的优势是能够适应不同的平台需求，它既能提供私有云的安全性，也可以提供公有云的开放性。所以在未来混合云的发展是云服务的主流模式。 （二）大数据分析 大数据如是高科技的热门话题，大数据分析使云计算和大数据能够很好结合。云计算是可以扩展，可以覆盖到大数据领域的，这些云服务能够为云计算提供平台，开源的云平台为大数据提供更好的开发与分析。 （三）SMB应用程序保护 现在，大多数的中小企业还是无法承受整个应用程序的测试层序与昂贵的工具进行内部检查安全和数据保护等应用的，期待新的云计算技能够帮助企业利用Web应用程序来进行源代码的扫描，协助企业及时发现潜在的一些网络攻击，从而来按需求提供帮助，降低企业的费用。 （四）强调性能

浅析云计算的五大关键技术

浅析云计算的五大关键技术 据中国报告大厅发布的《2014-2020年中国云计算行业深度调研及发展趋势分析报告》，国科数据中心做出如下解读： 1 虚拟化技术 虚拟化技术是指计算元件在虚拟的基础上而不是真实 的基础上运行，它可以扩大硬件的容量，简化软件的重新配置过程，减少软件虚拟机相关开销和支持更广泛的操作系统方面。通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根

据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化目。在云计算实现中。计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面，是提高服务效率的最佳解决方案。 2 分布式海量数据存储 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式（集群计算、数据冗余和分布式存储）保证数据的可靠性。冗余的方式通过任务分解和集群，用低配机器替代超级计算机的性能来保证低成本，这种方式保证分布式数据的高可用、高可靠和经济性，即为同一份数据存储多个副本。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS. 3 海量数据管理技术 云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算

系统中的数据管理技术主要是Google的BT sT~lO数据管理技术和Hadoop团队开发的开源数据管理模块HBase.由于云数据存储管理形式不同于传统的RDBMS数据管理方式，如何在规模巨大的分布式数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题［61.同时，由于管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中来，目前一些研究在关注为云数据管理提供RDBMS和SQL 的接口，如基于Hadoap子项目HBase和Hive等。另外，在云数据管理方面，如何保证数据安全性和数据访问高效性也是研究关注的重点问题之一。 4 编程方式 云计算提供了分布式的计算模式，客观上要求必须有分布式的编程模式。云计算采用了一种思想简洁的分布式并行编程模型Map—Reduce.Map—Reduce是一种编程模型和任务调度模型。主要用于数据集的并行运算和并行任务的调度处理。在该模式下，用户只需要自行编写Map函数和Reduce函数即可进行并行计算。其中，Map 函数中定义各节点上的分块数据的处理方法，而Reduce函数中定义中间结果的保存方法以及最终结果的归纳方法。

云计算关键技术及其发展的分析

云计算关键技术及其发展的分析 近几年，云计算以网格计算为基础，成为一种新兴的计算模型。本文将对云计算的基本概念及其关键技术进行介绍，并以此为根据对云计算的发展和应用领域加以阐述。 标签：云计算；关键技术；发展 1 云计算的概念 云计算就是把传统计算机技术和网络技术的分布式处理和并行处理，以及网格计算和效用计算，还有网络存储等等功能，进行充分的发展融合形成的产物。借助于网络这个先进的工具，联系和整个若干个具有较低陈本的计算实体，通过进一步的整合，形成具有强大功能的系统，具有超强的计算能力和完美的功能。为终端用户提供多种服务形式的超强大的计算能力。 通过把“云”的处理能力不断的提高，从而使用户终端的处理负担被减轻，最终实现用户终端被简化成一个单纯的输入输出设备，同时用户终端对“云”的强大计算处理能力能够根据自己的需求进行享受，这就是云计算的核心理念。 强大的计算能力和安全可靠，以及无限量的存储空间和使用方便便捷，还有数据共享是云计算的特点。这种模型的运用，无论是个人还是企业，都必须花费大量的投资，对昂贵的硬件进行购置，就可以通过互联网来实现租赁和计算能力。 2 云计算关键技术 2.1 虚拟化技术 云计算最核心的特征就是虚拟化，同时这一特征也是云计算得以实现的基础。虚拟化技术将物理资源的逻辑与统一表示出来。虚拟化指的是以虚拟软件为基础进行的计算，而不是在真实硬件上运行的。虚拟化技术的运用，实现了资源的高效利用，而且能够以用户的实际需要作为出发点，及时调节资源的分配，平衡了动态负载，另外与硬件无关的特性所提供的系统自愈功能，使得系统的可靠性得以显著提升。虚拟化技术涵盖了计算机技术的方方面面。 2.2 分布式技术分布 最早将分布式技术大规模应用于向全球用户提供搜索服务的是Google搜索引擎，其分布式的架构能够使得数百万台计算机协同作业。分布式文件系统的最主要特征就是能够将大量的数据以分布式进行储存，从而完成大型任务的分解，以及多台计算机的并行计算。作为分布式技术中最关键的组成部分，无论是Google的GFS，还是Hadoop中的HDFS，这些分布式文件系统的设计都是为了实现海量文件的存储，这种方式能提高数据存储访问的可靠性和高效性。

云计算的关键技术

云计算的关键技术 云计算（cloudcomputing，分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。稍早之前的大规模分布式计算技术即为“云计 算”的概念起源。 云计算系统运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化 技术、云计算平台管理技术最为关键。 云计算的核心技术 (1)编程模型 MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成

Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。 (2)海量数据分布存储技术 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。 GFS即Google文件系统（GoogleFileSystem），是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被许多客户（Client）访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约（lease）管理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。 客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。 (3)海量数据管理技术 云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。 BT是建立在GFS,Scheduler,LockService和MapReduce之上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。 Google的很多项目使用BT来存储数据，包括网页查询，Googleearth和Google金融。这些应用程序对BT的要求各不相同：数据大小（从URL到网页到卫星图象）不同，反应速度不同（从后端的大批处理到实时数据服务）。对于不同的要求，BT都成功的提供了灵活高效的服务。 （4）虚拟化技术 通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。 （5）云计算平台管理技术 云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。 云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。 在vForum2011大会的媒体见面会上，VMware公司亚太区兼日本区总经理AndrewDutton接受了记者采访，就Vmware在亚太区及中国的云计算战略发表了自己的看法。

Google云计算的关键技术(一)

Google云计算的关键技术（一） Google云计算的关键技术主要包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统BigTable等。其中： 1）GFS提供了海量数据存储和访问的能力； 2）MapReduce使得海量信息的并行处理变得简单易行； 3）Chubby保证了分布式环境下并发操作的同步问题； 4）BigTable使得海量数据的管理和组织十分方便。 ●GFS GFS是一个面向海量数据密集型应用的、可伸缩的分布式文件系统，它为Google云计算提供了海量存储的能力，处于整个Google云计算技术体系的最底层。 GFS使用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性的问题，不但使得存储的成本成倍下降，更是很好地在频繁的故障中确保了数据存储的安全和数据存储服务的连续性，从整体上确保了整个系统的可靠性，进而可以为大量客户机提供高性能的服务。 一、架构 一个GFS集群包含一个单独的Master逻辑节点、多台Chunk服务器，并且同时被多个客户端访问，如下图所示。

GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候，Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存在本地硬盘上，并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑，每个块都会复制到多个块服务器上。缺省情况下，我们使用3个存储复制节点，不过用户可以为不同的文件命名空间设定不同的复制级别。 Master节点管理所有的文件系统元数据，在逻辑上只有一个。这些元数据包括名字空间、访问控制信息、文件和Chunk的映射信息、以及当前Chunk的位置信息；Master节点还管理着系统范围内的活动，比如Chunk在Chunk服务器之间的迁移等。Master节点使用心跳信息周期地和每个Chunk服务器通讯，发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。 GFS客户端代码以库的形式被链接到客户程序里。客户端代码实现了GFS文件系统的API 接口函数、应用程序与Master节点和Chunk服务器通讯、以及对数据进行读写操作。客户端和Master节点的通信只获取元数据，所有的数据操作都是由客户端直接和Chunk服务器进行交互的。 无论是客户端还是Chunk服务器都不需要缓存文件数据（客户端会缓存元数据）。客户端缓存数据几乎没有什么用处，因为大部分程序要么以流的方式读取一个巨大文件，要么工作集太大根本无法被缓存。Chunk服务器不需要缓存文件数据的原因是：Chunk以本地文件的方式保存，Linux操作系统的文件系统缓存会把经常访问的数据缓存在内存中。 设计思路：集中+分布。单一的Master节点便于通过全局的信息精确定位Chunk的位置以及进行复制决策。同时，为了避免Master节点成为系统的瓶颈，必须减少对Master节点的读写：客户端并不通过Master节点读写文件数据，只是通过其询问应该联系的Chunk服务器，后续的操作将直接和Chunk服务器进行数据读写操作。 二、客户端访问GFS流程 首先，客户端把文件名和程序指定的字节偏移，根据固定的Chunk大小，转换成文件的Chunk 索引。然后，它把文件名和Chunk索引发送给Master节点。Master节点将相应的Chunk 标识和副本的位置信息发还给客户端。客户端用文件名和Chunk索引作为key缓存这些信息。 之后客户端发送请求到其中的一个副本处，一般会选择最近的。请求信息包含了Chunk的标识和字节范围。在对这个Chunk的后续读取操作中，客户端不必再和Master节点通讯了，除非缓存的元数据信息过期或者文件被重新打开。 三、Chunk尺寸的设定 Chunk的大小是关键的设计参数之一。选择64MB这个较大尺寸有几个重要的优点。首先，它减少了客户端和Master节点通讯的需求，因为只需要一次和Mater节点的通信就可以获

云计算发展现状分析

1.云计算概述 云计算是2007年底正式提出的一个新的概念，至今为止，几乎所有的IT行业巨头都将云计算作为未来发展的主要战略之一，相关商业媒体也将云计算视为计算机未来发展的主要趋势，其商业前景和应用需求已勿庸置疑。 云计算是一种全新的商业模式，其核心部分依然是云后端的数据中心，它使用的硬件设备主要是成千上万的工业标准服务器，它们由英特尔或AMD生产的处理器以及其他硬件厂商的产品组成。企业和 个人用户通过高速互联网得到计算能力，从而避免了大量的硬件投资。 云计算的基本原理是，通过将计算分布在大量的分布式计算机上，使企业数据中心的运行更加类似于使用互联网。从而使企业能够将随时资源切换到需要的应用上，根据需求访问计算机和存储系统。 狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数 据中心或超级计算机，以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务，比如亚马逊数据仓库出租生意。广义的云计算指厂商通过建立网络服务器集群，向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。广义的云计算包括了更多的厂商和服务类型，例如国内用友、金蝶等管理软件厂商推出的在线财务软件，谷歌发布的Google应用程序套装等。 2.云计算发展国内外现状 IBM于2007年8月高调推出“蓝云(Blue Cloud)一计划。IBM的Willy

Chiu透露，“云计算将是IBM接下来的一个重点业务。"这也是IBM扩张自身领地的绝佳机会，IBM具有发展云计算业务的一切有利因素：应用服务器、存储、管理软件、中间件等等，IBM抓住了这样一个良好的机会，提出了“蓝云”计划。2008年8月，IBM斥资3．6亿美元在美国北卡罗来纳州开始建立云计算数据中心，并将该数据中心称为史上最复杂的数据中心，投入了大量人力物力。IBM还在东京建立了一所新的研究机构，建立帮助用户使用云计算基础设施。该数据中心占地6万平方英尺，预计将于2009年下半年投入运营。IBM表示：“使用该数据中心的用户能够获得空前的互联网计算能力，并获得业内领先的环保优势和成本”。IBM在东京的专家将为大企业、大学和政府提供云计算咨询，帮助他们利用云计算设施，设计云计算应用，以及向他们的用户提供基于云计算的服务。在2009年的计划中，IBM计划于推出数种云计算服务产品。 Google于2007年10月在全球宣布了云计划，同时与IBM合作，把全球很多大学纳入搿云计算”计划当中。当月，Google与IBM开始在美国大学校园，包括卡耐基梅隆大学、麻省理工学院、斯坦福大学、加州大学伯克利分校及马里兰大学等，推广云计算的计划。希望从而降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支援(包括数百台个人计算机及Blade Center与System X服务器，以及Linux、Xen、Hadoop等开源平台)。而这些学校的学生则可以通过网络开发各项以大规模计算为基础的研究计划。2008年1月30日，Google宣布在台湾启动“云计算学术计划"．与台湾

云计算关键技术及发展现状研究

云计算关键技术及发展现状研究 摘要：云计算是在网格计算基础上新兴的计算模式，可以将共享的软硬件资源和信息按需提供给计算机和其他 设备。本文在解释云计算概念的基础上，通过探讨云计算的关键技术，揭示了云计算是多种新技术的综合发展产物，并详细介绍了云计算的发展现状。 关键词：云计算；关键技术；发展现状 1 前言 互联网技术的飞速发展，信息量与数据量快速增长，导致计算机的计算能力和数据的存储能力满足不了人们的需求，大大提高了成本费用。在这种情况下，云计算应运而生。云计算将待处理的数据送到互联网上的超级计算机集群中 进行计算和处理，把互联网变成一种全新的计算平台，能够在网络上实现按需购买与按使用付费的业务模式。自从云计算的概念提出来以后，立刻引起业内各方极大的关注，现在已成为信息领域的研究热点之一。 2 云计算定义

云计算（Cloud Computing）是由分布式计算（Distributed Computing）、并行处理（Parallel Computing）、网格计算（Grid Computing）发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。 云计算是基于互联网的超级计算模式，包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施，进行统一的管理和协同合作。云计算将IT相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过Internet获取需要的服务。 通过对云计算的描述，可以看出云计算具有高可靠性、高扩展性、高可用性、支持虚拟技术、廉价以及服务多样性的特点。 3 云计算关键技术 云计算是一种新兴的计算模式，其发展离不开自身独特的技术和所涉及的一系列其他传统技术的支持，并借助SaaS/PaaS/IaaS等先进的商业模式把这强大的计算能力分布到终端用户手中。 (1) 虚拟化技术

云计算的关键技术

云计算的关键技术 摘要：云计算是一种新兴的计算模型，它是在网格计算的基础上发展而来的,它是指通过网络以按需、易扩展的方式来获得所需的信息服务，因此，云计算又常常被称为云服务。本文介绍了云计算的发展历史，总结了云计算的关键技术：数据存储技术(Google File system)、数据管理技术(BigTable)、编程模型和任务调度等，分析了云计算和网格计算以及传统超级计算的区别，并指出了云计算的广阔发展前景。 关键词：云计算；编程模型；数据存储；数据管理；任务调度 正文: 云计算(cloud computing)是一种新近提出的计算模式。是分布式计算(Dist uted computing)、并行计算(Parallelcomputing)和网格计算(Grid computing)的发展。目前，亚马逊、微软、谷歌、IBM、英特尔等公司纷纷提出了“云计划”。例如亚马逊的Aws(Amazon web services)?,IBM和谷歌联合进行的“蓝云”计划等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究。例如谷歌同华盛顿大学以及清华大学合作，启动云计算学术合作计划(Academic cloud ComputingInitiative)，推动云计算的普及，加紧对云计算的研究。卡内基梅隆大学等对数据密集型的超级计算(Data Intensive supercomputing，DIsc) 进行研究，本质上也是对云计算相关技术开展研究。云计算有着广泛的应用前景。如表1所示。云计算在天 文学、医学等各个领域有着广泛的应用前景。趋势科技和瑞星等安全厂商纷纷提出了“安全云”计划。 在云计算关键技术研究过程中，主要对依赖于以下的技术支持，他们分别是数据存储技术(Google File system)、数据管理技术(BigTable)、编程模型和任务调度模型等，我们逐一进行介绍。 一．数据存储技术: 为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，同时利用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本，这样避免当前的数据系统崩溃还有备用的数据可以马上回复工作。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的GFs(Google File System) 和Hadoop开发团队开发的GFS的开源实现HDFs(Hadoop Dist uted nle system) 。大部分IT厂商，包括雅虎、英特尔的“云”计划采用的都是HDFS的数据存储技术。云计算的数据存储技术未来的发展将集中在超大规模的数据存储、数据加密和安全性保证以及继续提高L／O速率等方面。以GFs为例。GFs是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据，包括名字空间、存取控制、文件分块信息、文件块的位置信息等。GFs中的文件切分为64 MB的块进行存储。在GFs文件系统中，采用冗余存储的方式来保证数据的可靠性。每份数据在系统中保存3个以上的备份。为了保证数据的一致性，对于数据的所有修改需要在所有的备份上进行，并用版本号的方式来确保所有备份处于一致的状态。客户端不通过Master读取数据，避免了大量读操作使Master成为系统瓶颈。客户端从Master获取目标数据块的位置信息后，直接和块服务器交互进行读操作。GFs的写操作将写操作控制信号和数据流分开，如图所示：

“云计算与大数据关键技术研发及应

“云计算与大数据关键技术研发及应 用” 巨大主题专项申报指南 云计算与大数据是支撑智能化发展的严重技术领域，结合《国家中长期科学和技术发展规划纲要(2006-2020年)》、国务院《关于促进云计算创新发展，培育信息产业新业态的意见》和《关于印发促进大数据发展行动纲要的通知》以及《重庆市以大数据智能化为引领的创新驱动发展战略行动计划（2018-2020）》等文件要求，根据我市相关产业创新发展的实际需求和云基础设施条件，现启动实施“云计算与大数据关键技术研发及应用”巨大主题专项，布局一批重点研发项目，突破一批关键核心技术，在智慧城市、智能制造、智慧服务等严重领域实现智能化引领，逐步提升资源汇聚、数据收集、存储管理、分析挖掘、安全保障、按需服务等能力，促进我市云计算与大数据技术的研发及应用达到国内乃至国际优秀水平。 1.面向智能终端的大数据云服务平台研发及应用研究内容：研发面向海量智能终端的大数据管理和开放服务云平台，为典型行业智慧应用提供支撑。研究海量智能终端的数据并发接入、异构协议自动转换技术；研究海量大数据的管理和可视化技术；研究海量图片和大视频文件高效存储技术，物联网图片、视频分析技术；研究基于地理位置信息的物联网数据融合技术；研究优秀的多源异构信息融合和大数据分析技术；研究大数据分析模型的云端实现，构建云计算模型库；研究智能边缘计算交互技术、用户可自定义的数据抽取技术、时序数据的模型训练、推断及分析；研究基于微服务架构体系的基于组件的设备管控和数据分析服务；实现若干典型行业的应用验证。 考核指标：云服务平台：支持主流通信协议接入，包括但不限于WIFI、ZigBee、BLE、3G、4G、NB-IoT；支持设备接入协议解析，包括但不限于HTTP、MQTT、Modbus、LWM2M；设备寻址和控制响应时间≤3s；单前置机并发：≥1万；智能终端设备接入量≥1亿；数据存储量≥100亿条；图片文件存储量≥10亿个；图片、视频分析能力≥1000帧/秒。

云计算体系架构与关键技术

云计算：体系架构与关键技术 罗军舟金嘉晖宋爱波东方 东南大学计算机科学与工程学院，江苏南京２１１１８９ 摘要：系统地分析和总结云计算的研究现状，划分云计算体系架构为核心服务、服务管理、用户访问接口等３ 个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标，深入全面地介绍了云计算的关键技术及最新研 究进展。在云计算基础设施方面，介绍了云计算数据中心设计与管理及资源虚拟化技术；在大规模数据处理方面， 分析了海量数据处理平台及其资源管理与调度技术；在云计算服务保障方面，讨论了服务质量保证和安全与隐私 保护技术。针对新型的云计算应用和云计算存在的局限性，又探讨并展望了今后的研究方向。最后，介绍了东南 大学云计算平台以及云计算研究与应用方面的相关成果。 云计算；虚拟化；数据中心；海量数据处理；服务质量；安全与隐私 ＴＰ３９３Ａ１０００－４３６Ｘ（２０１１）０７－０００３－１９ Ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ：　ａｒｃｈｉｔｅｃｔｕｒｅ　ａｎｄ　ｋｅｙ　ｔｅｃｈｎｏｌｏｇｉｅｓ　 ＬＵＯ　Ｊｕｎ－ｚｈｏｕＪＩＮ　Ｊｉａ－ｈｕｉＳＯＮＧ　Ａｉ－ｂｏＤＯＮＧ　Ｆａｎｇ ２０１１－０５－２０２０１１－０６－３０ 基金项目：国家自然科学基金资助项目（６１０７０１６１，　６１０７０１５８，６１００３２５７，６０７７３１０３，９０９１２００２）；国家重点基础研究发展计划（“９７３”计划）基金资助项目（２０１０ＣＢ３２８１０４）；国家科技支撑计划课题基金资助项目（２０１０ＢＡＩ８８Ｂ０３）；教育部博士点基金课题基金资助项目（２００８０２８６００３１）；江苏省自然科学基金资助项目（ＢＫ２００８０３０）；国家科技重大专项课题基金资助项目（２００９ＺＸ０３００４－００４－０４）：江苏省“网络与信息安全”重点实验室基金资助项目（ＢＭ２００３２０１）；“计算机网络与信息集成” 教育部重点实验室项目（９３Ｋ－９） 万方数据

云计算及其关键技术

收稿日期:2009-03-14;修回日期:2009-05-09。 作者简介:陈全(1986-),男,安徽滁州人,硕士研究生,主要研究方向:云计算、数据密集型可扩展计算; 邓倩妮(1973-),女,广西柳州人,副教授,博士,主要研究方向:对等计算、网格计算、复杂网络拓扑。 文章编号:1001-9081(2009)09-2562-06 云计算及其关键技术 陈 全,邓倩妮 (上海交通大学计算机科学与工程系,上海200240) (squ i rr3@g m ai.l co m ) 摘 要:云计算是一种新兴的计算模型,它是在网格计算的基础上发展而来的。介绍了云计算的发展历史和应用场景,比较了现有的云计算的定义并给出了新的定义,以谷歌的云计算技术为例,总结了云计算的关键技术:数据 存储技术(G oog l e F ile System )、数据管理技术(B igT ab l e)、编程模型和任务调度模型(M ap -R educe)等,分析了云计算和网格计算以及传统超级计算的区别,并指出了云计算的广阔发展前景。 关键词:云计算;数据存储;数据管理;编程模型 中图分类号:T P338.8 文献标志码:A C loud co m puti ng and its key techniques C H E N Quan ,DENG Q i a n -n i (De part m e n t of Compu ter S cience and Eng i neering,Shangha i Jiao Tong Un i v e rsit y,Shanghai 200240,Ch i na ) Abstract :C loud computi ng i s a ne w co m puti ng m ode;l it is deve l oped based on gr i d computi ng.T he aut hors i n troduced the develop m ent history o f cloud com puti ng and its applicati on situati on ;co m pa red ex isti ng defi nitions o f c l oud com puti ng and gav e a new defi n iti on ;took goog l e p s cloud computing techn i ques as an examp l e ,su mm ed up key techn i ques ,such as data storage techno l ogy (G oog le F ile Sy stem ),data m anage m en t techno l ogy (B i gT ab l e ),as we ll as prog ra mm i ng m ode l and task schedu ling m ode l(M ap -R educe ),used i n c l oud co m puti ng ;and ana l yzed the d ifferences among cloud compu ti ng ,g rid co m puti ng and traditi ona l s uper -computi ng ,and fi ngered out t he broad develop m ent prospec ts o f cloud co m puti ng . K ey words :cloud co m puti ng ;data storag e ;da ta m anagement ;progra mm i ng m odel 0 引言 云计算(C l oud Co m puti ng)是一种新近提出的计算模式。是分布式计算(D istr i buted Computi ng )、并行计算(Para llel Co m puti ng)和网格计算(G rid Co m puti ng)的发展。 目前,亚马逊、微软、谷歌、IB M 、英特尔等公司纷纷提出了/云计划0。例如亚马逊的AW S(Am azon W eb Services)[1]、IB M 和谷歌联合进行的/蓝云0计划等。这对云计算的商业 价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究。例如谷歌同华盛顿大学以及清华大学合作,启动云计算学术合作计划(A cade m i c C loud Co m puti ng In iti ative),推动云计算的普及,加紧对云计算的研究。卡内基梅隆大学等对数据密集型的超级计算(D ata Intensi ve Super Co m puti ng ,D ISC )[2]进行研究,本质上也是对云计算相关技术开展研究。 I DC 的调查显示,未来五年云计算服务将急速增长,预期2012年市场规模可达420亿美元。目前企业导入云计算已逐渐普及,并且有逐年成长趋势。估计在2012年,企业投入在云计算服务的支出将占整体IT 成本的25%,甚至在2013年提高至IT 总支出的三分之一。 由此可见,在各大公司以及学术界的共同推动下,云计算技术将会持续发展。 云计算有着广泛的应用前景。如表1所示。云计算在天文学[3]、医学等各个领域有着广泛的应用前景。 趋势科技和瑞星等安全厂商纷纷提出了/安全云0计划。 如今,每天有2万多种新的病毒和木马产生,传统的通过更新 用户病毒库的防毒模式,受到了严峻的挑战,该模式使用户端的病毒库过于庞大。趋势科技和瑞星的/安全云0将病毒资料库放在/云0端,与客户端通过网络相连,当/云0在网络上发现不安全链接时,可以直接形成判断,阻止其进入用户机器,从根本上保护机器的安全。 表1 云计算的应用领域 领域应用场景科研 地震监测海洋信息监控天文信息计算处理医学 DNA 信息分析 海量病例存储分析医疗影像处理 网络安全 病毒库存储垃圾邮件屏蔽图形和图像处理 动画素材存储分析 高仿真动画制作海量图片检索互联网 E-m ail 服务 在线实时翻译网络检索服务 据趋势科技大中华区执行总裁张伟钦介绍,趋势科技已投入了大量资金,在全球数个地方建设了新型数据中心。同时,趋势科技还花费了1000多万美元,租借了34000多台服务器,构建了一个服务遍及全球的/安全云0。目前趋势科技 第29卷第9期 2009年9月 计算机应用 Journa l o f Co m puter App lications V o.l 29No .9Sep .2009