SWAT模型国内外研究应用现状

SWAT模型及应用研究

摘要：本文综述了SWA T（Soil and Water Assessment Tool）模型在水利行业中起到的至关重要的作用，尤其在非点源污染模拟和控制、环境变化对水文响应的影响、洪水短期预报等领域，并对我国在应用SWAT模型方面的发展方向进行了初步探讨。

关键词：SWAT；水文模型；非点源；应用；污染

Primarily Study for SWAT

(Soil and Water Assessment Tool)

Tiantian Yang

(Faculty of Infrastructure Engineering Dalian University of Technology, 116024) Abstract: The role of SWAT (Soil and Water Assessment Tool) in the field of water conservation is analyzed. Special attention is paid on simulation and control for nonpoint source pollution, the impact of environmental change on hydrologic response, and real-time flood forecasting.In order to use SWAT well, the main issues introduces the application of SWAT model include international and domestic application.

Keywrods：SWAT; hydrologic model; nonpoint source; application; pollution

人类对水文系统最重要的影响是由土地利用变化所引起的，如果这种变化发生在一个流域的大片区域或者关键地区，会对径流过程产生短期或长期的影响，包括增加下游洪水泛滥的可能性以及减少深层和浅层地下水的补给[1]。在城市化区域，不透水表面和工程排水系统会增加洪峰流量和降低水质，从而使供水问题变得更加复杂[2]。非点源威胁着农业可持续发展并被认为是对地表和地下饮用水源的最大威胁，然而农业生产活动是全球非点源污染最主要的原因，全世界有30%～50%的地表已经受到非点源污染物的影响。在地方、地区和全球尺度上评价农业管理措施对非点源污染的影响已经成为取得农业可持续发展，减缓有害的环境影响策略的关键组成部分。数学模拟是用来分析非点源污染空间分布规律最

好的技术方法之一，也是评估非点源污染控制中特定最优管理措施(Best Management Practice，BMP)效率和特定管理情景效果的重要工具。

本文论述了国外SWA T模型研究领域的最新进展和我国的研究情况，通过二者的对比，可以把握SWA T模型的研究前沿，对我国引入SWAT模型进行非点源污染研究和水资源管理起到一定的参考和借鉴作用。

1模型概述

SWAT（Soil and Water Assessment Tool）是美国农业部（USDA）农业研究局（ARS）开发的流域尺度模型，用于模拟地表水和地下水的水质和水量，长期预测土地管理措施对具有多种土壤、土地利用和管理条件的大面积复杂流域的水文、泥沙和农业化学物质产量的影响。

SWAT是一个物理流域模型，能同时计算数百个子流域，能模拟层间流、地下水流、河段演算输移损失和通过池塘、水库、河流、山谷运动的泥沙和化学物质量，具有柔性流域和子流域特点及演算结构，它可以读入观测的流量数据和点源数据，还可用于无法收集输入数据地区的模拟。

1.1SWAT模型原理

SWAT模型采用模块化结构，由三大部分组成：子流域水文循环过程、河道径流演算、水库水量平衡与演算。其中子流域水文循环部分包括8个功能相对独立的模块：水文过程、气象、泥沙、土壤温度、农作物生长、营养物质、杀虫剂和农业管理。在进行水环境非点源污染模拟时，主要应用的模块有：水文过程、泥沙、营养物、杀虫剂模块。其中水文模块是SWAT模型的核心组件之一，也是进行非点源污染模拟的基础和关键。

SWAT模型采用分布式参数模拟方法，比传统的集总式参数模拟方法更符合流域下垫面非均质的实际情况，具有更高的模拟精度。SWAT在模拟非点源污染过程时，先将流域离散化为水文响应单元(HRU)来解决空间异质性问题，实现参数的分布式模拟；污染物的流失和迁移先在单个的HRU中进行模拟计算，然后在子流域中汇总，再模拟污染物总量在河道、水库等水体中的分配和迁移。

1.2SWAT模型特点

SWAT模型方便提取天气、土地利用、土壤类型、农业活动和其他输入数据能力使它能够对大流域进行模拟。模型在土地利用活动和流域过程之间建立了重要的联系，可以对流域管理各种决策的适用性进行评估。由于模型的高效、适用性强等特点，该模型已经成为水资源保护管理规划中不可或缺的工具，被一些国家和地方政府机构的决策者应用[3]。具体特点如下：

（1）SWAT模型属于物理模型

模型不使用回归方程来描述输入变量和输出变量之间的关系，而是需要流域内的天气、土壤属性、地形、植被和土地管理措施的特定信息，动植物生长，营养物质循环等，并可以使用输入数据直接进行模型。其好处是可以对无监测数据的流域，对可替代性输入数据或者其他所关系的变量的相对影响进行定量化。

（2）运算效率高

对于大面积流域或者多种管理决策进行模拟时不需要进行过多的时间和投入。

（3）连续时间模型，能够进行长期的模拟

（4）模型将流域划分为多个亚流域进行模拟

当流域不同面积的土地利用和土壤类型在属性上的差异是足够影响水文过程时，在模拟中使用亚流域是非常有用的，将流域划分为亚流域，可以对流域内不同面积进行空间定位。水文响应单元是亚流域内集总的陆地面积，包含唯一的陆地覆盖，土壤和管理组合。

1.3SWAT模型局限性

水文模型通常具有局限性，模型的局限性产生于模型使用的数据，模型本身的不足和在不适用的情形下使用模型。天气是水文模型的驱动力，而可用的天气数据来自气象测站。由于天气具有时空分布的差异性，从几个测站得到的天气数据并不能代表整个流域。同时，SWAT模型假定亚流域中的每个HRU含有相同的特征，例如在对所有的草地和森林使用相同的坡度，而草地通常位于山谷或者平原上，但是森林通常位于比草地更为陡峭的区域。当流域中的一种土地利用具

有不同地形特征时，这个问题就更加突出了。

在SWAT模型中，具有较小面积的土地利用通常不被考虑，因而有些小面积的陆地覆盖类型如未硬化的路面、小面积裸地、建筑用地和中耕作物等不能进行模拟，而这些小面积区域可能比相同面积草地的泥沙产量大几百倍甚至上千倍。

SWAT模型通过均一地在地表10mm土层增加营养物质来模拟农业化肥施用。在实际情况下，营养物质运移与地表径流有关，只当有降雨产生时化肥才会进入土壤。当使用SWAT模型进行日均或者月均模拟时，对营养物质浓度的模拟会产生较大误差；基于年均进行模拟时，误差相对较小。

2模型应用研究进展

2.1模型发展历程

美国农业部于1973年开发出了基于过程的田间尺度非点源污染模型，用于模拟土地管理措施对田间水沙和营养物质输移的影响；1980年对其完善后开发出CREAMS模型，使之能模拟多种土壤、地面覆盖、管理措施的复杂流域。随后研究人员开发了模拟侵蚀对作物产量影响的EPIC模型、模拟地下水携带杀虫剂和营养物质的GLEAMS模型，以及基于DEM的单次暴雨径流非点源污染模型AGNPS。1985年修改CREAMS模型的日降雨水文模块，合并CREAMS模型的杀虫剂模块和EPIC模型的作物生长模块，增加天气发生器，开发出以日为时间步长的SWRRB模型，对流域径流的考虑更加详细[4]。80年代末，估计洪峰流速的SCS曲线、土壤侵蚀公式与河道水质模型QUAL2E以及用于模拟河道汇流的ROTO模型加入SWRRB最终发展成为SWAT模型。SWAT自发布至今，经历了多次重要的改进,已发布的版本主要有：SWAT94.2、SWAT96.2、SWAT98.1、SWAT99.2、SWAT2000和SWAT2005等几个版本。每一次版本的升级都是基于模型的应用效果和用户反馈对模型组件的重要改进和功能的扩展完善，同时也体现了国际上应用SWA T进行水环境模拟的进展以及水文模型研究领域的重要成果。

2.2模型应用研究

SWAT模型在北美和欧洲寒区的许多流域得到了应用，研究内容涉及河流流量预测、非点源污染控制、水质评价等诸多方面，模拟效果较好。我国在长江上游、黄河下游、海河和黑河流域以及其它一些小流域进行过SWA T模型的应用研究，偏重于径流模拟，也涉及土壤侵蚀和非点源污染，近来对模型计算方法进行局部修改及联合其他模型应用也有不少研究。

2.2.1水文模拟研究

Arnold 等利用SWAT模型和数值滤波技术分别模拟了密西西比河流域上游的地下水补给与基流量，比较了两者模拟精度；Eckhardt and Arnold于德国中部的一个低山牧区，进行校准SWAT模型的自动运算法，其结果显示河川之日径流量的模拟值与实测值的效率系数达0.7，其相关系数达0.84；Chaplot研究DEM 和土壤数据对SWAT模型模拟的影响效应，指出DEM网格对于径流模拟的影响很小，而土壤分布图之比例尺对模拟结果影响较大。

王中根，刘昌明[5]等用SWAT模拟了黑河干流山区莺落峡以上地区子流域月径流量和莺落峡日径流量，从模拟精度论证了模型完全适合在大流域应用。胡远安等介绍了SWAT模型在亚热带的江西芦溪小流域径流模拟，对水田模拟部分进行了局部修改，并进行了参数灵敏度分析；结果表明模型对长期径流量模拟比较精确，对日径流的模拟存在系统误差，丰水期的模拟比枯水期精确。黄清华，张万昌[6]对黑河流域山区出山口径流的模拟的结果表明模型对黑河高海拔山区流域多水源的水文过程、融雪径流和地下径流参数的选择、浅水层回归因子、海拔高度带的划分等对该流域地下径流和融雪径流精度影响很大。陈军锋，陈秀万用SWAT模型对长江上游梭磨河流域进行水量平衡研究，揭示了梭磨河流域的气候波动和土地覆被变化对流域径流的影响，表明20世纪60～90年代，梭磨河流域的径流变化中，由土地覆被变化引起的约占1/5。随后，陈军锋等模拟了梭磨河流域4种不同土地覆被情景下的多年降水径流蒸发关系，定量评估了土地覆被变化对径流、蒸发和洪峰流量的影响，表明随着土地覆被状况由无植被到有林地覆被,径流深减小，蒸发量增加，枯季径流深减小幅度明显小于雨季的减小幅

度，而且雨季初期径流深减小的幅度大于雨季后期。张蕾娜[7]等以白河上游的云州水库流域为例，研究了1980年土地利用状况下的流量过程，说明应用模型对土地利用空间变化的水文响应分析可行。

2.2.2非点源污染研究

通过数学模拟的方式进行定量化研究，已成为当前进行农业非点源污染研究的重要途径之一。美国环境保护局杀虫剂项目办公室(OPP)2002年在流域尺度上对饮用水的评估中，应用SWAT模型对印第安那州中部White河Sugar Creek流域的水质进行研究，径流和除草剂模拟验证结果表明了杀虫剂运移模拟及其对土地管理措施影响预测的可靠性。BrunaGrizzetti将模型应用于西班牙南部的Guadiamar流域，验证模型的产流产沙和营养物质运移，评估土壤固氮和淋滤损失的能力，结果表明模型模拟流域不同出流点的日流量比较可靠，对产沙、氮和总磷聚集的月模拟符合实际；同时指出由于点源输入数据、水质监测数据的缺乏和资料系列的缺失对模型的模拟精度有一定的影响。Qiu对密苏里州北部Goodwater Creek 流域的研究中表明，SWAT模型为河岸缓冲区地表水质经济价值的评估提供了手段；模型在德国European Water Framework Directive (EUWFD)流域尺度的地表径流生态保护和化学物质标准的研究中也得到了应用。模型在希腊塞萨利区西北Pinios河网子流域AliEfenti月径流量、硝酸氮和总氮的模拟，以及在德克萨斯州Bosque 河流域的水质模拟表明了模型模拟精度的可靠和分析不同管理情形对点源和非点源污染以及日最大负载总量的应用潜力。

在国内，胡连伍等[8]将模型应用于以农业景观为主的亚热带和暖温带过渡性季风气候区域,对水文、泥沙和营养物质(氮元素)进行模拟，计算了氮元素的自净效率，验证了模型在半湿润地区水文、水质方面的适应性。李硕等[9]利用模型研究江西兴国县潋水河流域的农业非点源污染，实现模拟的空间离散化和参数化过程，证明SWAT模型能较好地预测该流域的产流产沙变化。也有类似的研究指出空间分异性较大的流域对资料的空间处理、模型参数率定和验证应成为模型研究的重要方面。

3结语

由于我国农业管理的集约化水平很低，由农业引起的非点源污染情况非常严重,在一些地方非点源污染已上升为威胁饮用水源的主要原因。在此背景下，近几年来非点源污染研究已经成为我国环境界的一个研究热点。由于水环境污染的复杂性，传统研究方法效率低且投入高，应用流域水环境模型进行污染的模拟、预测与管理措施评价则成为一种重要的研究手段。SWAT模型是先进的具有很强水文物理机制的大型分布式流域水环境模型，能够合理、有效地模拟流域范围内非点源污染物的产生及输移过程，定量计算污染负荷和输出量等参数，为水环境非点源污染的监测、控制和治理提供科学依据,具有重要的实际意义。

SWAT模型目前主要有与ARCVIEW 和GRASS紧密集成两种方式，通过集成SWAT模型空间数据输入效率、模拟输出显示和模型运行效率因集成而大大提高，为非点源研究、环境变化条件下水文响应研究和水资源管理等提供了强大的平台。然而，由于目前科学研究对于非点源污染物的迁移转化机制还不完全清楚，SWAT水环境污染子模型的机理算法势必存在不足，我国应用SWAT模型还存在诸多问题。SWAT 模型的构建需要大量的数据支持，在发达国家这些数据一般都可以免费得到，而我国对非点源污染的研究起步较晚，缺乏非点源污染完善的监测机制和制度，数据资料不完备，共享程度低，从而制约了我国非点源污染问题的研究。因此，除了对SWAT模型本身进行改进之外，还需加强对非点源污染的重视，完善我国非点源污染监测机制和制度，提高基础数据的共享水平，才能让SWAT模型更好地为决策服务。

参考文献：

[1]庞靖鹏,徐宗学,刘昌明.SWAT模型研究应用进展[J].水土保持研究,2007,(4):32-35.

[2]Schueller.The importance of imperviousness[J].Watershed Protection Techniques,1994,1(3):100-111.

[3]郝芳华,程红光,杨胜天.非点源污染模型-理论方法与应用[M].北京:中国环境科

学出版社,2006.

[4]杨菁荟,张万昌.SWA T模型及其在水环境非点源污染中的应用研究进展[J].水土保持研究,20069,(5):260-266.

[5]王中根,刘昌明,等.SWAT模型的原理、结构及应用研究[J].地理科学进展,2003,22(1):79-86.

[6]黄清华,张万昌.SWA T分布式水文模型在黑河干流山区流域的改进及应用[J].南京林业大学学报(自然科学版)2004,28(2):22-26.

[7]张蕾娜,李秀彬,王兆锋,等.一种可用于表征土地利用变化水文效应的水文模型探讨———SWAT模型在云州水库流域的应用研究[J].水文,2994,24(3):4-8. [8]胡连伍,王学军,罗定贵,等.基于SWAT2000模型的流域氮营养素环境自净效率模拟———以杭埠-丰乐河流域为例[J].地理与地理信息科学,2006,22(2):35-38. [9]李硕,孙波,曾志远,等.遥感和GIS辅助下流域养分迁移过程的计算机模拟[J].应用生态学报,2004,15:278-282.

国内外大数据产业发展现状与趋势研究

龙源期刊网 https://www.wendangku.net/doc/fa15096852.html, 国内外大数据产业发展现状与趋势研究 作者：方申国谢楠 来源：《信息化建设》2017年第06期 大数据作为新财富，价值堪比石油。 进入21世纪以来，随着物联网、电子商务、社会化网络的快速发展，数据体量迎来了爆炸式的增长，大数据正在成为世界上最重要的土壤和基础。根据IDC（互联网数据中心）预测，2020年的数据增长量将是2010年的44倍，达到35ZB。世界经济论坛报告称，“大数据为新财富，价值堪比石油”。随着计算机及其存储设备、互联网、云计算等技术的发展，大数据应用领域随之不断丰富。大数据产业将依赖快速聚集的社会资源，在数据和应用驱动的创新下，不断丰富商业模式，构建出多层多样的市场格局，成为引领信息技术产业发展的核心引擎、推动社会进步的重要力量。 大数据产业发展现状 全球大数据产业发展概况 目前，大数据以爆炸式的发展速度迅速蔓延至各行各业。随着各国抢抓战略布局，不断加大扶持力度，全球大数据市场规模保持了高速增长态势。据IDC预测，全球大数据市场规模 年增长率达40%，在2017年将达到530亿美元。美国奥巴马政府于2012年3月宣布投资2亿美元启动“大数据研究和发展计划”，将“大数据研究”上升为国家意志；2015年发布“大数据研究和发展计划”，深入推动大数据技术研发，同时还鼓励产业、大学和研究机构、非盈利机构与政府一起努力，共享大数据提供的机遇。目前，美国大数据产业增长率已超过71%，大数据在美国健康医疗、公共管理、零售业、制造业等领域产生了巨大的经济效益。英国政府自2013年开始就注重对大数据技术的研发投入，2015年投入7300万英镑用于55个政府的大数据应用项目，投资兴办大数据研究中心，通过大数据技术在公开平台上发布了各层级数据资源，直接或间接为英国增加了近490亿至660亿英镑的收入，并预测到2017年，大数据技术可以为英国提供5.8万个新的工作岗位，或将带来2160亿英镑的经济增长。法国2011年推出了公开的数据平台 date.gouv.fr，以便于公民自由查询和下载公共数据；2013年相继发布《数字化路线图》、《法国政府大数据五项支持计划》等，通过为大数据设立原始扶持资金，推动交通、医疗卫生等纵向行业设立大数据旗舰项目，为大数据应用建立良好的生态环境，并积极建设大数据初创企业孵化器。日本在《日本再兴战略》中提出开放数据，将实施数据开放、大数据技术开发与运用作为2013-2020年的重要国家战略之一，积极推动日本政务大数据开放及产业大数据的发展，零售业、道路交通基建、互联网及电信业等行业的大数据应用取得显著效果。韩国政府高度重视大数据发展，科学、通信和未来规划部与国家信息社会局（NIA）共建大数据中心，大力推动全国大数据产业发展。根据《2015韩国数据行业白皮书》统计显示， 数据服务市场规模占韩国总行业市场规模的47%，位列第一；数据库构建服务以41.8%的占有

2019国内外大数据行业现状

当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。 其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6 个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017 年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000 万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200 万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3 亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin 和投资委员LouisGallois 在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150 万欧元用于支持7 个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013 年6 月，安倍内阁正式公布了新IT 战略——“创建

大数据的国内外研究现状与发展动态分析报告

大数据的国内外研究现状及发展动态分析大数据的概念 产生的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂；信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头过河的试错阶段。中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。

国内外大数据发展现状和趋势(2018)

行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.wendangku.net/doc/fa15096852.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市

大数据发展背景及研究现状

大数据发展背景与研究现状 （一）大数据时代的背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析的时代：在大数据的世界竞争》是____年12月xx全球研究院（MGI）发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务、xx零售业、制造业、欧盟公共部门及xx健康医疗领域有很大的增长潜力。数据正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其他途径的数据形成了一项资产，产生了巨大的商业价值。苹果、亚马逊、Facebook、xx、通用微软以及阿里巴巴集团利用大数据分析及自己的优势改变了竞争的基础，建立了全新的商业模式。稀缺数据的所有者利用数字化网络平台在一些市场近乎垄断，只需用独特方式将数据整合分析，提供有价值的数据分析，几乎可以“赢家通吃”。____年全球的数据储量就达到1.8ZB，与____年相比____年大数据增长了近4倍，未来十年，全球数据存储量还将增长十倍，大数据成为提升产业竞争力和创新商业模式的新途径。大数据在企业中得到了充分的应用并实现了巨大的商业价值。xx百货的SAS系统可以根据7300种货品的需求和库存实现实时定价。零售业寡头摩尔xx通过最新的搜索引擎Polaris，利用语义数据技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，但很多数据却与世隔绝“xx闺中”，成为极大的浪费。____年，国务院印发《促进大数据发展行动纲要》，明确要求“____年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系统整合共享实施方案》，进一步推动政府数据向社会开放。 大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在公共交通、公共安全、社会管理等领域的应用。大数据与xx计算、物联网一起使得很多事情成为可能，将会是新的经济增长点。大数据随着以数据科学为核心的计算机技术的迅猛发展，推动了社会科学与自然科学等跨科学研究的发展。因此对xx乃至全国的大数据研究具有深刻而广泛的意义。

国内外大数据经典案例研究

国内外大数据经典案例研究

大数据时代的来临使得产生的数据量呈爆炸式增长，各行各业均面临着海量数据的分析、处理问题。如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。点评收集研究了国内外大数据应用的经典案例，希望可以对读者有所启示。 1、塔吉特百货孕妇营销分析 最早关于大数据的故事发生在美国第二大超市塔吉特百货。孕妇对零售商来说是个含金量很高的顾客群体，但是她们一般会去专门的孕妇商店。人们一提起塔吉特，往往想到的都是日常生活用品，却忽视了塔吉特有孕妇需要的一切。在美国，出生记录是公开的，等孩子出生了，新生儿母亲就会被铺天盖地的产品优惠广告包围，那时候再行动就晚了，因此必须赶在孕妇怀孕前期就行动起来。 塔吉特的顾客数据分析部门发现，怀孕的妇女一般在怀孕第三个月的时候会购买很多无香乳液。几个月后，她们会购买镁、钙、锌等营养补充剂。根据数据分析部门提供的模型，塔吉特制订了全新的广告营销方案，在孕期的每个阶段给客户寄送相应的优惠券。结果，孕期用品销售呈现了爆炸性的增长。2002年到2010年间，塔吉特的销售额从440亿美元增长到了670亿美元。大数据的巨大威力轰动了全美。 点评：这个案例说明大数据在企业营销上的成功，利用大数据技术分析客户消费习惯，判断其消费需求，从而进行精确营销。这种营销方式的关键在于其时机的把握上，要正好在客户有相关需求时才进行营销活动，这样才能保证较高的成功率。 2、沃尔玛“啤酒加尿布”经典案例 总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛拥有世界上最

大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析。沃尔玛数据仓库里集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘，可以很轻松地知道顾客经常一起购买的商品有哪些。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！” 这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析，经过大量实际调查和分析，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。 点评：无论“啤酒加尿布”仅仅是一个传说，还是一个真的发生过，它都已经成为大数据技术应用的一个经典案例。这个故事的意义在于将看似不相关的商品数据放在一起进行分析，找到他们之间的相关性，从而进行交叉营销，促进商品的销量。这种思维方式才是成功的关键。 3、试衣间的大数据应用 传统奢侈品牌PRADA正在向大数据时代迈进。她在纽约及一些旗舰店里开始了大数据时代行动。在纽约旗舰店里，每件衣服上都有RFID码，每当顾客拿起衣服进试衣间时，这件衣服上的RFID会被自动识别，试衣间里的屏幕会自动

国内外大数据产业发展状况分析

国内外大数据产业发展状况分析 全球大数据产业发展规模 2014年，全球大数据解决方案不断成熟，各领域大数据应用全面展开，为大数据发展带来强劲动力。2014年全球大数据市场规模达到285亿美元，同比增长53.2%。大数据逐渐成为全球IT支出新的增长点。 2014年数据中心系统支出达1430亿美元，比2013年增长2.3%。大数据对全球IT开支的直接或间接推动将达2320亿美元，预计到2018年这一数据将增长3倍。 中投顾问发布的《2016-2020年中国大数据行业投资分析及前景预测报告》从市场结构分析，2014年，全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。在全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%，基础软件占据3.8%的市场份额，网络服务仅占据了2%的市场份额。 我国大数据产业发展提速 1、基础设施建设率先起步 大数据产业“十三五”发展规划正在制定，2016年下半年将发布。这是实施国家大数据战略的又一政策举措。 大数据将是新的生产要素。政策助推知识开始，云计算、大数据、人工智能是大数据这场“新工业革命”的重要推手。其中，数据是重要资源。在此背景下，众多互联网科技企业以及传统生产企业都在积极布局大数据产业。 统计数据显示，2015年国内大数据产业市场规模已达1105.6亿元，较2014年增长44.15%。其中，大数据基础设施建设、大数据软件和大数据应用分别占比64.53%、25.47%和10%。 目前已有42家计算机行业上市公司披露了2016年上半年报业绩预告，平均增速中位数为15%。从细分领域看，大数据与人工智能子板块平均增速中位数为65%。 随着大数据产业的快速发展，受益顺序为基础设施建设率先起步，并带来数据分析、数据源、数据安全环节的发展。在基础设施方面，数据中心、服务器等领域近年来快速增长。其中，中科曙光、浪潮信息等公司服务器业务收入增长明显。 随着基础设施逐渐完善，数据分析成为了可能。数据分析服务在整体产业收入的占比也代表着大数据 中投顾问·让投资更安全经营更稳健

大数据研究综述

大数据研究综述

————————————————————————————————作者：————————————————————————————————日期： ?

大数据研究综述 摘要：从大数据基本理论，大数据存储与分析处理技术和大数据应用研究三个角度说明当前研究热点，重点比较当前大数据处理工具的优缺点,并深入归纳总结了基于数据存储大数据处理技术,对未来研究进行展望。 关键词：大数据,综述，数据处理,数据挖掘 引言 现代社会提到大数据大家都知道这是近几年才形成的对于数据相关的新名词，在1９80年，，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。在２0 世纪 8０年代我国已经有一些专家学者谈到了海量数据的加工和管理，但是由于计算机技术和网络技术的限制大数据未能引起足够的重视，它蕴藏的巨大信息资源也暂时隐藏了起来。随着云计算技术的发展，互联网的应用越来越广泛,以微博和博客为代表的新型社交网络的出现和快速发展，以及以智能手机、平板电脑为代表的新型移动设备的出现，计算机应用产生的数据量呈现了爆炸性增长的趋势。２01２年末出版的《大数据时代》的作者英国牛津大学网络学院互联网研究所治理与监管专业教授维克托·尔耶·舍恩伯格在书的引言中说,大数据正在改变人们的生活以及理解世界的方式, 而更多的改变正蓄势待发。美国总统奥巴马的成功竞选及连任的背后都有大数据挖掘的支撑,美国政府认为，大数据是“未来的新石油”,并将对大数据的研究上升为国家意志，这对未来的科技与经济发展必将带来深远影响［1］。如今，大数据已成为一项业务上优先考虑的工作任务，因为它能够对全球整合经济时代的商务产生深远的影响。大数据的应用范围如此广泛，与大数据相关的很多问题都引起了专家和学者的重视。大数据最基本的问题－大数据的定义目前还没有一个统一的定论,但大数据作为一种基础性资源需要被处理才能显现其潜在的价值，那么如何更好地处理大数据这种基础性资源就显得特别重要，因为这些问题都关系到大数据核心价值的体现。为此,本文从大数据若干个版本的概念出发,调查分析了大数据的研究和应用现状，重点分析了当前主流的大数据处理工具和技术,最后预测了大数据未来

大数据的国内外研究现状及发展动态分析

产生地背景与意义 上世纪年代到年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等.尽管当时人们称其为大数据，但以今日地数据量来看，这些数据无疑是非常有限地.随着地出现和应用增多，企业内部出现了很多以公文档为主要形式地数据，包括、文档，以及后来出现地图片、图像、影像和音频等.此时企业内部生产数据地已不仅是企业地财务人员，还包括大量地办公人员，这极大地促进了数据量地增长.互联网地兴起则促成了数据量地第三次大规模增长，在互联网地时代，几乎全民都在制造数据.而与此同时，数据地形式也极其丰富，既有社交网络、多媒体等应用所主动产生地数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集地数据.时至今日，随着移动互联网、物联网、云计算应用地进一步丰富，数据已呈指数级地增长，企业所处理地数据已经达到级，而全球每年所产生地数据量更是到了惊人地级.在数据地这种爆炸式增长地背景下，“大数据”地概念逐渐在科技界、学术界、产业界引起热议.在大数据时代，我们分析地数据因为“大”，摆脱了传统对随机采样地依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据地精确度，而是坦然面对信息地混杂；信息之“大”之“杂”，让我们分析地“据”也由传统地因果关系变为相关关系.文档收集自网络，仅用于个人学习 大数据热潮地掀起让中国期待“弯道超越”地机会，创造中国企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追地战略机遇.传统行业对于底层设备、基础技术地要求非常高，企业在起点落后地情况下始终疲于追赶.每当企业在耗费大量人力、物力、财力取得技术突破时，革命早已将核心设备或元件推进至下一阶段.这种一步落后、处处受制于人地状态在大数据时代有望得到改变.大数据对于硬件基础设施地要求相对较低，不会受困于基础设备核心元件地相对落后.与在传统数据库操作层面地技术差距相比，大数据分析应用地中外技术差距要小得多.而且，美国等传统强国地大数据战略也都处于摸着石头过河地试错阶段.中国市场地规模之大也为这一产业发展提供了大空间、大平台.大数据对于中国企业不仅仅是信息技术地更新，更是企业发展战略地变革.随着对大数据地获取、处理、管理等各个角度研究地开展，企业逐渐认识数据已经逐渐演变成“数据资产”.任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累.数据是企业地核心资产，可以是也应该是独立于软硬件系统及应用需求而存在地.大数据是信息技术演化地最新产物，确立了数据这一信息技术元素地独立地位.正因为数据不再是软硬件及应用地附属产物，才有了今天爆炸式地数据增长，从而奠定了大数据地基础.为了充分利用数据资产，大数据产业也呼之欲出.大数据时代来临，使商业智能、信息安全和云计算具有更大潜力.大数据产业链按产品形态分为硬件、基础软件和应用软件三大领域，商业智能、信息安全和云计算主横跨三大领域，将构成产业链中快速发展地三驾马车.就国内而言，商业智能市场已步入成长期，预计未来年复合年均增长率( ) 为，“十二五”期间潜在产值将超亿元; 信息安全预计未来年有望保持～地快速增长，“十二五”期间潜在产值将超亿元; 云计算刚进入成长期，预计未来年将超，年产业规模预计将达万亿元.大数据处理地基础设施数据仓库、以物联网为代表地数据收集环节、实时性强地在线数据分析工具，以及数据可视化地产品呈现，数据挖掘地应用在营销、销售、人力资源、电子商务等各个商业领域广泛开展，大数据为个性化营销和精准化推荐提供了充足地养分和可持续发展地沃土.同时大数据研究会给企业管理变革带来巨大冲击.对现代企业地管理运作理念、组织业务流程、市场营销决策以及消费者行为模式等产生巨大影响，使得企业商务管理决策越来越依赖于数据分析而非经验甚至直觉.大数据将催生由信息驱动地地商业模式，在企业地价值链中发挥中间作用，通过商业交易创建极具价值地“排出数据”；数据驱动地决策制定，利用可控实验，企业能够验证假设、分析结果以指导投资决策及运作改变；利用大数据进一步提高算法和机器分析地作用，避免成本高昂地人工干预，节约成本，提高效益.文档收集自网络，仅用于个人学习

大数据发展背景及研究现状

（一）大数据时代的背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析的时代：在大数据的世界竞争》是2016年12月麦肯锡全球研究院（MGI）发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务、美国零售业、制造业、欧盟公共部门及美国健康医疗领域有很大的增长潜力。数据正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其他途径的数据形成了一项资产，产生了巨大的商业价值。苹果、亚马逊、Facebook、谷歌、通用微软以及阿里巴巴集团利用大数据分析及自己的优势改变了竞争的基础，建立了全新的商业模式。稀缺数据的所有者利用数字化网络平台在一些市场近乎垄断，只需用独特方式将数据整合分析，提供有价值的数据分析，几乎可以“赢家通吃”。2011年全球的数据储量就达到，与2011年相比2015年大数据增长了近4倍，未来十年，全球数据存储量还将增长十倍，大数据成为提升产业竞争力和创新商业模式的新途径。大数据在企业中得到了充分的应用并实现了巨大的商业价值。梅西百货的SAS系统可以根据7300种货品的需求和库存实现实时定价。零售业寡头摩尔玛通过最新的搜索引擎Polaris，利用语义数据技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，

但很多数据却与世隔绝“深藏闺中”，成为极大的浪费。2015年，国务院印发《促进大数据发展行动纲要》，明确要求“2018年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系统整合共享实施方案》，进一步推动政府数据向社会开放。1 大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在公共交通、公共安全、社会管理等领域的应用。大数据与云计算、物联网一起使得很多事情成为可能，将会是新的经济增长点。大数据随着以数据科学为核心的计算机技术的迅猛发展，推动了社会科学与自然科学等跨科学研究的发展。因此对内蒙古乃至全国的大数据研究具有深刻而广泛的意义。 （二）国内外相关研究现状 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2大数据充斥着人类经济社会的角角落1人民网 2 6个好用大数据的秘诀

大数据发展背景及研究现状

大数据发展背景与研究现状 （一)大数据时代得背景 随着计算机存储能力得提升与复杂算法得发展，近年来得数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析得时代：在大数据得世界竞争》就是２016年１２月麦肯锡全球研究院（ＭGＩ)发表得一份报告.五年前MGI就指出大数据分析在基于定位得服务、美国零售业、制造业、欧盟公共部门及美国健康医疗领域有很大得增长潜力。数据正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其她途径得数据形成了一项资产,产生了巨大得商业价值。苹果、亚马逊、Ｆacebｏｏk、谷歌、通用微软以及阿里巴巴集团利用大数据分析及自己得优势改变了竞争得基础，建立了全新得商业模式.稀缺数据得所有者利用数字化网络平台在一些市场近乎垄断,只需用独特方式将数据整合分析，提供有价值得数据分析，几乎可以“赢家通吃"。2０１1年全球得数据储量就达到1、8ZB，与20１1年相比201５年大数据增长了近４倍,未来十年，全球数据存储量还将增长十倍，大数据成为提升产业竞争力与创新商业模式得新途径。大数据在企业中得到了充分得应用并实现了巨大得商业价值。梅西百货得SAS系统可以根据7３00种货品得需求与库存实现实时定价.零售业寡头摩尔玛通过最

新得搜索引擎Polaris,利用语义数据技术使得在线购物得完成率提升了1０％到1５%。我国信息数据资源80％以上掌握在各级政府部门手里，但很多数据却与世隔绝“深藏闺中",成为极大得浪费.2015年，国务院印发《促进大数据发展行动纲要》,明确要求“20１8年底前建成国家政府数据统一开放平台”；今年５月,国务院办公厅又印发《政务信息系统整合共享实施方案》，进一步推动政府数据向社会开放.1 大数据可以把人们从旧得价值观与发展观中解放出来，从全新得视角与角度理解世界得科技进步与复杂技术得涌现,变革人们关于工作、生活与思维得瞧法。大数据得应用十分广泛，通过对大规模数据得分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在公共交通、公共安全、社会管理等领域得应用。大数据与云计算、物联网一起使得很多事情成为可能，将会就是新得经济增长点。大数据随着以数据科学为核心得计算机技术得迅猛发展，推动了社会科学与自然科学等跨科学研究得发展.因此对内蒙古乃至全国得大数据研究具有深刻而广泛得意义。 (二)国内外相关研究现状 大数据（ｂig data),指无法在一定时间范围内用常规软件工具进行捕捉、管理与处理得数据集合，就是需要新处理模式才 1人民网