从复杂性科学到大数据技术_黄欣荣

收稿日期：２０１３－１２－０８

作者简介：黄欣荣（１９６２－）

，男，江西赣州人，哲学博士，江西财经大学马克思主义学院教授，博士生导师，主要从事科学技术哲学、管理哲学研究。

第２９卷第２期２　０　１　

４年３月长沙理工大学学报（社会科学版）

ＪＯＵＲＮＡＬ　ＯＦ　ＣＨＡＮＧＳＨＡ　ＵＮＩＶＥＲＳＩＴＹ　ＯＦ　ＳＣＩＥＮＣＥ　＆ＴＥＣＨＮＯＬＯＧＹ（ＳＯＣＩＡＬ　

ＳＣＩＥＮＣＥ）Ｖ

ｏｌ．２９Ｎｏ．２Ｍａｒ．２　０　１　

４从复杂性科学到大数据技术

黄欣荣

（江西财经大学管理哲学研究中心，江西南昌　３３００１３

）［摘要］复杂性科学与大数据技术是２１世纪前后兴起的新科学与新技术，也是世纪之交发生的科学革命与技术革命，但从思想渊源、认识论与方法论特征来看，两者具有极大的关联性，均属于系统思想的范畴，分别是系统思想的科学表述与技术实现。从复杂性科学的兴起到大数据时代的来临是一种历史的必然，因为复杂性科学为大数据技术的诞生奠定了坚实的科学基础，而大数据技术是复杂性科学理念的延续与技术实现。［关键词］复杂性；大数据；大数据技术；系统思想；比较研究

［中图分类号］Ｎ０ ［文献标识码］Ａ ［文章编号］１６７２－９３４Ｘ（２０１４）０２－０００５－０５

Ｆｒｏｍ　Ｃｏｍｐｌｅｘｉｔｙ　Ｓｃｉｅｎｃｅ　ｔｏ　Ｂｉｇ　

Ｄａｔａ　ＴｅｃｈｎｉｑｕｅＨＵＡＮＧ　Ｘｉｎ－ｒｏｎｇ

（Ｒｅｓｅａｒｃｈ　Ｃｅｎｔｅｒ　ｏｆ　Ｍａｎａｇｅｍｅｎｔ　Ｐｈｉｌｏｓｏｐｈｙ，Ｊｉａｎｇｘｉ　Ｕｎｉｖｅｒｓｉｔｙ　

ｏｆ　Ｆｉｎａｎｃｅ　ａｎｄ　Ｅｃｏｎｏｍｉｃｓ，Ｎａｎｃｈａｎｇ，Ｊｉａｎｇ

ｘｉ　３３００１３，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｃｏｍｐｌｅｘｉｔｙ　

ｓｃｉｅｎｃｅ　ａｎｄ　ｂｉｇ　ｄａｔａ　ａｒｅ　ａ　ｎｅｗ　ｓｃｉｅｎｃｅ　ａｎｄ　ｎｅｗ　ｔｅｃｈｎｏｌｏｇｙ　ｗｈｉｃｈ　ａｒｏｓｅ　ｂｅｆｏｒｅ　ａｎｄ　ａｆｔｅｒ　ｔｈｅ　２１ｓｔｃｅｎｔｕｒｙ　ａｓ　ｗｅｌｌ　ａｓ　ｔｈｅ　ｓｃｉｅｎｔｉｆｉｃ　ａｎｄ　ｔｅｃｈｎｏｌｏｇｉｃａｌ　ｒｅｖｏｌｕｔｉｏｎ　ａｔ　ｔｈｅ　ｔｕｒｎ　ｏｆ　ｔｈｅ　ｃｅｎｔｕｒｙ．Ｂｕｔ　ｆｒｏｍ　ｔｈｅ　ｆｅａｔｕｒｅｓ　ｏｆ　ｔｈｅ　ｏｒｉｇｉｎ　ｏｆｔｈｏｕｇｈｔ，ｅｐｉｓｔｅｍｏｌｏｇｙ　ａｎｄ　ｍｅｔｈｏｄｏｌｏｇｙ，ｔｈｅ　ｔｗｏ　ｔｅｒｍｓ　ｈａｖｅ　ｇｒｅａｔ　ｒｅｌｅｖａｎｃｙ，ｂｏｔｈ　ｂｅｌｏｎｇｉｎｇ　ｔｏ　ｓｃｏｐｅ　ｏｆ　ｓｙｓｔｅｍａｔｉｃ　ｔｈｏｕｇｈｔａｓ　ｅａｃｈ　ｍａｙ　ｂｅ　ｃｏｎｓｉｄｅｒｅｄ　ｔｏ　ｂｅ　ｔｈｅ　ｓｃｉｅｎｔｉｆｉｃ　ｓｔａｔｅｍｅｎｔ　ａｎｄ　ｔｅｃｈｎｏｌｏｇｉｃａｌ　ｅｍｂｏｄｉｍｅｎｔ　ｏｆ　ｓｙｓｔｅｍａｔｉｃ　ｔｈｏｕｇｈｔ．Ｆｒｏｍ　ｔｈｅ　ｒｉｓｅ　ｏｆｃｏｍｐｌｅｘｉｔｙ　ｓｃｉｅｎｃｅ　ｔｏ　ｔｈｅ　ａｄｖｅｎｔ　ｏｆ　ｔｈｅ　ｂｉｇ　ｄａｔａ　ｅｒａ，ｗｉｔｎｅｓｓ　ｔｈｅ　ｎｅｃｅｓｓｉｔｙ　ｏｆ　ｈｉｓｔｏｒｙ　ｓｉｎｃｅ　ｔｈｅ　ｆｏｒｍｅｒ　ｈａｓ　ｌａｉｄ　ｓｏｌｉｄ　ｓｃｉｅｎｔｉｆｉｃｆｏｕｎｄａｔｉｏｎ　ｆｏｒ　ｔｈｅ　ｂｉｒｔｈ　ｏｆ　ｔｈｅ　ｌａｔｔｅｒ　ｗｈｉｌｅ　ｔｈｅ　ｌａｔｔｅｒ　ｃａｎ　ｂｅ　ｓｅｅｎ　ａｓ　ｔｈｅ　ｃｏｎｔｉｎｕｉｔｙ　ａｎｄ　ｔｅｃｈｎｏｌｏｇｉｃａｌ　ｅｍｂｏｄｉｍｅｎｔ　ｏｆ　ｔｈｅ　ｃｏｎ－ｃｅｐ

ｔ　ｏｆ　ｔｈｅ　ｆｏｒｍｅｒ．Ｋｅｙ　

ｗｏｒｄｓ：ｃｏｍｐｌｅｘｉｔｙ；ｂｉｇ　ｄａｔａ；ｂｉｇ　ｄａｔａ　ｔｅｃｈｎｉｑｕｅ；ｓｙｓｔｅｍａｔｉｃ　ｔｈｏｕｇｈｔ；ｃｏｍｐａｒａｔｉｖｅ　ｓｔｕｄｙ ２

０１３年被称为大数据的元年。从这年开始，大数据像旋风一样吹遍世界，世界也快速地跨入了大数据时代。大数据究竟是怎么回事？它的精神实质和科学理念是什么？它与世纪之交的复杂性科学运动有什么关系？通过考察大数据技术的特点，我们很快会发现，大数据技术与复杂性科学有着千丝万缕的联系。因此，我们有必要通过回顾复杂性科学与大数据技术的发展历程与特点来看看复杂性科学与大数据技术之间的关系。

一、

复杂性科学的兴起２

０世纪末，科学发展史上的一个重大事件是复杂性科学的兴起。什么是复杂性？什么是复杂性科学？学术界一直没有一个统一的定义或意见，但比较一致的是，不少科学家认为近现代西方科学经过数百年的发展，取得了巨大的成就，但也出现了一些难于克服的困境，因此需要另辟蹊径来找到科学发

展的新路径［

１］（Ｐ１３－１５）

。世纪之交的时候为什么会突然兴起复杂性科

５

学？也就是说复杂性科学的缘起是什么？这要从传统科学的方法论特点说起。西方科学从古希腊开始就致力于寻找科学生长的“本原”或“始基”，例如第一位哲学家、科学家泰勒斯就追问世界的本原问题，并认为水是万物的本原。后来的诸学派虽然对构成本原的具体物质究竟是什么这一问题上存在分歧，但认为世界存在本原这一点上却是一致的。按照追寻本原这一方法论传统，古希腊学者们认为世间万物都可以分拆，而且可以一路分解、追寻下去，直到不能再分的“本原”，这就是科学方法论中的所谓还原论。原子论认为万事万物都是由最基本的原子构成，这被认为是古希腊还原论的最高成就，并且一直影响到近现代科学。

文艺复兴之后，牛顿利用隔离、分解、还原的方法把研究对象进行孤立、静止的力学研究，取得了巨大的成就，发现了牛顿力学三大定律和万有引力定律。根据牛顿这套科学方法，物理、化学、地学、医学、生物学等各门学科都取得了巨大成就，并纷纷从哲学母体中独立出来成为一门独立的自然科学，而工程技术人员则根据牛顿定律，制造出各种各样的高效机器。牛顿这套科学方法经过近代西方哲学家们的总结，成为大名鼎鼎的机械还原论，简称为还原论。所谓机械还原论，就是将研究对象假定为没有生命的机械，将对象与其他事物隔离开来单独进行分解、剖析，将宏观对象还原到微观要素，直到不能再分解为止，然后研究要素的结构、功能等，也就是说，还原论通过研究要素来达到认识对象的目的［２］。近现代科学技术在机械自然观和还原方法论的指导下一路高歌，所向披靡，捷报频传，以至于哲学家们认为所谓科学方法论就是机械还原论。

随着现代科学的发展，机械还原论虽然仍然披荆斩棘，但暴露的问题也越来越多，特别是面对生物世界和生命现象。其实，早在１９世纪，马克思、恩格斯就通过辩证法批判了机械还原论，把它称为形而上学，并将其总结为孤立、静止地看世界［３］。２０世纪３０年代，奥地利学者贝塔朗菲开始对机械还原论提出系统的清算，并于二战之后提出一般系统论来对抗机械还原论。随后申农的信息论、维纳的控制论都是针对还原论的不足而提出的。１９７０年代，学者们先后提出了耗散结构理论、协同学和突变论，对机械还原论进行了更深入的批判。１９８０年代中期，深得还原论好处的三位诺贝尔奖获得者盖尔曼、安德森、阿罗深感还原论的局限，从而反戈一击，正式提出超越还原论的口号，并在美国新墨西哥州成立从事跨学科、跨领域的研究机构：圣菲研究所。这就是著名的“老帅倒戈”事件，由此也就掀起了１９９０年代的复杂性科学运动。复杂性科学要求超越还原论，并复兴被西方科学久已忘记的整体论。１９９９年，美国著名的《科学》杂志推出复杂性科学专刊，这标志着复杂性科学得到了国际科学界的承认，获得了进入科学共同体的入场券［１］（Ｐ　３９－５２）。

复杂性科学从深层的方法论上进行革命，试图打破将研究对象当作没有生命的机器，可以不断向下分解、还原的路径，提出应该将研究对象当作具有生命活力的整体系统，并且重视要素组合所带来的结构、功能的涌现，从而理解整体为什么不一定等于部分之和。复杂性科学试图打破传统学科的重重藩篱，找到不同学科之间相互联系、相互合作的机制，并力图打破自牛顿力学以来主宰世界的线性思维，抛弃还原论适用于一切科学的幻想。最重要的是，复杂性科学试图创立新的科学范式，用科学新范式和新思维来理解世界。

复杂性科学将以往的以还原论为方法论特征的科学统称为简单性科学，而从简单性科学发展到复杂性科学，首先是带来了科学方法论的革命，继而引发了自然观、科学观、价值观和思维方式的变革，因此是科学范式的更替和革命。复杂性科学范式有着许多美好的愿景，在圣菲研究所科学家霍兰以及其他一些学者的共同努力下，复杂性科学快速兴起，并形成了一场复杂性运动。在复杂性运动的感召下，许多学科和领域都引入复杂性的科学理念和方法，并获得了初步的成功。然而，经过２０多年的科学实践，复杂性科学并没有取得预想的革命性突破，反而被人讽刺为“混杂学”，复杂性科学运动的热潮似乎也在慢慢降温。

二、大数据时代的来临

正当复杂性科学发展似乎停步不前、受人质疑之时，大数据技术却轰轰烈烈地来到我们面前。人们欣然发现，我们不知不觉已经步入了大数据时代。大数据是什么？大数据给我们带来了什么？大数据会引发什么样的思维变革和社会变革？这些问题都需要我们去回答。

究竟什么是大数据？目前没有一个统一的认

６

长沙理工大学学报（社会科学版） 第２９卷

识。总的说来，这跟以前我们并不特别重视的数据有关。从狭义上来说，所谓数据就是用阿拉伯数字表示的一些数字，但在计算机时代，凡是能够表达为０和１，即能够被计算机识别的符号都广义地被当作数据。大数据（Ｂｉｇ　ｄａｔａ）并不是说数据的大小，而是涉及数据量的多少，它与小数据相对应。因此，所谓大数据是指数据量特别巨大，“超出了传统意义上的尺度，一般的软件工具难于捕捉、存储、管理和分析的数据。”［４］这些数据不仅数量大，而且异质、复杂、来源不同、分散各处［５］。至于数据量究竟有多大才能称为大数据，不同的时代以及不同的处理能力对这个问题的答案也不同，因此没有普适的标准。目前来说，一般认为，数据量到达“太字节”（２４０），可能就被称为大数据［４］。全球著名的麦肯锡公司认为，我们不需要给出划分大小数据的分界标准，因为随着技术的进步以及处理能力的增强，这个分界线会不断变化，但不变的是，我们总会遇到当时难于处理的巨大数据量。从数据量大小来理解大数据只是一种狭义、字面的概念。从广义来说，大数据是一种世界观，因为从大数据的眼光来看，世界上的一切都可以表征为数据，或者说，世界的本质就是数据。

虽然大数据的概念刚被提出，但数据的观念以及大数据的思想却早已存在，因此大数据时代的来临也是经过了其发生、发展的历程，而不是突然降临的。数的概念及其使用极为久远，远至古埃及、巴比伦，但最著名的莫过于古希腊毕达哥拉斯提出的“数是万物的本原”的观点。在西方科学传统中，数量化、数学化是走向科学化、技术化的必然途径。在我国，以阴阳为标志的易经理论将万事万物都纳入二进制的符号中，这是最早的二进制数据系统。随着二战后信息论的提出，信息、编码、解码等专业词汇逐渐被人们熟悉。特别是随着计算机技术的发展，人们逐渐认识到，构成计算机技术的除了硬件、软件之外，还有特别重要的数据，因此数据被提高到前所未有的重要地位。

１９８０年代，托夫勒在《第三次浪潮》一书中超前地提出了信息社会的来临，并直接提出了大数据的概念，贝尔也在其《后工业社会的来临》一书中宣告工业社会行将结束，信息社会即将来临。２０世纪末，美国总统克林顿提出“信息高速公路计划”，将信息网络建设纳入国家计划中。比尔·盖茨则在其《未来之路》中描绘了未来网络世界的前景，而尼葛洛庞帝则在其《数字化生存》中直接憧憬了未来数字化生活的状态。这些信息革命的先知们都在告诉我们：信息社会即将来临。如今大数据时代的到来可以看作是信息社会的真正降生，是信息社会预言的真正实现。

与以往的小数据相比，现在的大数据有如下四个特点，有人将其简称为４个“Ｖ”［６］：第一，Ｖｏｌｕｍｅ（大量），即数据数量巨大。从ＴＢ级别，跃升到ＰＢ级别（１ＴＢ＝１０１２ｂｔ，１ＰＢ＝１０１５ｂｔ）；第二，Ｖａｒｉｅｔｙ（多样），即数据类型繁多。除了标准化的结构化编码数据之外，还包括网络日志、视频、图片、地理位置信息等等非结构化或无结构数据。第三，Ｖａｌｕｅ（价值），即商业价值高，但价值密度低。在数据的海洋中不断寻找，才能掏出一些有价值的东西，被形象地称为“沙里淘金”。第四，Ｖｅｌｏｃｉｔｙ（高速），即处理速度快，实时在线。各种数据基本上实时、在线，并能够进行快速的处理、传送和存储，以便全面反映对象的当下状况。

随着大数据时代的来临，我们的工作、生活和思维方式都产生了巨大的改变。英国大数据权威维克托·迈尔－舍恩伯格在其畅销书《大数据时代》中预言：“大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……”［７］（Ｐ１）

三、复杂性科学与大数据技术的特征比较

复杂性科学的兴起与大数据时代的来临看似好像两件不相干的历史事件，但它们先后兴起并交替发展，应该存在一定的相关性，为此我们先看看它们的特点，然后进行比较并发现它们之间的关系。

复杂性科学刚刚兴起就被人认为是一场科学革命，并代表着２１世纪科学的方向。它为什么能获得如此高度的评价呢？这是因为复杂性科学在本体信念、认识趣向、价值观念、方法特色等诸多方面都与传统的简单性科学有着重大的差别，从简单性科学到复杂性科学是科学范式的革命，因此复杂性科学必然具有自身的特点。关于复杂性科学的特性，不同的学者有不同的看法，但它主要表现为以有机自然观的为前提，以非线性为核心，并由此推演出复杂系统的整体性、自主性、关联性、涌现性和多样性等特性［１］（Ｐ７１）。

复杂性科学不再像简单性科学那样把世间万物

７

２０１４年第２期黄欣荣：从复杂性科学到大数据技术

都看作没有生命力的机械，而是把万事万物都看作具有自身生命和活力的有机体，因此这个世界充满着勃勃生机，不像机械自然观描述的那样一个死寂的世界。由于每个生命体都有自己的独特个性，会按照自己的方式思维和行事，因此并不会完全按照刺激的大小成比例地做出响应，因此在生命世界里，非线性具有普遍性，而线性只是非线性的特例，而且复杂性的整体性、自主性、关联性、涌现性和多样性等特性都是由于非线性引起的。

由于非线性的存在，复杂系统的任何局部信息都不可能代表着全局。如果要对复杂对象进行真正的把握，就必须以整体、全局的观点来进行，因此面对复杂系统，我们必须树立全局视野，整体地把握对象，而不能像线性系统一样可以由解剖局部而知全局，析一发而知全身。复杂性科学认为，构成复杂系统的各种要素都有自己的目标和行为，具有自己的自主性和主动性，不像机械系统一样只会被动接受，所以复杂性科学权威霍兰将其称为“适应性主体”或“主体”，以强调其主动性与适应性。在复杂系统中，各要素之间紧密相连，存在着各种各样的复杂联系，而且它们之间的联系不一定呈直接的比例关系，因此在复杂性科学视野看来，万事万物都是相互联系的，事物之间构成复杂的关联网络。由于各要素都具有自主性，并且存在非线性相互作用，从时间上来说不同的时刻具有不同的状态，从空间上来说不同的空间也具有不同的状态。因此，复杂系统在时间上呈现出的系统涌现性，即不断有新结构、功能或状态出现；在空间上呈现出系统的多样性，即在不同的空间，系统的结构、功能或状态也不一样。

大数据是一场数据技术的大变革，它刚来临就被认为是一场真正的技术革命，并被预言即将带来工作、生活和思维方式等全方位的影响。舍恩伯格用“更多、更杂、更好”简洁地描绘了大数据技术的思维变革［７］（Ｐ　１７－２０）。所谓“更多”，就是力求掌握与研究对象有关的更多数据，可谓多多益善。在小数据时代，由于是线性关系，只要有少量数据就能把握全局。如果数据太多，由于处理能力有限，我们必须采用抽样技术来进行抽样处理，将大量数据简化为少量数据。在大数据时代，由于网络和分布处理技术的进步，再大的数据量都有能力处理，因此要求尽其所能收集所有数据，以便更充分反映研究对象各种微观细节。因此，大数据时代追求的“不是随机样本，而是全体数据”［７］（Ｐ２７），而这所有数据正好刻画了研究对象的整体，因此所谓“更多”其实就是复杂性科学中整体性的科学描述。

所谓“更杂”，就是允许各种各样的数据存在，并不要求整齐划一的格式。在小数据时代，所有数据都按标准格式进行收集和处理，但在大数据时代，收集数据和处理数据都特别便捷和容易，而且往往是泥沙俱下，因此相关数据复杂多样。在大数据时代，我们追求数据的“不是精确性，而是混杂性”［７］（Ｐ４５），而这里所谓的混杂性就是复杂性科学中所谓的多样性的体现。

所谓“更好”，就是不像小数据时代那样，万事都追问“为什么”，总想弄清事物之间的微观因果关系，而是只要存在的就是合理的，只问“是什么”，不问“为什么”，对事物之间的关系不要求弄清因果细节，只追求那些宏观上会引起变化的数据之间的关联关系。因此，在大数据时代，我们追求的“不是因果关系，而是相关关系”［７］（Ｐ６７）。这里的相关关系正好反映了复杂性科学中的所谓关联性和非线性特征。

由舍恩伯格所描述的大数据之三大变革可以看出，大数据技术所反映的特点与复杂性科学的特点几乎是一致的。我们只要略加推导，就可以证明两者之间的等价性，因此复杂性与大数据具有强相关关系。我们可以说，复杂性科学与大数据技术在世界观、认识论和方法论诸多方面都是相通的，皆属于同一科学范式之中，都是系统科学体系这个大家庭的成员。

四、大数据技术是复杂性科学的技术实现

虽然复杂性科学与大数据技术属于同一科学范式，但它们分属于不同的层次，复杂性科学属于科学的范畴，而大数据技术属于技术的范畴，它们有着本质的区别。

从科学技术史来说，科学与技术的发展并不完全平衡，而是往往表现为交错性。在近代科技革命以前，科学与技术基本上属于独立发展，相互之间很少有交错。第一次科技革命开始，科学与技术之间有了交集，不过往往是技术发展在先，而科学认识在后。从第二次科技革命开始，科学与技术就完全交错在一起，而且往往科学发展在先，然后科学思想慢慢技术化，从而实现科学推动技术。二战以后，科学和技术很难分出先后，往往是相互激励，相互促进，并行发展。

复杂性研究虽然也有不同层次，从哲学到科学，

８

长沙理工大学学报（社会科学版） 第２９卷

然后是技术与工程，但世纪之交的复杂性研究更多地侧重于哲学与科学层面的研究，因此我们更多时候将其称为复杂性科学。大数据研究也有不同层次的研究，有大数据哲学、大数据科学、大数据技术和大数据工程等，但当前的大数据研究更多地侧重于技术与工程层次的研究，因此我们往往把大数据研究称为大数据技术。从本文第一部分与第二部分对复杂性科学与大数据技术的历史回顾中可以看出复杂性科学与大数据技术虽然思维方式上基本一致，思想认识上有交叉，但科学家与工程师们分属于不同学科层次，因此并没有形成研究共同体。从发展历史来看，复杂性思想起源于系统思维，所以应该比大数据思想兴起更早，且不说追溯到马克思恩格斯，就从贝塔朗菲来说，也起步于２０世纪初期。随后经历过所谓的“老三论”、“新三论”等几个发展阶段，最后在圣菲研究所的催生下，复杂性科学研究于世纪之交蓬勃发展起来。大数据研究主要与二战之后的计算机研究紧密相连。计算机发展早期，数据的地位并没有凸显出来，那时的数据只是计算机需要处理的对象。随着计算机技术的发展，软件、数据逐渐凸显并先后成为独立于计算机硬件的重要构件。特别是世纪之交计算机网络的彻底形成与智能设备的广泛应用，数据才被提高到前所未有的地位，并成为当前大数据研究的导火索。

复杂性研究与大数据研究的过程中，两种看似独立发展着，实际上通过计算机和网络技术，两者早就难解难分，只是一个属于科学阵营，一个属于技术领域，并且有时还说着不同的行话，因此其交错性还没有完全凸显出来。从科学技术的关系来说，两者之间是难于分离的。技术脱离科学思维是瞎子，而科学脱离技术实现就是跛子，或者说，没有技术实现的科学是空洞的，而没有科学指导的技术是盲目的。复杂性科学研究在世纪之交的２０多年时间里曾经发展得轰轰烈烈，被迅速称为２１世纪科学发展的方向。但是由于复杂性研究主要集中在哲学与科学等思想、思维、认识层次，因此更多的是对科学家的思维方式产生了一定的影响，而对大众的工作、生活影响不大，对社会、经济和产业也还没有形成很大的冲击。换句话说，复杂性科学的兴起对哲学与科学思维产生了巨大的反响，但对大众工作和生活改变不大。但是，大数据技术的兴起就完全不同。刚刚开始，人们就感觉到了大数据的冲击力，甚至将彻底改变我们的日常工作方式和生活方式，当然由此也就改变着我们的思维方式。由于没有技术的支持，复杂性难于对日常生活产生影响，因此复杂性运动近年来有了衰落之势，并被人嘲讽为混杂学。如今，大数据技术继承了复杂性科学的新思维，并将复杂性的思想物质化、技术化和工程化，从而让复杂性科学思想发扬光大，并对日常工作和生活方式产生革命性的改变。我们可以说，复杂性是大数据技术的科学基础，而大数据是复杂性科学的技术实现。

五、结语

复杂性科学与大数据技术是２１世纪的科学和技术革命，这两者之间看似不甚相干，但深入研究后发现，两种之间具有深刻的关联，两种在本体信念、认识趣向、价值观念和思维方法上都是一致的，都属于系统科学技术的范式之中。复杂性科学为大数据技术的发展奠定了科学的基础，而大数据技术让复杂性科学思想得到了技术的实现，从而对社会经济、日常工作、生活方式、思维方法都产生大变革。可以说，从复杂性科学到大数据技术的发展是一种历史的必然，是系统思想的逻辑发展。因此，如果将大数据研究与复杂性研究结合起来，形成一个协同的学科体系，必然会相互促进，共同发展，并对社会经济和工作生活产生更大的影响。

［参考文献］

［１］黄欣荣．复杂性科学的方法论研究［Ｍ］．重庆：重庆大学出版社，２０１１．

［２］笛卡尔．谈谈方法［Ｍ］．北京：商务印书馆，２０００：１６．

［３］黄欣荣．恩格斯的复杂性思想及其当代价值［Ｊ］．湘潭大学学报（哲学社会科学版），２０１３（４）：９６－９９．

［４］涂子沛．大数据———正在到来的数据革命［Ｍ］．南宁：广西师范大学出版社，２０１３：５７．

［５］Ｌｕｃｉａｎｏ　Ｆｌｏｒｉｄｉ．Ｂｉｇ　ｄａｔａ　ａｎｄｔｈｅｉｒ　ｅｐｉｓｔｅｍｏｌｏｇｉｃａｌ　ｃｈａｌｌｅｎｇｅ［Ｊ］．Ｐｈｉｌｏｓ　Ｔｅｃｈｎｏｌ，２０１２（２５）：４３５－４３７．

［６］李德伟，李济汉，王海平，等．大数据改变世界［Ｍ］．北京：电子工业出版社，２０１３：７．

［７］维克托·迈尔－舍恩伯格，肯尼斯·库克耶．大数据时代［Ｍ］．杭州：浙江人民出版社，２０１３．

９

２０１４年第２期黄欣荣：从复杂性科学到大数据技术

经济研究与复杂性科学_苗东升

首都师范大学学报（社会科学版）Journal of Capital Normal University 2010年第2期 （Social Sciences Edition ） （总第193期） 经济研究 经济研究与复杂性科学 苗东升 摘要：本文讨论了经济研究与复杂性科学的互动关系，指出经济学前沿出现了把复杂性当复杂性对待的趋势，最后对中国经济学的发展提出一些想法。关键词： 复杂性；经济研究；复杂性科学；社会主义市场经济 中图分类号：F0－05 文献标识码：A 文章编号：1004－9142（2010）02－0030－07 收稿日期：2009- 11-22作者简介：苗东升，男，山西榆社人，中国人民大学哲学院教授。（北京100872） 一、经济研究是培育复杂性 科学的温床之一 复杂性科学从孕育到产生的历史可以简单概述为：19世纪与20世纪之交开始孕育，历时40多年；1940年代开始把复杂性看成科学概念，意识到复杂性正在成为科学前沿的研究对象，提出一系列有助于理解和描述复杂性的概念、方法、观点；70至80年代之交初步形成复杂性科学。一切科学思想都来自社会实践， 复杂性科学亦然。经济是社会的基础，经济活动本质上属于复杂系统， 因而是培育复杂性科学思想的重要土壤。科学整体作为系统，从简单性科学这种历史形态演化为复杂性科学这种历史形态， 需要而且事实上经历着一系列观念和方法的转变。今天回头看去，这一进程中始终有来自经济研究的影响和推动。其表现是多方面的，我们仅就以下五点略加说明。 1.从物理到事理。简单性科学是广义的物 理学（自然科学），只研究物质关系和物质运动，不涉及人的因素起重要作用的事理现象。研究事理既要考虑物质关系和物质运动，也要考量人的情感、思想、决策、行为等因素，原则上属于复杂性范畴。科学转型演化的一种必不可少的思想准备是从单纯的物质观转向同时承认事理观。这一转变始于20世纪初，人们试图把自然科学的方法应用于事理现象，主要是经营管理问题，逐步形成运筹学。运筹学遵循投入最小化、 收益最大化这一经济原则，用数学方法描述和处理有限资源分配、目标搜索、设备更新之类事理问题。列昂惕夫（1973）、康托罗维奇（1975）就是以运筹学的出色工作而获得经济学诺贝尔奖的。今天看来，运筹学能够有效解决的还是所谓硬系统、硬运筹、硬事理问题，原则上仍属于简单性科学。但它冲破单纯的物理观，开辟通向研究软系统、软运筹、软事理这类复杂性问题的道路，是经济对复杂性研究的重要影响。 3

大数据综述

Computer Science and Application 计算机科学与应用, 2018, 8(10), 1503-1509 Published Online October 2018 in Hans. https://www.wendangku.net/doc/9e16402576.html,/journal/csa https://https://www.wendangku.net/doc/9e16402576.html,/10.12677/csa.2018.810163 Overview on Big Data Kaiyue Liu China University of Mining & Technology (Beijing), Beijing Received: Oct. 1st, 2018; accepted: Oct. 11th, 2018; published: Oct. 19th, 2018 Abstract As a current popular technical, big data has received wide attention from every industry. In order to further understand big data, this paper comprehensively describes big data from the six aspects: The basics of big data, the origin and development status of big data, big data processing, big data application, big data challenges and the future of big data. The basics of big data include the con-cepts and differences between big data and traditional databases, and the characteristics of big data. The big data processing includes generating and getting data, preprocessing data, data sto-rage, analyzing and mining data. This article is a systematic review of big data, and can establish a good knowledge system for scholars who are new to big data. Keywords Big Data, Data Storage, Data Mining, Data Visualization, Big Data Application 大数据综述 刘凯悦 中国矿业大学(北京)，北京 收稿日期：2018年10月1日；录用日期：2018年10月11日；发布日期：2018年10月19日 摘要 大数据作为当今的热点技术，受到了各行各业的广泛关注。为了进一步认识大数据，本文从大数据的基础、大数据的起源和发展现状、大数据的处理流程、大数据的应用、大数据面临的挑战、大数据未来展望六个方面对大数据进行了综合性描述。其中大数据基础包括大数据和传统数据库的概念和区别、大数据的特性，处理流程包括数据生成和获取、数据预处理、数据存储、数据分析挖掘。本文是大数据的系统性综述，可以对初次接触大数据的学者建立了良好的知识体系。

大数据的核心技术(二)

我们在上一篇文章中给大家介绍了大数据的部分核心技术，分别是数据挖掘和机器学习。在大数据中，数据挖掘和机器学习都是发挥了不同的功能。在这篇文章中我们给大家介绍一下人工智能和其他大数据处理的基础技术，希望这篇文章能能够给大家带来帮助。 首先说说人工智能，AI和大数据是相互促进的关系，一方面，AI基础理论技术的发展为大数据机器学习和数据挖掘提供了更丰富的模型和算法，如近几年的深度学习一系列技术和方法；另一方面，大数据为AI的发展提供了新的动力和燃料，数据规模大了之后，传统机器学习算法面临挑战，要做并行化、要加速要改进。AI的终极目标是机器智能化拟人化，机器能完成和人一样的工作，人脑仅凭几十瓦的功率，能够处理种种复杂的问题，怎样看都是很神奇的事情。虽然机器的计算能力比人类强很多，但人类的理解能力，感性的推断，记忆和幻想，心理学等方面的功能，机器是难以比肩的，所以机器要拟人化很难单从技术角度把人工智能讲清楚。人工智能与机器学习的关系，两者的相当一部分技术、算法都是重合的，深度学习在计算机视觉和思考等领域取得了巨大的成功，但是如果真正的做到仿生，还是比较困难的。 然后就是其它大数据处理基础技术。一般来说，大数据除了之前提到的内容，还有很多的基础技术，大数据基础技术包括计算机科学相关如编程、云计算、分布式计算、系统架构设计等方向，还有机器学习的理论基础包括如算法、数据结构、概率论、代数、矩阵分析、统计

学习、特征工程等方面；商业分析与理解如领域知识管理、产品设计、可视化等技术；数据管理如数据采集、数据预处理、数据库、数据仓库、信息检索、多维分析、分布式存储等技术。这些理论与技术是为大数据的基础管理、机器学习和应用决策等多个方面服务的。只有掌握了这些内容，我们才能够更好的使用大数据为我们发挥更多的功能。 以上的内容就是小编为大家介绍的大数据的核心技术了。大数据的核心技术就是数据挖掘、机器学习、人工智能和其他的大数据处理基础技术，最后感谢大家的阅读。

云计算的五大核心技术

：首页 > 技术文库 > 技术服务 > 信息产业化 > 文章内容:云计算的五大核心技术 云计算的五大核心技术 云计算的五大核心技术 newmaker 云计算系统运用了很多技术，其中以编程模型、数据治理技术、数据存 储技术、虚拟化技术、云计算平台治理技术最为关键。 1)编程模型 MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce 模式的思想是将要执行的题目分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。 2) 海量数据分布存储技术 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS 的开源实现HDFS。 GFS即Google文件系统（Google File System），是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被很多客户（Client）访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块确当前位置。它也控制系统范围的活动，如块租约（lease）治理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat 消息与每一个块服务器通讯，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。

复杂系统

系统是什么意思？复杂是什么意思？复杂系统又是什么意思？ 复杂系统和简单系统的区别在哪里？ 复杂系统的特征和基本性质是什么？ 现实生活和科研中我们接触到哪些复杂系统及其性质的实例？ 我们平时所接受的教育，对于自然界和人类世界的理解，所使用的基本假设和前提，有多少是来自于简单系统？可能存在哪些局限性？ 对于复杂系统的理解，会给我们的思维带来哪些变革，给科研和社会生活带来哪些新的启发？ 系统是由若干相互联系、相互作用的要素组成的具有特定结构与功能的有机整体。 简单系统： 微积分、牛顿力学、热力学的研究对象；机械结构、理想气体 死的，不演化的组分少线性的可还原的 复杂系统： 细胞；生物体；大脑；社会组织；生态系统 活的，演化的3个以上组分非线性的不可还原的涌现性 复杂系统 具有变量来自不同标度层次的结构，或者大量相互之间有差别的单元构成的动态系统。通常表现出复杂性，但也可能出现简单性。 复杂系统是具有中等数目基于局部信息做出行动的智能性、自适应性主体的系统。复杂系统是相对牛顿时代以来构成科学事业焦点的简单系统相比而言的，具有根本性的不同。简单系统它们之间的相互作用比较弱，比如封闭的气体或遥远的星系，以至于我们能够应用简单的统计平均的方法来研究它们的行为。而复杂并不一定与系统的规模成正比，复杂系统要有一定的规模，复杂系统中的个体一般来讲具有一定的智能性，例如组织中的细胞、股市中的股民、城市交通系统中的司机，这些个体都可以根据自身所处的部分环境通过自己的规则进行智能的判断或决策。 定义 复杂系统（complexsystem）是具有中等数目基于局部信息做出行动的智能性、自适应性主体的系统。复杂系统是一个很难定义的系统，它存在于这个世界各个角落。如此，我们也可以这样定义它: 1.不是简单系统，也不是随机系统。 2.是一个复合的系统，而不是纷繁的系统（It'scomplexsystem,notcomplicated.） 3.复杂系统是一个非线性系统。 4.复杂系统内部有很多子系统（subsystem），这些子系统之间又是相互依赖的（interdependence），子系统之间有许多协同作用，可以共同进化（coevolving）。在复杂系统中，子系统会分为很多层次，大小也各不相同（multi-level&multi-scale）。 关于系统的分类（和复杂系统相关的系统） 通俗的讲系统可以分为三类： a)简单系统simplesystem，特点是元素数目特别少，因此可以用较少的变数来描述，这种系统可以用牛顿力学去加以解析。简单系统又是可以控制的，可以预见的，可以组成的。在管理学中，这种组织一般是出现在组织的初期，比如一个班级，抱着同样的目的，有同样

大数据核心技术A卷

精心整理 岭南师范学院2015年－2016 学年度第二学期 期末考试试题A 卷 (考试时间:120分钟) 考试科目：大数据核心技术 1.下面哪个程序负责HDFS 数据存储。 （C ） https://www.wendangku.net/doc/9e16402576.html,Node B.Jobtracker C.Datanode D.secondaryNa meNode 2.HDFS 中的block 默认保存几 个备份。（A ） A.3份 B.2份 C.1份 D.不确定 3.HDFS1.0默认BlockSize 大小是多少。（B ） 5.Hadoop1.0默认的调度器策略是哪个。（A ） A.先进先出调度器 B.计 算能力调度器 C.公平调度器 D.优先级 调度器

精心整理 6.Client端上传文件的时候 下列哪项正确？（B） A.数据经过NameNode传 递给DataNode B.Client端将文件切分 为Block，依次上传 C.Client只上传数据到 一台DataNode，然后由NameNode 负责Block复制工作 D.以上都不正确 7.在实验集群的master节点 使用jps 现以下哪项能说明Hadoop 启动成功？（D） econdaryNameNode https://www.wendangku.net/doc/9e16402576.html,node,Datanode,H Master https://www.wendangku.net/doc/9e16402576.html,node,JobTracker ,secondaryNameNode 8.若不针对MapReduce编程 模型中的key和value值进行特别 设置，下列哪一项是MapReduce 不适宜的运算。（D） A.Max B.Min C.Count D.Average 对 10.以下哪一项属于非结构化 C） A.企业ERP数据 B.财务系 统数据 C.视频监控数据 D.日志 数据 11.HBase数据库的 BlockCache缓存的数据块中，哪 一项不一定能提高效率。（D） A.–ROOT-表 B..META.表

复杂系统与复杂性科学

第5卷第4期　 复杂系统与复杂性科学　Vol .5No .42008年12月　 COM P LEX SYSTE M S AND COM P LEX I TY SC I E NCE Dec .2008文章编号:1672-3813(2008)04-0021-08 收稿日期:2008-10-10 基金项目:国家基础研究计划973项目(2006CB705500);国家自然科学基金(60744003,10635040,10532060,10472116);中国科学院院长基金 特别支持项目计划《复杂网络的结构与功能及动力学性质研究》;高等学校博士学科点专项科研基金(20060358065) 作者简介:汪秉宏(1944-),男,江西婺源人,教授,中国科学技术大学理论物理研究所所长,主要研究方向为复杂系统理论、复杂性科学、统计 物理、计算物理和非线性动力学。 当前复杂系统研究的几个方向 汪秉宏1,2,周　涛 1,3,王文旭4,杨会杰2,5,刘建国1,3,赵　明1,6,殷传洋7,韩筱璞1,谢彦波 1(1.中国科学技术大学近代物理系理论物理研究所复杂系统研究组,合肥230026; 2.上海系统科学研究院及上海理工大学复杂适应系统研究所,上海200093; 3.瑞士弗里堡大学物理系,瑞士弗里堡CH -1700;4.亚利桑那州立大学电子工程系,美国亚利桑那州85287-5706; 5.新加坡国立大学物理系,新加坡119077; 6.香港浸会大学物理系,香港; 7.南京信息工程大学,南京210044) 摘要:复杂系统与复杂性科学被誉为21世纪的科学,是吸引跨学科广泛注意的新 型交叉科学。简要概述了复杂系统研究的几个重要方向,包括网络同步、网络交通 流、新一代信息网络的结构和动力学、演化合作博弈、生物网络复杂性、人类动力学 和信息物理学。 关键词:复杂系统;复杂性科学;复杂网络;人类动力学;信息物理学 中图分类号:N94文献标识码:A Severa l D i recti on s i n Co m plex Syste m Research WANG B ing 2hong 1,2,Z HOU Tao 1,3,WANG W en 2xu 4,Y ANG Hui 2jie 2,5,L IU J ian 2guo 1,3,ZHAO M ing 1,6,YIN Chuan 2yang 7,HAN Xiao 2pu 1,X IE Yan 2bo 1(1.Depart m ent of Modern Physics,I nstitute of Theoretical Physics and Gr oup of Comp lex Syste m, University of Science and Technol ogy of China,Hefei 230026,China; 2.I nstitute of Comp lex Adap tive Syste m s,Shanghai Acade my of Syste m Science and University of Shanghai f or Science and Technol ogy,Shanghai 200093,China; 3.Depart m ent of Physics,University of Fribourg,Fribourg CH -1700,S witzerland; 4.Depart m ent of Electr onic Engineering,A rizona State University,A rizona 85287-5706,US A; 5.Depart m ent of Physics,Nati onal University of Singapore,119077,Singapore; 6.Depart m ent of Physics,Hong Kong Bap tist University,Hong Kong,China; 7.Nanjing University of I nfor mati on Science and Technol ogy,Nanjing 210044,China ) Abstract:A s the 21st 2century ’s science,the comp lexity science is attracting wide attenti on fr om the sci 2 entific community .I n this paper,we highlight s ome relevant key issues,including net w ork 2based syn 2 chr onizati on,traffic dyna m ics on net w orks,structure and evoluti on of inf or mati on net w orks in the next generati on,ev oluti onary cooperating ga me,comp lexity of bi ol ogical net w orks,human dyna m ics and inf o 2 physics .

大数据的技术路线

大数据的技术路线 想要大数据需要学习什么呢？需要掌握哪些技术才能够从事大数据的工作。今天为大家讲解下大数据的技术路线，让大家对于大数据有一个详细的了解。 需要学习的大数据技术 1、hadoop：常用于离线的复杂的大数据处理 2、Spark：常用于离线的快速的大数据处理 3、Storm：常用于在线的实时的大数据处理 4、HDFS：Hadoop分布式文件系统。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。 5、Hbase：是一个分布式的、面向列的开源数据库。该技术来源于Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache 的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于

非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 6、Hive：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 7、Kafka：是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka 的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。 8、redis：redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、 zset(sorted set–有序集合)和hash（哈希类型）。这些数据类型都支持 push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。 那么除了这些核心的技术内容，还需要具备以下的数学基础： 1.线性代数； 2.概率与信息论； 3.数值计算 大数据技术书籍推荐

复杂性科学上课讲义

复杂性科学的简介 兴起于20世纪80年代的复杂性科学(complexity sciences)，是系统科学发展的新阶段，也是当代科学发展的前沿领域之一。复杂性科学的发展，不仅引发了自然科学界的变革，而且也日益渗透到哲学、人文社会科学领域。英国著名物理学家霍金称“21世纪将是复杂性科学的世纪”。复杂性科学为什么会赢得如此盛誉，并带给科学研究如此巨大的变革呢?主要是因为复杂性科学在研究方法论上的突破和创新。在某种意义上，甚至可以说复杂性科学带来的首先是一场方法论或者思维方式的变革。尽管国内外学者已经认识到研究复杂性科学的重要意义，然而要想找出一个能够符合各方研究旨趣的复杂性科学的概念还有困难。虽然目前人们对复杂性科学的认识不尽相同，但是可以肯定的是“复杂性科学的理论和方法将为人类的发展提供一种新思路、新方法和新途径，具有很好的应用前景”。黄欣荣认为尽管复杂性科学流派纷呈、观点多样，但是复杂性科学却具有一些共同的特点可循：(1)它只能通过研究方法来界定，其度量标尺和框架是非还原的研究方法论。(2)它不是一门具体的学科，而是分散在许多学科中，是学科互涉的。(3)它力图打破传统学科之间互不来往的界限，寻找各学科之间的相互联系、相互合作的统一机制。(4)它力图打破从牛顿力学以来一直统治和主宰世界的线性理论，抛弃还原论适用于所用学科的梦想。(5)它要创立新的理论框架体系或范式，应用新的思维模式来理解自然界带给我们的问题。 复杂性科学是指以复杂性系统为研究对象，以超越还原论为方法论特征，以揭示和解释复杂系统运行规律为主要任务，以提高人们认识世界、探究世界和改造世界的能力为主要目的的一种“学科互 涉”(inter—disciplinary)的新兴科学研究形态。 复杂性科学研究主流发展的三个阶段 复杂性科学研究主流发展的三个阶段主要是指：埃德加·莫兰的学说、普利高津的布鲁塞尔学派、圣塔菲研究所的理论。 (1)埃德加·莫兰的学说埃德加·莫兰是当代思想史上最先把“复杂性研究”作为课题提出来的人。莫兰正式提出“复杂性方法”是在他1973年发表的《迷失的范式：人性研究》一书中。莫兰复杂性思想的核心是他所说的“来自噪声的有序”的原则，该原则可以简要表述如下：将一些具有磁性的小立方体散乱地搁置在一个盒子里，然后任意摇动这个盒子，最后人们看到盒子中的小立方体在充分运动之后根据磁极的取向互相连接形成一个有序的结构。在这个例子中，任意地摇动盒子是无序的表现，显然单靠它不能导致小立方体形成整体的有序结构。小立方体本身具有磁性，是产生有序性的潜能，但是这个潜能借助了无序因素的辅助或中介而得以

什么是复杂系统论

什么是复杂系统论 什么是复杂系统？也许你会说：具有复杂性的系统，就是复杂系统，而简单的系统就不是复杂系统。然而事实可能远没有这么简单，请尝试回答下面的几个问题： 飞鸟是如何聚集成群的？蚂蚁如何形成王国？为什么冷战结束，世界反而硝烟四起？为什么苏联以及东欧等一系列社会主义国家会在1989年的几个月内轰然坍塌？生命是如何起源的？计算机病毒具有生命么？为什么在1998年爆发了亚洲经济风暴，进而导致全球的经济危机？大脑是什么？感情、思想、目的和意识这样不可言喻的特征是如何产生的？难道大脑仅仅是简单的随机进化的结果么？ 这些问题看似不是什么科学的问题，然而它们都有一个共同点，就是属于同一种系统，既复杂系统。 首先，复杂系统是相对牛顿时代以来构成科学事业焦点的简单系统相比而言的，两者具有根本性的不同。简单系统通常具有少量个体对象，它们之间的相互作用比较弱，或者具有大量相近行为的个体，比如封闭的气体或遥远的星系，以至于我们能够应用简单的统计平均的方法来研究它们的行为。而复杂并不一定与系统的规模成正比，复杂系统要有一定的规模，但也不是越大越复杂。另外复杂系统中的个体一般来讲具有一定的智能性，例如组织中的细胞、股市中的股民、城市交通系统中的司机、生态系统中的动植物……，这些个体都可以根据自身所处的部分环境通过自己的规则进行智能的判断或决策。 根据以上的描述，我们可以得到复杂性科学中对复杂系统的描述性定义：复杂系统是具有中等数目基于局部信息做出行动的智能性、自适应性主体的系统。根据这个定义，我们不难总结出复杂系统的以下几个核心的特点： （1）中等大小数目的主体，通俗的讲也就是元素不能少，也不能太多。对于一般的系统我们可以按照系统内个体的数目以及相互作用的强度进行分类，得到下面的图： a)简单系统b)无组织的复杂系统c)有组织的复杂系统 说明：a)简单系统，特点是元素数目特别少，因此可以用较少的变数来描述，这种系统可以用牛顿力学去加以解析。 b)无组织的“复杂”系统：其特征是元素和变量数很多，但其间的耦合是微弱的，或随机的，即只能用统计的方法去分析。热力学研究的对象一般就是这样的系统。 c)有组织的复杂系统：特征是元素数目很多，且其间存在着强烈的耦合作用。

大数据核心技术培训

大数据核心技术培训 你学或者不学，大数据依旧在发展；你从事或者不从事，大数据的前景你都应该了解。时代的前进方向，未来的领先技术，作为时代的年轻人，你不知道就真的会被社会所淘汰的。大数据的发展前景怎么样？未来大数据的发展趋势如何? 近年来，科技的快速发展推动了企业在数据生成、储存等多方面的需求增长。所以在企业爆炸式的大数据时代下，剧增了原有数据存的储存压力，所以大数据人才需求量将会与日俱增。所以大数据在未来就业前景一定非常广阔，在此千锋教育带大家了解大数据的发展趋势。 数据分析成为大数据技术的核心 大数据的价值体现在对大规模数据集合的智能处理方面，进而在大规模的数据中获取有用的信息。要想逐步实现这个功能，就必须对数据进行分析和挖掘。而数据的采集、存储、和管理都是数据分析步骤的基础，通过进行数据分析得到的结果，将应用于大数据相关的各个领域。 云数据分析平台将更加完善 近几年来，云计算技术发展迅猛，与此相应的应用范围也越来越宽。云计算的发展为大数据技术的发展提供了一定的数据处理平台和技术支持。云计算为大

数据提供了分布式的计算方法、可以弹性扩展、相对便宜的存储空间和计算资源，这些都是大数据技术发展中十分重要的组成部分。随着云计算技术的不断发展和完善，发展平台的日趋成熟，大数据技术自身将会得到快速提升，数据处理水平也会得到显著提升。 开源软件的发展成为推动大数据发展的新动力 开源软件是在大数据技术发展的过程中不断研发出来的。这些开源软件对各个领域的发展、人们的日常生活具有十分重要的作用。开源软件的发展可以适当的促进商业软件的发展，以此作为推动力，从而更好地服务于应用程序开发工具、应用、服务等各个不同的领域。 由于大数据行业快速发展，人才需求急剧增加。目前，据某招聘网站平台数据，目前大数据人才的供给量远远低于行业人才需求。所以大数据培训应运而生，作为连接人才与企业的窗口，千锋大数据培训成为了为企业提供大数据人才强而有力的保障。 千锋大数据培训讲师经过多年的培训经验，结合学员的学习曲线，设计合理的项目进阶课程，让学员逐渐掌握做项目的方法方式，培训真正的项目经验。不

复杂性科学及方法论研究与应用

自然辩证法论文 论文题目：复杂性科学及方法论研究与应用 学院：研究生学院 班级：硕研2012-10班 姓名：赵明磊 学号： 2012021042 专业：软件工程 摘要 复杂性科学是研究复杂系统行为与性质的科学，它的研究重点是探索 宏观领域的复杂性及其演化问题。它涉及数学、物理学、化学、生物学、 计算机科学、经济学、社会学、历史学、政治学、文化学、人类学和管理 科学等众多学科。之所以被称为复杂性科学，有很多种理由，其中之一是 由于它具有统一的方法论——整体论或非还原论。因此复杂性科学被称为 整体论科学或非还原论科学，也有人把它看作是与简单性科学相对立的科学。复杂性科学诞生的标志是一般系统论的创立。复杂性科学是指以复杂 性系统为研究对象，以超越还原论为方法论特征，以揭示和解释复杂系统 运行规律为主要任务，以提高人们认识世界、探究世界和改造世界的能力 为主要目的的一种“学科互涉”的新兴科学研究形态。 关键字：复杂性科学、复杂性、复杂系统、方法论、复杂性系统、科学、简单性科学、整体论、非还原论 Abstract Complexity science is the study of complex system behavior and the nature of science, it emphases of the research is to explore the complexity of macroscopic field and its evolution problem. It involves mathematics, physics, chemistry, biology, computer science, economics, sociology, history, politics,

大数据核心技术A卷精编版

岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A卷 (考试时间: 120 分钟) 考试科目：大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。（C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。（ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size大小是多少。（ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。（ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。（ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？（ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block，依次上传 C. Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master节点使用jps命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？（ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce编程模型中的key和value值进行特别设置，下列哪一项是MapReduce不适宜的运算。（ D ） A. Max B. Min C. Count D. Average

复杂性科学视角下的中医学研究

复杂性科学视角下的中医学研究 本文从网络收集而来，上传到平台为了帮到更多的人，如果您需要使用本文档，请点击下载按钮下载本文档（有偿下载），另外祝您生活愉快，工作顺利，万事如意！ 中医学的发展与现状是人们近年来关注较多的问题之一，在迈过了中医科学性争论之后，我们基本上已能够形成一个统一的认识：要论述中医的科学性，要具体定义对科学的理解；科学的概念所指不同，中医与科学的归属自然也不尽相同。然而，中医学如何能用现代的语言表达清楚，能够为更多的人所理解，将它的治病方法和诊疗思路推而广之，进而普及仍然是一个棘手的问题。复杂性科学是解读中医的一个很好的契合点，从复杂性科学的视角看待中医，无疑为中医的诊疗思维和治病方法的展示提供了有效地借鉴范式。 1.复杂性科学视野中的中医 什么是复杂性科学？复杂性科学无论在哲学上还是在实践中都推进着时代和科学的前沿探索。目前我们还无法对复杂性给出明确的定义，迄今也没有一个统一的范式。《大英百科全书》中关于系统科学中的“复杂性”属性描述了八种特征：（1）不可预言性；（2）连通性；（3）非集中控制性；（4）不可分解性；（5）奇

异性；（6）稳定性；（7）不可计算性；（8）突现性。这些关于复杂性特征的内容都具有确定的解释，同时也激发了把复杂性研究及其范式应用于自然科学以及人文、社会科学等各个领域，其思想和概念渗透到各门具体学科之中，成为重要的科学理念和思维方法。在复杂性研究领域内，Science（科学）杂志于1999年的复杂性专辑中选用了“复杂系统——超越还原论”的表述，后来学者们倾向于称之为“复杂性科学”这一用语。戴汝为院士更将复杂性科学称之为“21世纪的科学”因为复杂性科学打破了线性、均衡、简单还原的传统范式，而致力于研究非线性、非均衡和复杂系统带来的种种新问题。 通过对复杂性科学的探索和研究，我们知道世界是物质的，物质是以系统的形式存在的。什么是系统？贝塔朗菲认为，系统是处于一定相互关系中与环境发生关系的各组成部分（要素）的总体。或者说，系统集合内各要素按一定的结构组织而成的一个整体，并在与外部环境进行物质、能量、信息交换过程中体现出一定的功能。而中医正体现了复杂性研究中的系统论思想。系统科学和已有的其它科学不同，它是从事物的整体与部分，全局与局部以及层次关系的角度来研究客观世界的。这里的客观世界包括了自然、社会

大数据的核心技术(一)

我们在之前的文章中提到过，大数据的核心技术就是机器学习、数据挖掘、人工智能以及其 它大数据处理基础技术。在这篇文章中我们给大家详细地介绍一下这些内容，希望这篇文章 能能够给大家带来帮助。 首先说一下机器学习，一般数据分析师都知道，机器学习是大数据处理承上启下的关键技术，机器学习往上是深度学习、人工智能，机器学习往下是数据挖掘和统计学习。机器学习属于 计算机和统计学交叉学科，核心目标是通过函数映射、数据训练、最优化求解、模型评估等 一系列算法实现让计算机拥有对数据进行自动分类和预测的功能。这就需要我们对机器学习 有一个足够的了解。机器学习领域包括很多种类的智能处理算法，分类、聚类、回归、相关 分析等每类下面都有很多算法进行支撑，随着深度学习核心技术的突破性发展，机器学习算 法得以高速扩张。总之大数据处理要智能化，机器学习是核心的核心，深度学习、数据挖掘、商业智能、人工智能，大数据等概念的核心技术就是机器学习，机器学习用于图像处理和识 别就是机器视觉，机器学习用于模拟人类语言就是自然语言处理，机器视觉和自然语言处理 也是支撑人工智能的核心技术，机器学习用于通用的数据分析就是数据挖掘。由于在大数据 条件下图像，语音识别等领域的学习效果显著，有望成为人工智能取得突破的关键性技术， 正因为如此，我们需要重视机器学习。

然后我们说收数据挖掘，数据挖掘是一个较为宽泛的概念，大数据就是从海量数据里面挖掘 有价值有规律的信息同理。数据挖掘核心技术来自于机器学习领域，如深度学习是机器学习 中一类比较火的算法，当然也可以用于数据挖掘。还有传统的商业智能领域也包括数据挖掘，关键是技术能否真正挖掘出有用的信息，然后这些信息可以指导决策。数据挖掘的提法比机 器学习要早，应用范围要广，数据挖掘和机器学习是大数据分析的核心技术，互为支撑，为 大数据处理提供相关模型和算法，而模型和算法是大数据处理的关键，探索式交互式分析、 可视化分析、数据的采集存储和管理等都较少用到学习模型。由此可见，数据挖掘在数据分 析中都是十分重要的事情，更不用说大数据了。 由于篇幅原因我们就给大家介绍了大数据的核心技术的两个，分别是数据挖掘以及机器学习，我们在下一篇文章中给大家介绍更多有用的内容，最后感谢大家的阅读。

资源大数据采集技术方案要点

资源数据采集技术方案 公司名称 2011年7月 二O一一年七月

目录 第 1 部分概述 (3) 1.1 项目概况 (3) 1.2 系统建设目标 (3) 1.3 建设的原则 (3) 1.3.1 建设原则 (3) 1.4 参考资料和标准 (5) 第 2 部分系统总体框架与技术路线 (5) 2.1 系统应用架构 (5) 2.2 系统层次架构 (6) 2.3 关键技术与路线 (6) 第 3 部分系统设计规范 (9) 第 4 部分系统详细设计 (9)

第 1 部分概述 1.1 项目概况 Internet已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道，站点遍布全球的巨大信息服务网，为用户提供了一个极具价值的信息源。无论是个人的发展还是企业竞争力的提升都越来越多地依赖对网上信息资源的利用。 现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。计算机和现代信息技术的迅速发展，使Internet成为人们传递信息的一个重要的桥梁。网络的不断发展，伴随着大量信息的产生，如何在海量的信息源中查找搜集所需的信息资源成为了我们今后建设在线预订类旅游网重要的组成部分。 因此，在当今高度信息化的社会里，信息的获取和信息的及时性。而Web数据采集可以通过一系列方法，依据用户兴趣，自动搜取网上特定种类的信息，去除无关数据和垃圾数据，筛选虚假数据和迟滞数据，过滤重复数据。直接将信息按照用户的要求呈现给用户。可以大大减轻用户的信息过载和信息迷失。 1.2 系统建设目标 在线预订类旅游网是在线提供机票、酒店、旅游线路等旅游商品为主，涉及食、住、行、游、购、娱等多方面的综合资讯信息、全方位的旅行信息和预订服务的网站。 如果用户要搜集这一类网站的相关数据，通常的做法是人工浏览网站，查看最近更新的信息。然后再将之复制粘贴到Excel文档或已有资源系统中。这种做法不仅费时费力，而且在查找的过程中可能还会遗漏，数据转移的过程中会出错。针对这种情况，在线预订类旅游网信息自动采集的系统可以实现数据采集的高效化和自动化。 1.3 建设的原则 1.3.1 建设原则 由于在线预订类旅游网的数据采集涉及的方面多、数据量大、采集源数据结构多样化的

资源大数据采集技术方案要点

资源数据采集技术方案 公司名称

2011年7月 二O一一年七月 目录 第1 部分概述 (3) 1.1 项目概况 (3) 1.2 系统建设目标 (4) 1.3 建设的原则 (4) 1.3.1 建设原则 (4) 1.4 参考资料和标准 (6) 第2 部分系统总体框架与技术路线 (6) 2.1 系统应用架构 (7) 2.2 系统层次架构 (7) 2.3 关键技术与路线 (8) 第3 部分系统设计规范 (11) 第4 部分系统详细设计 (11)

第 1 部分概述 1.1 项目概况 Internet已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道，站点遍布全球的巨大信息服务网，为用户提供了一个极具价值的信息源。无论是个人的发展还是企业竞争力的提升都越来越多地依赖对网上信息资源的利用。 现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。计算机和现代信息技术的迅速发展，使Internet成为人们传递信息的一个重要的桥梁。网络的不断发展，伴随着大量信息的产生，如何在海量的信息源中查找搜集所需的信息资源成为了我们今后建设在线预订类旅游网重要的组成部分。 因此，在当今高度信息化的社会里，信息的获取和信息的及时性。而Web数据采集可

以通过一系列方法，依据用户兴趣，自动搜取网上特定种类的信息，去除无关数据和垃圾数据，筛选虚假数据和迟滞数据，过滤重复数据。直接将信息按照用户的要求呈现给用户。可以大大减轻用户的信息过载和信息迷失。 1.2 系统建设目标 在线预订类旅游网是在线提供机票、酒店、旅游线路等旅游商品为主，涉及食、住、行、游、购、娱等多方面的综合资讯信息、全方位的旅行信息和预订服务的网站。 如果用户要搜集这一类网站的相关数据，通常的做法是人工浏览网站，查看最近更新的信息。然后再将之复制粘贴到Excel文档或已有资源系统中。这种做法不仅费时费力，而且在查找的过程中可能还会遗漏，数据转移的过程中会出错。针对这种情况，在线预订类旅游网信息自动采集的系统可以实现数据采集的高效化和自动化。 1.3 建设的原则 1.3.1 建设原则 由于在线预订类旅游网的数据采集涉及的方面多、数据量大、采集源数据结构多样化的特点。因此，在进行项目建设的过程中，应该遵循以下原则： 可扩充性 根据实际的要求，系统可被方便地载减和灵活的扩展，使系统能适应变化和新情况。可以实现模块级别的动态扩展，而且是运行时的。所谓运行时模块的动态扩展，比如说你需要增加一些新的功能，你可以将新开发的类和文件按照Bundle进行组织，然后直接扔到运行时环境下，这些功能就可以用了。因此系统不会受技术改造而重新做出调整。