考试：大数据促进城市治理能力现代化

考试：大数据促进城市治理能力现代化

?试卷年份：2015年

?题量：9题

?答题时间：分钟

?总分：100分

?合格线：60分

1

【单选】以下哪一项不是大数据在产业转型领域的创新应用做法（）? A. 大数据指导商业规划

? B. 用批判性方式激发受访者贡献特别信息

? C. 大数据优化商业资源配置

? D. 宝宝树发布“中国母婴人群区域热力图”

?正确答案：D

2

【单选】以下哪一项不是运用了大数据提高公共卫生管理水平（）? A. 美国流行病趋势预测

? B. 谷歌的“流行感冒预测”

? C. 百度疾病预测

? D. 格洛斯特智能屋子

?正确答案：D

3

【单选】以下哪一项不是大数据提高金融监管效率（）

? A. Palantir

? B. XOOM反洗钱

? C. 蚂蚁金融反洗钱

? D. 交易所“大数据”伏击老鼠仓

?正确答案：A

4

【多选】以下是城乡资源不均等是城市无限制扩展的深层次原因的是（）? A. 医疗教育资源城乡不均等

? B. 产业就业资源城乡不均等

? C. 商业服务资源城乡不均等

? D. 人口分布不均

?正确答案：A B C

5

【多选】以下是城市加速盲目扩展集中表现的是（）

? A. 鼓励大家住房、汽车消费

? B. 建新区让城市向郊区拓展

? C. 鼓励农民进城务工

? D. 不断修地铁等交通设施

?正确答案：A B C

6

【多选】当前困扰城市发展的城市病及其表现有（）

? A. 就业困难

? B. 人口膨胀

? C. 交通拥堵

? D. 住房紧张

?正确答案：A B C D

7

【判断】印度滴滴打人移动互联网应用：One Touch Response（）? A. 正确

? B. 错误

?正确答案：正确

8

【判断】利用大数据技术能提高防灾水平（）

? A. 正确

? B. 错误

?正确答案：正确

9

【判断】城市运行有两个空间：实体物理空间和虚拟物理空间（）? A. 正确

? B. 错误

?正确答案：错误

大数据采集与信号处理

数据信息采集与处理

基本内容：基于FFT的功率谱分析程序设计与应用 1.基本要求 1)对一个人为产生的信号进行采用FFT变换方法进行功率谱分析。 已知信号x(n)=80.0*COS(2*3.14*SF*n/FS) 式中： n=0,1,2 ……N-1 SF---信号频率 FS---采样频率 其FFT变换结果X(k)可用下面提供的FFT子程序求出，计算功率谱的公式为： W（k）=2(XR(k)2 +XI(k)2)/N 式中：k=0,1,2 ……N/2-1 XR(k)--- X(k)的实部 XI(k)--- X(k)的虚部 请用VB，VC或C++Builder编译器编程，或采用MATLAB计算，或采用高级语言调用MATLAB计算。处理结果为采用窗口显示时域波形和频域波形。 此信号的时域谱、频域谱、功率谱如下面图1~图3所示： 图1

图2 图3 其MATLAB代码为： FS=200; SF=10;

N=1024; n=0:N-1; t=n/FS; x=80.0*cos(2*3.14*SF*t); figure; plot(t，x); xlabel('t'); ylabel('y'); title('x=80.0*cos(2*3.14*SF*t)时域波形'); grid; y=fft(x,N); mag=abs(y); f=(0:length(y)-1)*FS/length(y);%进行对应的频率转换 figure; plot(f(1:N/2),mag(1:N/2));%做频谱图 xlabel('频率(Hz)'); ylabel('幅值'); title('x=80.0*cos(2*3.14*SF*t)幅频谱图N=1024'); grid; Py =2*(y.*conj(y))/N; %计算功率谱密度Py figure; plot(f(1:N/2),Py(1:N/2)); xlabel('频率(Hz)'); ylabel('功率谱密度'); title('x=80.0*cos(2*3.14*sf*t)功率谱密度'); grid; 2)对实验所采集的转子振动信号进行频谱分析

大数据处理流程的主要环节

大数据处理流程的主要环节 大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响作用。通常，一个好的大数据产品要有大量的数据规模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表以及简练易懂的结果解释，本节将基于以上环节分别分析不同阶段对大数据质量的影响及其关键影响因素。 一、数据收集 在数据收集过程中，数据源会影响大数据质量的真实性、完整性数据收集、一致性、准确性和安全性。对于Web数据，多采用网络爬虫方式进行收集，这需要对爬虫软件进行时间设置以保障收集到的数据时效性质量。比如可以利用八爪鱼爬虫软件的增值API设置，灵活控制采集任务的启动和停止。 二、数据预处理 大数据采集过程中通常有一个或多个数据源，这些数据源包括同构或异构的数据库、文件系统、服务接口等，易受到噪声数据、数据值缺失、数据冲突等影响，因此需首先对收集到的大数据集合进行预处理，以保证大数据分析与预测结果的准确性与价值性。

大数据的预处理环节主要包括数据清理、数据集成、数据归约与数据转换等内容，可以大大提高大数据的总体质量，是大数据过程质量的体现。数据清理技术包括对数据的不一致检测、噪声数据的识别、数据过滤与修正等方面，有利于提高大数据的一致性、准确性、真实性和可用性等方面的质量; 数据集成则是将多个数据源的数据进行集成，从而形成集中、统一的数据库、数据立方体等，这一过程有利于提高大数据的完整性、一致性、安全性和可用性等方面质量; 数据归约是在不损害分析结果准确性的前提下降低数据集规模，使之简化，包括维归约、数据归约、数据抽样等技术，这一过程有利于提高大数据的价值密度，即提高大数据存储的价值性。 数据转换处理包括基于规则或元数据的转换、基于模型与学习的转换等技术，可通过转换实现数据统一，这一过程有利于提高大数据的一致性和可用性。 总之，数据预处理环节有利于提高大数据的一致性、准确性、真实性、可用性、完整性、安全性和价值性等方面质量，而大数据预处理中的相关技术是影响大数据过程质量的关键因素 三、数据处理与分析 1、数据处理 大数据的分布式处理技术与存储形式、业务数据类型等相关，针对大数据处理的主要计算模型有MapReduce分布式计算框架、分布式内存计算系统、分布式流计算系统等。

大数据采集技术和预处理技术

现如今，很多人都听说过大数据，这是一个新兴的技术，渐渐地改变了我们的生活，正是由 于这个原因，越来越多的人都开始关注大数据。在这篇文章中我们将会为大家介绍两种大数 据技术，分别是大数据采集技术和大数据预处理技术，有兴趣的小伙伴快快学起来吧。 首先我们给大家介绍一下大数据的采集技术，一般来说，数据是指通过RFID射频数据、传 感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化 及非结构化的海量数据，是大数据知识服务模型的根本。重点突破高速数据解析、转换与装 载等大数据整合技术设计质量评估模型，开发数据质量技术。当然，还需要突破分布式高速 高可靠数据爬取或采集、高速数据全映像等大数据收集技术。这就是大数据采集的来源。 通常来说，大数据的采集一般分为两种，第一就是大数据智能感知层，在这一层中，主要包 括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实 现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信 号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、 传输、接入等技术。第二就是基础支撑层。在这一层中提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克 分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数 据的网络传输与压缩技术，大数据隐私保护技术等。 下面我们给大家介绍一下大数据预处理技术。大数据预处理技术就是完成对已接收数据的辨析、抽取、清洗等操作。其中抽取就是因获取的数据可能具有多种结构和类型，数据抽取过 程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理 的目的。而清洗则是由于对于大数并不全是有价值的，有些数据并不是我们所关心的内容， 而另一些数据则是完全错误的干扰项，因此要对数据通过过滤去除噪声从而提取出有效数据。在这篇文章中我们给大家介绍了关于大数据的采集技术和预处理技术，相信大家看了这篇文 章以后已经知道了大数据的相关知识，希望这篇文章能够更好地帮助大家。

大数据分析和处理的方法步骤

大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。具体的大数据处理方法其实有很多，但是根据长时间的实践，天互数据总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。 采集 大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB 这样的NoSQL数据库也常用于数据的采集。 在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。 统计/分析 统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL 的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。 导入/预处理 虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足

数据采集和数据预处理

数据采集和数据预处理 3.2.1 数据采集 数据采集功能主要用于实现对DSM分析研究中所需的电力供需、相关政策法规等原始数据、信息的多种途径采集。数据采集为使用者提供定时数据采集、随机采集、终端主动上报数据等多种数据采集模式，支持手工输入、电子表格自动导入等多种导入方式，且能够对所采集的数据进行维护，包括添加、修改、删除等，并能进行自动定期备份。在需求侧管理专业化采集中，` 采集的数据根据结构特点，可以分为结构化数据和非结构化数据，其中，结构化数据包括生产报表、经营报表等具有关系特征的数据；非结构化数据，主要包括互联网网页（ HTML）、格式文档（ Word、PDF）、文本文件（Text）等文字性资料。这些数据目前可以通过关系数据库和专用的数据挖掘软件进行挖掘采集。特别是非结构化数据，如DSM相关的经济动态、政策法规、行业动态、企业动态等信息对DSM分析研究十分重要，综合运用定点采集、元搜索、主题搜索等搜索技术，对互联网和企业内网等数据源中符合要求的信息资料进行搜集，保证有价值信息发现和提供的及时性和有效性。DSM信息数据采集系统中数据采集类型如图２所示。在数据采集模块中，针对不同的数据源，设计针对性的采集模块，分别进行采集工作，主要有网络信息采集模块、关系数据库信息采集模块、文件系统资源采集模块和其他信息源数据的采集模块。 （1）网络信息采集模块。网络信息采集模块的主要功能是实时监控和采集目标网站的内容，对采集到的信息进行过滤和自动分类处理，对目标网站的信息进行实时监控，并把最新的网页及时采集到本地，形成目标站点网页的全部信息集合，完整记录每个网页的详细信息，包括网页名称、大小、日期、标题、文字内容及网页中的图片和表格信息等。 （2）关系数据库采集模块。该模块可以实现搜索引擎数据库与关系型数据库（包括Oracle、Sybase、DB2、SQL Server、MySQL等）之间的数据迁移、数据共享以及两者之间的双向数据迁移。可按照预设任务进行自动化的信息采集处理。 （ 3）文件系统资源采集模块。该模块可以实现对文件系统中各种文件资源（包括网页、XML文件、电子邮件、Office文件、PDF文件、图片、音视频多媒体文件、图表、公文、研究报告等）进行批量处理和信息抽取。 （ 4）其他信息源数据的采集。根据数据源接入方式，利用相应的采集工具进行信息获取、过滤等。 3.2.2 数据预处理 数据预处理的本质属于数据的“深度采集”，是信息数据的智能分析处理。利用网页内容分析、自动分类、自动聚类、自动排重、自动摘要/主题词抽取等智能化处理技术，对采集到的海量数据信息进行挖掘整合，最终按照统一规范的组织形式存储到DSM数据仓库，供图1 系统体系结构分析研究使用。数据预处理的工作质量很大程度上决定最终服务数据的质量，是DSM类项目（如，DSM项目全过程管理、有序用电方案评价等）深度分析的重要基础。在数据智能分析处理中，主要包括：1）自动分类，用于对采集内容的自动分类；2）自动摘要，用于对采集内容的自动摘要；3）自动排重，用于对采集内容的重复性判定。 ************************************** 电力数据采集与传输是电力系统分析和处理的一个重要环节。从采集被测点的各种信息，如母线电压，线路电压、电流、有功、无功，变压器的分接头位置，线路上的断路器、隔离开关及其它设备状态、报警、总有功功率、事件顺序等，对电力系统运行管理具有重要作用[ 1]。********************************** 电力信息的数据采集与集成 电力作为传统[业，其下属分系统众多，因而数据的种类也相当繁杂。数据类型包括工程

大数据中数据采集与预处理技术的应用研究

大数据中数据采集与预处理技术的应用研究 发表时间：2018-08-16T16:04:13.623Z 来源：《基层建设》2018年第21期作者：张弛[导读] 摘要：数据采集是大数据建立的基础，对海量数据的采集必须全面、真实、适用与准确，才能使数据分析的结果具备使用价值；而数据的预选加工技术则是在采集数据后，存储数据库前，去伪存真、提炼符合统计规律的数据样本，以期望降低应用成本的有效过程。 身份证号码：61012119681114xxxx 摘要：数据采集是大数据建立的基础，对海量数据的采集必须全面、真实、适用与准确，才能使数据分析的结果具备使用价值；而数据的预选加工技术则是在采集数据后，存储数据库前，去伪存真、提炼符合统计规律的数据样本，以期望降低应用成本的有效过程。本文结合作者实际工作经验，针对大数据采集环节中的采集技术与预处理技术进行分析研究，提出观点与解决思路，以供探讨。 关键词：“大数据；数据采集技术；预处理技术；应用与研究” 0引言 当前国内大数据市场纷繁众多，目前很多数据运营商所提供的数据服务范围，既有数据采集系统又有数据分析系统，涉及层面大而散，采集技术手段较为粗糙，数据整合局限于表层结构，定位方向不精准。现实中大数据所涉及的层面远远较之广泛，所以难以提供有针对性的数据和分析结果，无法满足顾客的决策需求。特别是针对地区、行业、政策、人文等基本信息采集深度不够，不够全面的情况下，分析结果达不到为顾客提供风险评估所需的依据，最终使投资产生偏差的情况屡见不鲜。因此数据产品服务的价值就在于为顾客提供结构性预测，以规避顾客风险，将数据产品的精准有效性作为技术处理的依据，才可将数据有偿服务纳入顾客项目投资预算的常规需求中。 根据目前情况，首先要解决的关键环节就是数据采集过程，同时在数据采集时，通过预加工处理技术和自动审核环节，使数据流的分类筛选符合目标数据的有效类别，正是文中要探讨的问题。 1数据采集 数据采集与预加工中心构建的目的是为数据产品营销机构和高级分析机构提供真实、准确、全面、海量的基础数据，包括符合统计规律的足量数据样本。该服务内容宜按各领域、各区域、不同行业的需求，有针对性的通过多种渠道、采用先进技术及行业数据共享交换等方式获得原始数据，并经过数据有效性过滤，去伪判真的初步加工后，形成可用的数据对象和代表样本，最终由高级决策分析与产品营销后服务于商业客户，为客户提供从项目可行性研究、投资、建设、竣工、经营的寿命周期全过程，提供项目决策、风险评估、投资预算、收益分析等数据预测与支持服务。 本文所述的构建是基于一较为成熟的数据仓库系统，以及已有的数据整合与高级分析系统。不再对高级分析系统重复讨论，只对配套接口和成果延用。主要方向是数据采集、筛选过滤、分类存储和定向分发等数据预加工。在保证数据可用性同时，可纵深细化数据结构，采用区块触发，将关联数据实现分布存储和导入再造，产生多维度关系型数据仓库。为中心数据分析提供多向映射的基础数据支持。采集方式分为以下几类 ①开放型数据：政府行政机构、公共事业机构、行业协会机构、社会团体组织发布的具备权威性的公用型数据。电子信息主要通过表格间的提取、格式转换和再加载实现数据采集，针对图片、音频和视频等媒体信息宜采用DSP识别技术收集，过程中增加人工抽检识别，通过调整识别阈值与特征自适应参数以提高识别准确率。 ②节点型数据：应用服务器、网站、终端（固定、移动、查询、交易、支付、摄像等）。该类信息格式基本固定，采集时可根据数据特征，编制嵌入式节点程序、存储过程、应用类APP等，以探针、爬虫技术抓取[1]。收集时宜加入有效性审核环节。 ③有偿类数据：商业数据、付费类数据。数据结构相对标准，采集时基本不加处理，但要对数据来源与使用进行审核，使其达到法律层面的合法性。 ④共享型数据：合作机构，顾客共享，二次数据等。这类数据多用于指定行业数据服务时的采集，数据共享交换时应增加信息安全审核，特别是数据出口环节应有选择性的数据输出。 ⑤内部调研采集数据：以人工采集填表方式收集，成本高、数据量较少，但数据特征明显，采集目标单一，适合特定客户采集 2数据预加工 由于数据服务涉及面广，外围环境变化大，采集到的每条信息既有可能形成有效数据，也可能是大量冗余的、错误的，甚至是无效垃圾数据，部分数据存在时效性短或一次性数据，因此对于采集的数据必须通过一些技术手段进行预先处理，使进入数据库的数据从数量上和准确性上是经过优化后的半成品。构建时宜采用模块化结构，有利于时间和空间发生变化时，通过对各模块适用性的调整以延长功能寿命期，但其代价是增加存储容量、运算能力和设计复杂性。具体处理技术主要包括以下几点： ①数据结构及数据字典、词条库的模块化。开发及维护均应适应静态结构、动态结构和开源结构。 ②制定多标准数据采集接口，结合客户需求，将预处理模块分布嵌入相关宿主机，减小传输流量。 ③重点构建数据智能化过滤机制，采用自适应、自学习技术提高数据的符合相关性，动态设置条件去重阈值，增加加工流水过程探视窗，减少人工干预，达到智能判别筛选。 ④经过过滤后的原始数据，按客户需求进行预加工，形成符合统计规律的有效基础数据，提供给核心高级分析系统深加工，以减轻巨量数据传输和高级分析系统的负荷。同时与历史数据的关联映射，形成多维度数据[2]，扩大数据使用价值。 ⑤质量管理与控制处理：针对数据加工中的数据异常、高频预警、探针触发、统计偏离等可能影响数据质量的事件，自动产生质量偏差与统计事件日志，以便于组织人工分析讨论，编制有效解决方案，以提高数据产品质量。 ⑥数据安全生产控制：数据的特殊性要求在数据生产过程中必须有严格的安全与保密环节，必须符合相关地区法律法规与风俗隐私要求，因此安全管理是系统不可或缺的一个环节，除了要具备严格的分级权限外，还应通过分布存储、异地镜像、区块迁移、接口止逆等技术手段提高数据安全性 ⑦分区节拍协同：系统运行规模扩大后，数据跨区域采集和加工成为必然，各区域需求不同，数据的加工条件也在变化，通过节拍协调，可同步和优化整个数据仓库的数据丰富程度和一致性。 ⑧顾客反馈调控技术，能够根据使用效果调整数据加工条件参数，提高数据质量。 3系统结构与流程

数据采集与处理技术试卷

一、绪论 （一）、1、“数据采集”是指什么? 将温度、压力、流量、位移等模拟量经测量转换电路输出电量后再采集转换成数字量后，再由PC 机进行存储、处理、显示或打印的过程。 2、数据采集系统的组成? 由数据输入通道，数据存储与管理，数据处理，数据输出及显示这五个部分组成。 3、数据采集系统性能的好坏的参数? 取决于它的精度和速度。 4、数据采集系统具有的功能是什么? （1）、数据采集，（2）、信号调理，（3）、二次数据计算，（4）、屏幕显示，（5）、数据存储，（6）、打印输出，（7）、人机联系。 5、数据处理系统的分类? 分为预处理和二次处理两种；即为实时（在线）处理和事后（脱机）处理。 6、集散式控制系统的典型的三级结构? 一种是一般的微型计算机数据采集系统，一种是直接数字控制型计算机数据采集系统，还有一种是集散型数据采集系统。 7、控制网络与数据网络的结合的优点? 实现信号的远程传送与异地远程自动控制。 （二）、问答题： 1、数据采集的任务是什么？ 数据采集系统的任务：就是传感器输出信号转换为数字信号，送入工业控制机机处理，得出所需的数据。同时显示、储存或打印，以便实现对某些物理量的监视，还将被生产过程中的PC机控制系统用来控制某些物理量。 2、微型计算机数据采集系统的特点是 （1）、系统结构简单；（2）、微型计算机对环境要求不高；（3）、微型计算机的价格低廉，降低了数据采集系统的成本；（4）、微型计算机数据采集系统可作为集散型数据采集系统的一个基本组成部分；（5）、微型计算机的各种I/O模板及软件齐全，易构成系统，便于使用和维修； 3、简述数据采集系统的基本结构形式，并比较其特点？ （1）、一般微型计算机数据采集与处理系统是由传感器、模拟多路开关、程控放大器、采样/保持器、A/D转换器、计算机及外设等部分组成。 （2）、直接数字控制型数据采集与处理系统（DDC）是既可对生产过程中的各个参数进行巡回检测，还可根据检测结果，按照一定的算法，计算出执行器应该的状态（继电器的通断、阀门的位置、电机的转速等），完成自动控制的任务。系统的I/O通道除了AI和DI外，还有模拟量输出（AO）通道和开关量输出（FDO）通道。 （3）、集散式控制系统也称为分布式控制系统，总体思想是分散控制，集中管理，即用几台计算机分别控制若干个回路，再用监督控制计算机进行集中管理。 （三）、分析题： 1、如图所示，分析集散型数据采集与处理系统的组成原理，系统有那些特点？

互联网大数据采集与处理的关键技术研究

互联网大数据采集与处理的关键技术研究 中国工商银行股份有限公司数据中心（北京） 金雯婷 张松 随着社交网络、电子商务、移动互联网等信息通信技术的快速普及使用，基于新兴信息技术的商务应用和金融服务创新（如网上支付、移动支付、第三方支付等）也呈现出爆发式增长趋势。据中国互联网信息中心(CNNIC) 于2014年7月21日发布的《第34次中国互联网络发展状况统计报告》显示，截至2014年6月，我国使用网上支付的用户规模达到2.92亿，较2013年底增加3208万人，半年度增长率为12.3%。根据易观国际的一项研究表明，2014年第二季度中国第三方互联网支付市场交易规模达18406.6亿元，同比增长了64.1%。 在互联网新兴技术普及应用的过程中，越来越多的用户数据产生、散布在互联网的各个角落，产生了大体量（Volume）、多样化（Variety）、高速度（Velocity）和低价值（Value）等大数据概念（big data），并渗透到每一个行业和业务职能领域，为下一步商业和金融服务创新浪潮奠定了数据基础。 传统的数据挖掘、分析处理方法和工具，在非结构化、高速化的大数据处理要求面前显得过于乏力，需要创新开发适应新型大数据处理需求的数据挖掘和数据处理方法。 互联网网页数据是大数据领域的一个重要组成部分，是互联网公司和金融机构获取用户消费、交易、产品评价信息以及其他社交信息等数据的重要途径，为互联网和金融服务创新提供了丰富的数据基础，因此，对互联网网页的大数据处理流程和技术进行探索具有重要意义。 互联网网页数据具有分布广、格式多样、非结构化等大数据的典型特点，我们需要有针对性地对互联网网页数据进行采集、转换、加工和存储，尤其在网页数据的采集和处理方面，存在亟须突破的若干关键技术。 一、网页大数据采集和处理的基本流程 互联网网页数据采集就是获取互联网中相关网页内容的过程，并从中抽取出用户所需要的属性内容。互联网网页数据处理，就是对抽取出来的网页数据进行内容和格式上的处理，进行转换和加工，使之能够适应用户的需求，并将之存储下来，以供后用。 互联网的网页大数据采集和处理的整体过程如图1所示，包含四个主要模块：Web爬虫(Spider)、数据处理(Data Process)、爬取URL队列(Url Queue)和数据。 这四个主要模块的功能如下。 爬虫(Spider)：从Internet上抓取网页内容，并抽取出需要的属性内容。 数据处理(Dp-data Process)：对爬虫抓取的内容进行处理。 URL队列(Url Queue)：为爬虫提供需要抓取数据网站的url。 数据(Data)包含三方面:①Site Url,需要抓取数据网站的Url信息；②Spider Data,爬虫从网页中抽取出来的数据；③Dp Data,经过dp处理之后的数据。 70FINANCIAL?COMPUTER?OF?CHINA

Matlab学习系列012.大数据预处理1剔除异常值及平滑处理

012. 数据预处理（1）——剔除异常值及平滑处理 测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据（1）剔除异常值； 另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行（2）平滑处理（去噪声干扰）； （一）剔除异常值。 注：若是有空缺值，或导入Matlab数据显示为“NaN”（非数），需要①忽略整条空缺值数据，或者②填上空缺值。 填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。

一、基本思想： 规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。 二、常用方法：拉依达方法、肖维勒方法、一阶差分法。 注意：这些方法都是假设数据依正态分布为前提的。 1. 拉依达方法（非等置信概率） 如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 3x i x x S -> 其中，11n i i x x n ==∑为样本均值，1 2 2 11()1n x i i S x x n =?? ??? =--∑为样本的标准偏差。 注：适合大样本数据，建议测量次数≥50次。 代码实例（略）。

2. 肖维勒方法（等置信概率） 在 n 次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为1-1/2n ，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算： 10.4ln()n n ω=+ Tab1. 肖维勒系数表

大数据处理

大数据处理 大数据处理的流程主要包括以下四个环节：采集、导入（预处理）、统计（分析）、挖掘，下面针对这四环节进行简单阐述。 大数据处理之一：采集 大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务 数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。 在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。 大数据处理之二：导入/预处理 虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。 导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。 大数据处理之三：统计/分析 统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基 于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。 统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。 大数据处理之四：挖掘 与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的 效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。 整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理