文档库 最新最全的文档下载
当前位置:文档库 › Web服务合成技术在网格数据挖掘中的应用研究

Web服务合成技术在网格数据挖掘中的应用研究

收稿日期:2008-04-28

基金项目:湖南省教育科研项目(06C724)

作者简介:陈增科(1972-),男,湖南衡阳人,讲师,硕士研究生,研究方向为网格、Web 服务和数据挖掘;肖基毅,副教授,硕士生导师,研究方向为网格信息资源共享与数据挖掘。

W eb 服务合成技术在网格数据挖掘中的应用研究

陈增科,肖基毅,邵明前

(南华大学计算机科学与技术学院,湖南衡阳421001)

摘 要:在网格环境下,存在大量的数据挖掘服务,但传统数据挖掘系统难以满足用户实际应用的需求。提出把Web 服务合成技术运用于网格数据挖掘中,对已有的服务进行合成,形成新的、方便用户使用的数据挖掘服务,探讨把传统的数据挖掘系统与O GSA 和Web 合成技术结合,构建一个开放数据挖掘系统,满足不同领域、不同层次的知识发现。关键词:Web 服务;数据挖掘;合成;网格

中图分类号:TP393 文献标识码:A 文章编号:1673-629X (2009)01-0234-03

R esearch on Web Service Composition T echniques Using in G rid Data Mining

CHEN Zeng 2ke ,XIAO Ji 2yi ,SHAO Ming 2qian

(School of Computer Science and Technology ,University of S outh China ,Hengyang 421001,China )

Abstract :Under gird environment ,there are a lot of data mining service.Traditional data mining service just provides limited functionali 2ty.Presents Web service composition use to data mining system based on grid ,compose existing data mining service to obtain new func 2tionality service ,and use them directly.Discuss that is the combination of O GSA and Web service composition and architecture of tradi 2tional data mining system.An open data mining system is designed and can meet the user requirement of knowledge discovery in different domains and different hierarchies.

K ey w ords :Web service ;data mining ;composition ;grid

0 引 言

随着计算机、互联网等技术的发展,各种数据信息呈爆炸式增长。网格[1,2]环境下存在大量的分布的、自治的、异构的、动态的数据资源,在这种分布的环境下要分析和挖掘这些异构、动态的数据资源,以获取新的科学知识、规律、模式和决策技术支持信息,运用传统的数据挖掘[3]的模式、方法和技术是难以实现的。目前的数据挖掘系统是封闭的,系统提供的挖掘功能是固定的,无法满足特定用户的实际需求,难以动态有效地管理和维护多个挖掘算法;系统挖掘结果格式是封闭的,提供的挖掘结果往往无法为其他应用系统使用;不同的挖掘算法开发语言不同,对外交换的数据格式也有着很大的差异等等,这些都是传统数据挖掘自身的重大缺陷。

Web 服务技术[4]是一种基于网络的,组件式的软

件集成技术,Web 服务合成技术[5]作为Web 服务一项重要的增值功能,为服务的重用与自动化集成提供应用的基础。把挖掘系统构筑在Web 服务技术之上,运用Web 服务合成技术构建开放式数据挖掘系统能从网格环境中动态更新算法、挖掘结果表示方式、数据预处理工具等;Web 服务合成技术能合成各种语言编写的算法,完成特定的挖掘功能,满足不同用户的实际需要。这些都无疑能够大大提高挖掘系统灵活性,增强挖掘性能。

1 Web 服务

Web 服务是一种部署在Web 上的对象,是一个基

于标准的、广泛部署的分布、开放的计算模式。可以对

Web 服务加以定义:

定义1:(Web 服务)一个Web 服务就是一个二元组:W ={d ,o |d Β(data 1,data 2,…,data N ),o Β

(oper 1,oper 2,…,oper N )},其中d Β(data 1,data 2,…,

data N )表示数据,这些数据包括简单类型和复杂类型

第19卷 第1期2009年1月 计算机技术与发展COMPU TER TECHNOLO GY AND DEV ELOPMEN T

Vol.19 No.1Jan. 2009

的数据,oΒ(oper1,oper2,…,oper N)表示操作,包括消息的交互和操作。

定义2:(Web服务的发现)是指通过一定方式找到满足特定要求Web服务的过程。描述为:W=F (W i),(i=1,2,…,N),其中F表示某一特定的关系运算,W

i

表示Web服务集,W表示特定的Web服务。

定义3:(Web服务的合成)是指通过一定的方式方法把较小粒度和功能简单的Web服务组合成较大粒度和功能复杂Web服务的过程。可以描述为:W= W i W j(i=1,2,…,N;j=1,2,…,N),其中 表

示Web服务合成的运算符,W

i

,W j表示较少粒度和功能简单的Web服务,W表示大粒度和功能复杂的Web 服务。

2 合成数据挖掘算法

在网格环境下,各种共享的软件、数据、设备都可定义为服务。数据挖掘算法是一种服务,但单个数据挖掘算法服务功能有限,只有对已有的数据挖掘算法服务根据不同资源环境和不同用户的需求进行合成,来满足不同用户的要求。针对数据挖掘算法服务的特点,设计一种基于本体的服务合成方法。

2.1 数据挖掘算法本体

数据挖掘本体[5,6]通过对数据挖掘领域内概念及概念间关系的精确描述,提供一个人机之间、机器和机器之间互相理解的语义平台,能让机器相互了解数据挖掘算法的功能、输入、输出、数据的流动和接口的参数等。基于本体论的数据挖掘方法使用本体来表示领域知识是为已经存在的、被证明可以有效使用的数据挖掘算法建立本体,通过数据挖掘算法本体,协助数据挖掘领域的用户在实施数据挖掘过程中对众多可供选择的算法和方法进行选择和合成。在挖掘过程中定义已经存在的数据挖掘技术以及特征属性,算法本体主要包含以下信息:1)算法的创建时间、版本、其执行环境。2)算法的可访问性说明信息。3)算法的响应时间、抖动、响应时间、错误处理信息。4)算法的容量信息。5)每个操作的可读信息。6)对于每个操作,包括前提条件下以及该操作和前驱操作的兼容性。7)算法执行说明的结果的详细说明。8)说明阈值情况。9)对影响操作属性如速度、精度、模型复杂性的估计。

2.2 数据挖掘算法服务合成思想

基于本体数据挖掘算法服务组合方法的基本思想:首先确定一个数据挖掘算法服务,然后通过采用关联度和匹配技术找出该服务的后继服务,以此类推,直至找出所有的后继服务,形成了一个服务序列,然后对这个服务序列的服务进行合成。2.3 数据挖掘算法服务合成过程

数据挖掘算法服务合成[7~9]步骤按实用性原则设计,基于用户输入的需求和现有的可用Web服务展开,服务合成具体步骤描述如下:

1)输入服务需求:包括输入数据挖掘服务领域本体和数据挖掘算法本体信息,及数据挖掘算法服务所能提供的输入参数信息、预期的输出结果、服务质量要求及比例和本体匹配的相似度阈值。

2)服务获取:从算法库和网格中获取算法服务。

3)分类:用WSDL对服务描述,根据数据挖掘领域对数据挖掘算法本体进行分类,符合要求的加入可用Web服务队列。

4)同等服务合一:比较可用Web服务队列中的服务对象,把输入和输出参数分别完全匹配的服务归入同一服务组别,每一组服务在可用服务队列中只保留一个服务对象;

5)接口参数匹配:根据输入输出接口,使用接口匹配算法在可用Web服务队列中发现、匹配。

6)生成合成方案:根据接口参数的匹配和用户的需求设计合成方案,并计算每个方案的执行代价,选择一条执行代价最小的合成方案。

7)转换:把合成方案转换BPEL4WS代码。

8)合成失败处理:如果不能找到满足服务需求的服务组合,则把当前的合成工作状态反馈给管理员。

3 数据资源合成

数据资源合成是将多个数据库集成为一个统一的数据库视图,构造一种虚拟的数据库,它包括了多个实体的物理数据库。数据合成利用通用工具和其他服务提供商开发的专用接口对原有系统数据进行抽取、转换、清洗和装载,并对处理的数据用XML把数据封装到XML结构中。WSDL描述Web服务接口规范的标准格式和服务的细节内容,告诉用户如何使用Web服务,利用UDDI在服务注册中心处将这些服务进行注册,服务注册中心接收请求者的查询,服务请求者通过使用UDDI在服务注册中心进行查询,找寻自己需要的服务,然后利用Web服务合成技术合成数据。

Web服务技术提供了一个分布式计算技术,通过开放的Internet标准,利用Web服务技术进行数据合成的主要步骤如下:

1)数据的抽取、分割、另存为基本服务。

2)对服务提供端的数据用Web服务接口给予暴露,提供了可调用的标准化接口。

3)“异构数据语义描述”建立源数据与目标数据的映射关系。

?

5

3

2

?

第1期 陈增科等:Web服务合成技术在网格数据挖掘中的应用研究

4)通过“基于接口合成算法”建立各个基本服务组合的有序序列。

5)生成合成方案,把合成方案转换BPEL4WS代码进行合成。

6)合成失败处理。

4 基于Web服务合成技术的网格数据挖掘系统设计

4.1 基于OG SA的数据挖掘的体系结构

开放的网格体系结构[10]O GSA的概念是结合现有的网格标准、面向服务的体系结构以及Web服务技术。O GSA是一种面向服务的网格结构,它建立在网格服务的基础上,把一切资源定义为服务。网格服务是一种扩展的Web service,由Web service服务体系结构[11]可以看出,它提供了服务的发现者、服务的注册、服务的请求者。

该体系结构基本特点是:

1)开放性,能实时从网格环境中获取算法和数据处理工具,并对组装好的算法和工具实时发布。

2)组装性,能对选择的挖掘算法和工具按需组装。

3)分布性,算法的本体的构成、算法的描述、算法库、方案库都可分布在网格环境中。

4)分时性,各阶段工作都可分时进行。

5)自治性,能对各阶段工作进行实时评估,对发生错误实时处理。

文中所设计数据挖掘系统[12,13]是基于网格环境的,采用开放式体系结构,挖掘系统能与外界进行数据资源和算法资源进行交互。其体系结构图如图1所示。

4.2 网格数据挖掘系统

数据挖掘系统主要是由五大部分组成:门户、服务池、合成器、数据挖掘引擎、评估器。

1)门户:通过提供友好的人机界面帮助用户更准确提交数据挖掘服务合成请求,在领域和服务功能两个层次上对用户的数据挖掘请求进行限定,避免模糊性和歧义性。

2)服务池:主要用存取挖掘算法、挖掘方案和知识库。服务池是由UDDI注册中心、算法服务库和合成知识库构成。算法库负责管理数据挖掘算法,所有的挖掘算法均以Web服务的形式封装。UDDI注册中心注册,当算法库中的某个挖掘算法被请求调用时,接受数据挖掘系统的挖掘请求,向挖掘系统提供合适的算法服务。数据挖掘服务合成知识库存放着领域知识、用户记录和组装方案。

3)合成器:根据挖掘用户的需要从知识库调用一些方案推荐给用户,并给出挖掘方案的评估报告,对用户进行导航

,用户也可自定义一些方案。对选定的数据挖掘算法服务进行合成,在服务合成过程中使用推理机进行推理工作,最主要是完成服务匹配,使用户在服务合成过程找到合适的服务。在合成过程还可根据用户的具体需求调整和设置各个服务的可定制属性,完成用户所要求的服务功能。

图1 基于O GSA的数据挖掘体系结构

4)数据挖掘引擎:数据挖掘引擎是整个挖掘系统的核心部件。在系统中数据挖掘引擎主要是负责挖掘流程的定义、挖掘方案的设计、构建数据挖掘服务和挖掘的执行,还要负责与算法合成中心进行交互,以及与外界进行数据交换。

5)评估器:当服务合成产生多个方案时,对各个服务方案进行评估,选出最优的一个。

5 结束语

为了使数据挖掘用户方便和有效地使用数据挖掘服务,提出对数据挖掘服务进行合成。文中对数据挖掘服务合成进行分析,并探讨了用户利用数据挖掘服务合成系统根据实际需要选择合成方案进行合成。但由于网格技术、Web合成技术和数据挖掘技术的复杂性,还有诸多问题仍待研究。

参考文献:

[1] Foster I,K esselman C,Nick J,et al.Grid service for Distri2

(下转第240页)

3.1 编写Q t/Embedded应用程序

在宿主机上编译Qt for X11时生成的Qt Designer 软件是一个非常流行的快速应用程序开发工具,用来设计界面和编制代码。在Qt Designer中,可以通过拖拉或点击的方式,在一张空白表单的适当位置上添加一些输入框和按钮等窗口组件。这时Designer工具会自动编写和维护代码。

使用Qt Designer进行C++程序编制的基本步骤是:首先建立窗体,并根据应用的需要在窗体中添加控件。Qt会将建立的窗体保存为.ui文件,使用Qt提供的uic工具将文件转换为.h和.cpp文件,对于控制动作是需要手动添加不同的操作函数。之后使用progen 工具为该应用程序建立.pro工程文件,并通过tmake 工具为该工程建立Makefile文件。最后,只需要运行make即可生成可执行文件。

在编写操作函数时,本系统通过计算相邻监测点的观测值确定每个电池芯的电压值。通过查询选用电池芯的放电结束电压查找表[6],得出每个电池芯的剩余电量。当电池组电量降至一定阈值或某个电池芯的储电量低于3%时[7],利用应用程序报警,通知用户予以充电或按照指示的电池编号及时进行个别更换。这样,既可保证电源的正常工作指标,又能够提高所有电池的利用率。

3.2 将应用程序植入Q topia

在Qtopia平台上发布自己的应用程序,需要三个文件:一个执行文件、一个启动器文件、一个图标文件。执行文件就是前面讲到编写并编译生成的可执行文件,需要将该可执行文件保存在qtopia/bin目录下。图标文件就是为应用程序制作48348大小的PN G格式的小图像,它一般存放在qtopia/pics目录下。同时还需要建立应用启动器(.desktop)文件,把它保存在qtopia/apps/Applications目录下。将上述文件分别复制好以后,重新运行Qtopia,就可以看到添加的应用图标,点击此图标便可运行该应用程序了。

4 结束语

降低系统能耗需要嵌入式系统硬件环节提供可靠支持,同时也离不开嵌入式操作系统和应用程序对硬件资源的合理管理[8]。现有的Linux提供了电源管理的部分功能,但由于具体进行嵌入式系统设计时的灵活性,一般需要根据特定需要而定制应用程序对电源电量进行精确的监测与提示。通过对手持式终端设备中电源监测技术的研究和实现,将有助于其它类型嵌入式系统的电源监测、管理工作的完成,亦有望对类似系统的建立具有一定的参考和借鉴价值。

参考文献:

[1] 朱玉军,王香凤.笔记本电脑电池简介[J].化学教学,2006

(4):30-32.

[2] 原 亮,王盼卿,陈立云,等.装备信息化工作中嵌入式系

统的研究实现[J].军械工程学院学报,2007,8(1):79-81.

[3] 潘巨龙,黄 宁.Arm嵌入式Linux系统构建与应用[M].

北京:北京航空航天大学出版社,2006.

[4] Bovet D P,Cesati M.深入理解Linux内核[M].北京:中国

电力出版社,2004.

[5] 倪继利.Qt及Linux操作系统窗口设计[M].北京:电子工

业出版社,2006.

[6] 陈金舟.储氢合金测试系统及镍氢电池管理系统的设计

[D].北京:中国科学院研究生院,2004.

[7] 华宏懿.镍氢蓄电池的数学建模及其电池管理系统实现

[D].北京:北方工业大学,2006.

[8] 阳富民,梁 晶,张 杰,等.嵌入式Linux电源管理技术的

研究与实现[J].计算机工程与科学,2004,26(12):92-93.

(上接第236页)

buted System Integration[J].IEEE Computer,2002,35(6): 37-46.

[2] 侯文国,傅秀芬,谢翠萍.网格的数据挖掘[J].计算机应用

研究,2004(10):241-247.

[3] HAN Jiawei,K amber M.Data Ming Concept and Techniques

[M].[s.l.]:Morgan K aufmann Publishers Inc,2001.

[4] 顾 宁,刘家茂,柴晓路.Web Services原理与研发实践

[M].北京:机械工业出版社,2006.

[5] 邱莉榕,史忠植,林 芬,等.基于主体语义Web服务自动

组合研究[J].计算机研究与发展,2007,44(4):643-650.

[6] 邹力昆鸟.数据挖掘方法本体研究[J].计算机科学,2005,32

(3):197-199.

[7] 张佩云,孙亚民.动态Web服务组合研究[J].计算机科学,

2007,34(5):4-7.

[8] 袁 琴,杨小虎.基于本体分类的Web服务合成的研究及

应用[J].计算机工程,2007,33(2):79-81.

[9] 李 曼,王大治,杜小勇,等.基于领城本体的Web服务动

态组合[J].计算机学报,2005,28(4):644-650.

[10]蔡 刚.基于网格的分布式数据挖掘体系结构研究[D].重

庆:重庆大学,2007.7.

[11]Box D.Simple object Access Protocol(SOAP) 1.1[EB/OL].

2001.https://www.wendangku.net/doc/5d11258749.html,/TR/SOAP/.

[12]侯敬军,曾致远,向 凌.一种基于Web服务的分布式数据

挖掘体系结构[J].微机发展,2004,14(6):48-51.

[13]吴小竹.利用Web service技术构建开放式数据挖掘系统

[J].计算机工程与设计,2007,28(15):3563-3565.

Web数据挖掘研究_李国慧

数据库与信息管理 本栏目责任编辑:闻翔军 Web数据挖掘研究 李国慧 (潍坊学院数学与信息科学学院,山东潍坊261061) 摘要:基于Web的数据挖掘是一个结合数据挖掘和WWW的热门研究主题,它是现代科学技术相互渗透与融合的必然结果。本文 阐述了Web数据挖掘的定义、分类和过程,并对Web数据挖掘的应用与发展前景进行了探讨。 关键词:Internet;数据挖掘;Web数据挖掘 中图分类号:TP302文献标识码:A文章编号:1009-3044(2008)04-10592-03 TheReasearchofWebDataMining LIGuo-hui (SchoolofMathematicsandInformationScience,WeifangUniversity,Weifang261061,China) Abstract:DataMiningbasedontheWebisapopularresearchtopicthatjoinsthedataminingandWWWtogether.Itistheinevitable outcomethatthemodernsciencetechniquepermeatesmutuallywithfusion.Thisarticlehavesetforthdefinition,classificationandprocess thattheWebdatamining,andhavecarriedoutinvestigationanddiscussionontheapplicationthattheWebdataminingwithdevelopinga prospect. Keywords:Internet;DataMining;WebDataMining 1引言 伴随着网络和通信技术的飞速发展,作为全球最大的信息服务平台的Internet正在以前所未有的速度渗入到人类的生产和生 活的各个方面。Internet的普及同时推动了WWW(WorldWideWeb万维网)的迅猛发展,据统计每2个小时就有一个新的WWW服 务器产生,WWW作为信息发布和交流的全球性媒体,它的内容涵盖了包括科研、教育、商业、金融、军事等各个领域。Web已发展成 为一个跨国界的巨大信息空间,Web页面的数量以惊人的速度增长,正是由于Web上包含巨大的信息量使得越来越多的用户感觉 到在WWW上寻找自己想要的信息犹如“大海捞针”一样困难。据说,99%的Web信息相对99%的用户来说都是无用的。用户关心的 其实只是Web信息中极少的一部分,而且大量的无关信息会干扰甚至淹没用户感兴趣的内容。所以如何快速、准确且高效地从浩瀚 的Web信息资源中搜寻和发现用户感兴趣的信息和知识己经成为一个迫切需要解决的问题。而将传统的数据挖掘技术与Web有 机地结合在一起,进行Web挖掘是解决这些问题的一个有效的途径。Web数据挖掘是对已有Web资源的有效利用,其主要目标是 从分散在Internet上的半结构化的HTML页面中挖掘用户所需信息,形成结构化数据,且结构化的结果数据可用于数据库挖掘、文 本生成等后续Web信息处理。 2Web数据挖掘概念 在国内对于Web挖掘众说纷纭,有学者将网络环境下的数据挖掘归入网络信息检索与网络信息内容的开发,也有的在信息服 务的角度上提出“信息挖掘”,指出其有别于传统的信息检索,能够在异构数据组成的信息库中,从概念及相关因素的延伸比较上找 出用户需要的深层次的信息,并提出信息挖掘将改革传统的信息服务方式而形成一个全新的适合网络时代要求的信息服务组合。Web数据挖掘(WebDataMining)简称Web挖掘,是数据挖掘技术在Web环境下的应用,它将数据挖掘技术应用在Web上,从大量 的Web文档集合和在站点内进行浏览的相关数据中发现蕴涵的、未知、有潜在应用价值的、非平凡的模式(Pattern)的过程。它所处理 的对象包括:静态网页、Web数据库、Web结构、用户使用记录等信息[1]。通过对这些信息的挖掘,可以得到仅通过文字检索所不能得 到的信息。 基于Web的数据挖掘和传统的基于数据仓库的数据挖掘有着不同的含义。根据W.J.Frawley和G.P.Shapiro等人的定义,一般的 数据挖掘指从大型数据库的数据中提取人们感兴趣的知识,而这些知识是隐含的,事先未知的、潜在的有用信息,它侧重在于从己 有的信息中提取规律性的知识[2]。而Web挖掘的研究对象是以半结构化和无结构文档为中心的Web,这些数据没有统一的模式,数 收稿日期:2008-01-12 作者简介:李国慧,潍坊学院数学与信息科学学院教师,硕士研究生,研究方向:计算机技术。

web数据挖掘考试重点

填空或简答: 1. 数据、信息和知识是广义数据表现的不同形式。 2. 主要知识模式类型有:广义知识,关联知识,类知识,预测型知识,特异型知识 3. web挖掘研究的主要流派有:Web结构挖掘、Web使用挖掘、Web内容挖掘 4. 一般地说,KDD是一个多步骤的处理过程,一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。 5. 数据库中的知识发现处理过程模型有:阶梯处理过程模型,螺旋处理过程模型,以用户为中心的处理结构模型,联机KDD模型,支持多数据源多知识模式的KDD处理模型 6. 粗略地说,知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段,其中后面两种反映了目前知识发现软件的两个主要发展方向。 7. 决策树分类模型的建立通常分为两个步骤:决策树生成,决策树修剪。 8. 从使用的主要技术上看,可以把分类方法归结为四种类型: a) 基于距离的分类方法 b) 决策树分类方法 c) 贝叶斯分类方法 d) 规则归纳方法 9. 关联规则挖掘问题可以划分成两个子问题: a) 发现频繁项目集:通过用户给定Minsupport ,寻找所有频繁项目集或者最大频繁项目集。 b) 生成关联规则:通过用户给定Minconfidence ,在频繁项目集中,寻找关联规则。 10. 数据挖掘是相关学科充分发展的基础上被提出和发展的。 主要的相关技术: 数据库等信息技术的发展 统计学深入应用 人工智能技术的研究和应用 11. 衡量关联规则挖掘结果的有效性: 应该从多种综合角度来考虑: a准确性:挖掘出的规则必须反映数据的实际情况。 b实用性:挖掘出的规则必须是简洁可用的。 c新颖性:挖掘出的关联规则可以为用户提供新的有价值信息。 12. 约束的常见类型有: 单调性约束; 反单调性约束; 可转变的约束; 简洁性约束. 13. 根据规则中涉及到的层次,多层次关联规则可以分为: 同层关联规则:如果一个关联规则对应的项目是同一个粒度层次,那么它是同层关联规则。层间关联规则:如果在不同的粒度层次上考虑问题,那么可能得到的是层间关联规 14. 按照聚类分析算法的主要思路,聚类方法可以被归纳为如下几种。 划分法:基于一定标准构建数据的划分。 属于该类的聚类方法有:k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。 层次法:对给定数据对象集合进行层次的分解。 密度法:基于数据对象的相连密度评价。 网格法:将数据空间划分成为有限个单元(Cell)的网格结构,基于网格结构进行聚类。 模型法:给每一个簇假定一个模型,然后去寻找能够很好的满足这个模型的数据集。 15. 类间距离的度量主要有: 最短距离法:定义两个类中最靠近的两个元素间的距离为类间距离。 最长距离法:定义两个类中最远的两个元素间的距离为类间距离。 中心法:定义两类的两个中心间的距离为类间距离。

数据挖掘常用的方法

数据挖掘常用的方法 在大数据时代,数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪 声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知 识的过程,也是一种决策支持过程。其主要基于人工智能,机器学习,模式学习,统 计学等。通过对大数据高度自动化地分析,做出归纳性的推理,从中挖掘出潜在的模式,可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场,并做出正 确的决策。目前,在很多领域尤其是在商业领域如银行、电信、电商等,数据挖掘可 以解决很多问题,包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖 掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据库中的数据项映射到摸个给定的类别中。 可以应用到涉及到应用分类、趋势预测中,如淘宝商铺将用户在一段时间内的购买情 况划分成不同的类,根据情况向用户推荐关联类的商品,从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性,通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的 研究中去。在市场营销中,回归分析可以被应用到各个方面。如通过对本季度销售的 回归分析,对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类,但与分类的目的不同,是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大,但不同类别之间数据的 相似性很小,跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系,即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段:第一阶 段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求,各 银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术,因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知 识或数据为特征的处理问题,它的这一特点十分适合解决数据挖掘的问题。典型的神 经网络模型主要分为三大类:第一类是以用于分类预测和模式识别的前馈式神经网络 模型,其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型,以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组

Web数据挖掘在电子商务中的应用

结课论文 课程名称:数据仓库与数据挖掘 授课教师:徐维祥 论文题目:Web数据挖掘在电子商务中的应用学生姓名:王琛 学号:13120975 北京交通大学 2014年9月

Web 数据挖掘在电子商务中的应用 摘要:大数据时代已然来临,在各种信息数据都呈现出爆炸式增长的今天,不同规模的电商都在奋力追赶“大数据”发展的速率和步伐。一个全新的以信息为中心,以洞察力为导向的电商生存环境已经出现,而智慧的分析能力成为在该环境下成功的关键,以大数据为导向的效率提升,客户需求快速响应,风险把控和商业模式优化,都将成为提高商业流转速率的利器,数据挖掘和分析领域技术型、产品型的创业公司将有可能成为全新的创业机会和投资热点。数据挖掘在电子商务的发展中占有越来越重要的作用,本文重点论述Web 数据挖掘在电子商务的相关应用。 关键字:Web 数据挖掘,电子商务,内容挖掘 随着Internet 的快速发展,互联网上的各种信息飞速增长,电子商务已经成为当代经济不可或缺的重要组成部分。面对电子商务网站产生的海量信息和数据,通过Web 数据挖掘技术可以从这个庞大的信息数据集合中提取有用的信息,找到提供数据管理和使用的平台;可以合理的组织网站建设,更加人性化的给用户提供服务;可以从无限量的网络信息中迅速找到用户最为需求的信息,从而更好的有针对性的销售自己的产品。电子商务中的Web 数据挖掘,主要是从其中挖掘出有效的、新颖的、有价值的,潜在的有用的市场信息,从而进行正确的商业决策。 1 概述 1.1Web 数据挖掘技术 Web 数据挖掘技术是随着电子商务的发展应运而生的技术,是指从海量的Web 信息仓库中进行浏览的相关数据中发现潜在有用的、隐含的模式或关联信息。Web 数据挖掘技术在电子商务中有广泛的应用,能对客户的访问方式、订单详情等进行挖掘,获取其购买行为特点,跟踪发现用户的访问习惯,以此来改进网页设计机构,实现智能化、个性化的用户界面。1 1.2Web 数据挖掘的分类 Web 挖掘通常基于Web 数据类型的分类进行划分。Web 数据类型主要包含三种:一类 1

web数据挖掘总结

一、数据挖掘 数据挖掘是运用计算机及信息技术,从大量的、不完全的数据集中获取隐含 在其中的有用知识的高级过程。Web 数据挖掘是从数据挖掘发展而来,是数据挖掘技术在Web 技术中的应用。Web 数据挖掘是一项综合技术,通过从 Internet 上的资源中抽取信息来提高Web 技术的利用效率,也就是从 Web 文档结构和试用的集合中发现隐含的模式。 数据挖掘涉及的学科领域和方法很多,有多种分类法。 (1)根据挖掘对象分:关系数据库、面向对象数据库、空间数据库、时序 数据库、DNA 数据库、多媒体数据库、异质数据库、遗产数据库以及Web数据库等; (2)根据挖掘方法分:机器学习方法、统计方法、神经网络方法和数据库 方法等; a. 机器学习方法可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。 b.统计方法可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。 c. 神经网络方法可细分为:前向神经网络(BP 算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。 (3)根据开采任务分:可分为关联规则、分类、聚类、时间序列预测模型 发现和时序模式发现等。 a.关联规则:典型的关联规则发现算法是Apriori算法,该算法也称广度优先算法,是A.Agrawal和R.Srikandt于1994年提出的,它是目前除AIS 算法、面向SQL的SETM 算法外几乎所有频繁项集发现算法的核心,其基本思想是: 如果一个项集不是频繁集,则其父集也不是频繁集,由此大大地减少了需要验证的项集的数目,在实际运行中它明显优于AIS 算法。 Apriori算法是关联规则挖掘中最具有影响的一种算法.所谓关联规则就是 从事务数据库、关系数据库和其他数据存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性.关联规则可以分为两步: 1)找出所有频繁项集.这部分主要由后面介绍的Apriori算法来解决. 2)由频繁项集产生相关联规则:这些规则必须满足最小支持度和最小置信 度. b.分类规则:数据挖掘的一个重要任务是对海量数据进行分类。数据分类是基于一组数据的某些属性的值进行的。数据分类的方法很多,包括决策树方法、统计学方法、神经网络方法、最近邻居方法等等。其中,基于决策树的分类方法与其它的分类方法比较起来,具有速度较快、较容易转换成简单的并且易于被理解的分类规则、较易转换成数据库查询语言、友善、可得到更高的准确度等优点。

Web数据挖掘综述

Web数据挖掘综述 摘要:过去几十年里,Web的迅速发展使其成为世界上规模最大的公共数据源,因此如何从Web庞大的数据中提取出有价值的信息成为一大难题。Web数据挖掘正是为了解决这一难题而提出的一种数据挖掘技术。本文将从Web数据挖掘的概念、分类、处理流程、常用技术等几方面对Web数据挖掘进行介绍,并分析了Web数据挖掘的应用及发展趋势。 关键词:Web数据挖掘;分类;处理流程;常用技术;应用;发展趋势 Overview of Web Data Mining Abstract:Over the past few decades,the rapid development of Web makes it becoming the world’s largest public data sources.So how to extract valuable information from the massive data of Web has become a major problem.Web data mining is the data mining technology what is in order to solve this problem.This article introduces the Web data mining from its concept, classification,processing,and common techniques,and analyzes the application and the development tendency of Web data mining. Key words:Web Data Mining;Classification;Processing;Common Techniques;Application; Development Tendency 0.引言 近些年来,互联网技术的飞速发展,带来了网络信息生产和消费行为的快速拓展。电脑、手机、平板电脑等终端的普及,SNS、微博等Web2.0应用的快速发展,促进了互联网信息数量的急剧增长,信息资源前所未有的丰富。但同时,海量级、碎片化的信息增加了人们获取有效信息的时间和成本[1]。因此,迫切需要找到这样的工具,能够从Web上快速有效地发现资源,发现隐含的规律性内容,提高在Web上检索信息、利用信息的效率,解决数据的应用问题,Web数据挖掘正是一个很好的解决方法。 1.Web数据挖掘概念 Web数据挖掘,简称Web挖掘,是由Oren Etzioni在1996年首先提出来的[2]。Web数据挖掘是数据挖掘在Web上的应用,它利用数据挖掘技术从与Web相关的资源和行为中抽取感兴趣的、有用的模式和隐含信息,涉及数据库技术、信息获取技术、统计学、机器学习和神经网络等多个研究领域的技术[3]。 2.Web数据挖掘分类 Web上包括三种类型数据:Web页面数据、Web结构数据和Web日志文件[4]。依据在挖掘过程中使用的数据类别,Web数据挖掘可以分为Web内容挖掘,Web结构挖掘,Web 使用挖掘三类。 2.1Web内容挖掘 Web内容挖掘是从文档内容或其描述中抽取有用信息的过程。Web内容挖掘有两种策略:直接挖掘文档的内容和在其他工具搜索的基础上进行改进。根据挖掘出来的数据可以将

数据挖掘在Web中的应用案例分析

[数据挖掘在Web中的应用] 在竞争日益激烈的网络经济中,只有赢得用户才能最终赢得竞争的优势。作为一个网站,你知道用户都在你的网站上干什么吗?你知道你的网站哪些部分最为用户喜爱、哪些让用户感到厌烦?什么地方出了安全漏洞?什么样的改动带来了显著的用户满意度提高、什么样的改动反而丢失了用户?你怎样评价你的网站广告条的效率、你知道什么样的广告条点击率最高吗?“知己知彼,才能百战不殆”,你真的了解自己吗?挑战的背后机会仍存,所有客户行为的电子化(Click Stream),使得大量收集每个用户的每一个行为数据、深入研究客户行为成为可能。如何利用这个机会,从这些“无意义”的繁琐数据中得到大家都看得懂的、有价值的信息和知识是我们面临的问题。 [问题]: 1.根据你所学的知识,思考从网站中所获取的大量数据中,我们能做哪些有意义的数据分 析? 基于WEB 使用的挖掘,也称为WEB 日志挖掘(Web Log Mining)。与前两种挖掘方式以网上的原始数据为挖掘对象不同,基于WEB 使用的挖掘面对的是在用户和网络交互的过程中抽取出来的第二手数据。这些数据包括:网络服务器访问记录、代理服务器日志记录、用户注册信息以及用户访问网站时的行为动作等等。WEB 使用挖掘将这些数据一一纪录到日志文件中,然后对积累起来的日志文件进行挖掘,从而了解用户的网络行为数据所具有的意义。我们前面所举的例子正属于这一种类型。 基于WEB 内容的挖掘:非结构化半结构化\文本文档超文本文档\Bag of words n-grams 词短语概念或实体关系型数据\TFIDF 和变体机器学习统计学(包括自然语言处理)\归类聚类发掘抽取规则发掘文本模式建立模式. 基于WEB 结构的挖掘:半结构化数据库形式的网站链接结构\超文本文档链接\边界标志图OEM 关系型数据图形\Proprietary 算法ILP (修改后)的关联规则\发掘高频的子结构发掘网站体系结构归类聚类. 基于WEB 使用的挖掘:交互形式\服务器日志记录浏览器日志记录\关系型表图形\Proprietary 算法机器学习统计学(修改后的)关联规则\站点建设改进与管理销建立用户模式. 2.根据你所学的数据挖掘知识,谈谈哪些数据挖掘技术可以应用于Web中,以这些数据挖 掘技术可以完成哪些功能? Web Mining 技术已经应用于解决多方面的问题,比如基于WEB 内容和结构的挖掘极大的帮助了我们从浩瀚的网络资源中更加快速而准确的获取所需要的资料,而基于使用的数据挖掘之威力,更是在商业运作上发挥的淋漓尽致,具体表现在: (1)对网站的修改能有目的有依据稳步的提高用户满意度 发现系统性能瓶颈,找到安全漏洞,查看网站流量模式,找到网站最重要的部分,发现用户的需要和兴趣,对需求强烈的地方提供优化,根据用户访问模式修改网页之间的连接,把用户想要的东西以更快且有效的方式提供给用户,在正确的地方正确的时间把正确的信息提供给正确的人。 (2)测定投资回报率 测定广告和促销计划的成功度 找到最有价值的ISP 和搜索引擎 测定合作和结盟网站对自身的价值

Web数据挖掘系统的设计及关键技术研究

Web 数据挖掘系统的设计及关键技术研究 刘敏钰,薛鸿民 (陕西教育学院计算机系,陕西西安710061) 收稿日期:2004-11-27 作者简介:刘敏钰(1964-),女,陕西合阳人,副教授,主要研究方向为信息技术教育及计算机网络。 摘 要:Web 数据挖掘是一种新兴的边缘科学技术,它涉及到机器学习、数据挖掘、信息检索、自然语言处理、数据库以及人工智能等技术,可用于网络检索、网站建设以及电子商务等方面。本文在对Web 数据挖掘技术详细研究的基础上,提出了一个Web 数据挖掘的通用系统框架,并对信息收集、信息选择和预处理、模式的提取和用户接口等各个组成部分所使用的技术和存在的问题及解决的方法进行了讨论。本文结合Web 自身的特点,提出了一个智能网页收集器WebCrawier ,它除具有一般Web Robot 的基本功能外,还采用了一种既考虑文本重要性又考虑链接结构的URL 排序方法,从而确保收集的Web 页面是Web 比较优秀的部分。关键词:信息检索;数据挖掘;Web 中图分类号:TP274+.2 文献标识码:A 文章编号:1671-654X (2005)01-0059-04 引言 Internet 及WWW (Worid Wide Web )的出现极大地改变了人们的工作、学习和生活。Web 上巨大的信息使人们处于Rich Data Poor Information 的境地。人们获取信息的主要手段———搜索引擎存在着搜索范围比较窄、搜索结果不准确、基于句法的查询接口、不能提供多媒体搜索服务等缺点,所以无法满足人们需求,而Web 数据挖掘的出现能部分解决此类问题。 Web 数据挖掘(Data Mining )就是利用数据挖掘技术从网络文档和服务中发现和提取信息。数据挖掘也称为KDD ,是指从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、有用的信 息和知识的过程[1] 。 1 发展现状及面临的问题 Web 数据挖掘有两种方法———直接对Web 文档进行挖掘和构造Web 数据仓库进行挖掘。传统的从Web 上提取信息的搜索引擎和近来的从Web 上智能提取信息的搜索工具都是直接对Web 文档进行挖掘。Web 是一个没有标准、没有结构的异构系统,可以将其转换并看作一个多层数据库,用数据库技术进行管理和挖掘。 IBM ,NEC 等机构对Web 数据挖掘进行了大量的 研究,并取得了一定的成果 [2]。S.Charkrabarti [3] 对超文本数据挖掘进行了研究,并指出基于知识的算法将 会在Web 数据挖掘中扮演重要的角色; B.Pinkerton [4] 对信息的收集和评价方法进行了讨论并引入了结构挖掘来评价查询结果;Osmar.R.Zaiane 等还对Web 多媒体数据挖掘进行了研究,并提出了一个多媒体数 据挖掘的系统原型。1998年,S.Brin 和L.Page [5] 提出 了PageRank 算法并将其应用到Googie 。 与国外相比,国内对数据挖掘的研究稍晚,主要开始20世纪90年代中期。对数据挖掘的研究要在1998年以后。南京大学、北京大学、中科院计算技术研究所等等对Web 内容挖掘进行了一定的研究,国防科技大学、上海交通大学、西安交通大学、复旦大学等 对Web 访问信息挖掘进行了大量研究。邹涛[6] 、王继成 [7]、王实[8]、高文[8]、张卫丰[9] 等对Web 内容挖掘以及Web 信息检索的技术进行了研究。国防科技大学、上海交通大学、西安交通大学等对用户访问站点的路径访问模式进行了初步研究。此外,一些数据挖掘和智能信息检索的学术团体也十分活跃,如数据挖掘讨论组、南京大学BBS 的数据挖掘版和智能信息检索论坛等。但是国内的科研力量和研究水平与国外有一定差距,还没有提出独到而又新颖理论和方法。 本文在对Web 数据挖掘技术详细研究的基础上,提出了一个Web 数据挖掘的通用系统框架,并对信息收集、信息选择和预处理、模式的提取和用户接口等 第35卷 第1期 2005年3月 航空计算技术 Aeronauticai Computer Technigue Voi.35No.1Mar. 2005

毕业设计(论文)-基于Web内容的数据挖掘分析

学号: 基于Web 内容的数据挖掘分析 学院名称: 计算机与信息工程学院 专业名称: 计算机科学与技术专业 年级班别: 2012级1班 姓 名: 指导教师: 2016年5月 河南师范大学 本科毕业论文

基于Web内容的数据挖掘分析 摘要二十一世纪以来,互联网技术飞速发展,Web也越来越流行,Web信息资源也是呈现爆炸式增长。基于Web内容的数据挖掘分析,通过收集Web访问者的互联网浏览记录、上网习惯等方式得到原始数据,用来改进互联网用户的操作体验,提升Web服务,也有利于商户开展有关的电子商务活动。本文讲述了从Web挖掘到Web内容挖掘、Web结构挖掘、Web使用挖掘的相关内容,重点简述了Web使用挖掘的过程。表明了Web数据挖掘的主要应用方向,并着重分析相关应用方向的关键技术,然后介绍了Web 数据挖掘的技术实现,有关联规则,序列模式挖掘技术,分类、聚类技术,路径分析技术,以及最后的Web挖掘技术的流程。 关键词数据挖掘;Web挖掘;信息提取 Data Mining Analysis Based on Web Content Abstract The twenty-first century, the rapid development of Internet technology, Web has become increasingly popular, Web information resources is explosive growth. Data mining analysis based on Web content , browse through the collection of Web visitors Internet records, surfing habits and other ways to get the raw data used to improve the operation of the Internet user experience, enhance the Web services, but also conducive to conduct business-related e-commerce activities. This article describes the mining from the Web to Web content mining, Web structure mining, Web usage mining-related content, focusing briefly on Web usage mining process. It indicates the direction of the main application Web data mining, and analyzes the key technology-related application direction, and then introduced the Web data mining technology, association rules, sequential pattern mining, classification, clustering technology, path analysis, and last Web mining process. Keywords Data mining; Web mining; Information extraction

基于WEB数据挖掘的网络舆情分析研究

基于WEB数据挖掘的网络舆情分析研究 一、网络舆情 网络舆情是由于各种事件的刺激而产生的通过互联网 传播的人们对于该事件的所有认知、态度、情感和行为倾向的集合。网络舆情形成迅速,对社会影响巨大。随着因特网在全球范围内的飞速发展,网络媒体已被公认为是继报纸、广播、电视之后的“第四媒体”,网络成为反映社会舆情的主要载体之一。网络环境下的舆情信息的主要来源有:新闻评论、BBS、博客、聚合新闻(RSS)。网络舆情表达快捷、信息多元,方式互动,具备传统媒体无法比拟的优势。 网络的开放性和虚拟性,决定了网络舆情具有以下特点: (一)直接性,通过BBS,新闻点评和博客网站,网民可以立即发表意见,下情直接上达,民意表达更加畅通; (二)突发性,网络舆论的形成往往非常迅速,一个热点事件的存在加上一种情绪化的意见,就可以成为点燃一片舆论的导火索; (三)偏差性,由于发言者身份隐蔽,并且缺少规则限制和有效监督,网络自然成为一些网民发泄情绪的空间。在现实生活中遇到挫折,对社会问题片面认识等等,都会利用

网络得以宣泄。因此在网络上更容易出现庸俗、灰色的言论。 二、数据挖掘技术 数据挖掘(Data Mining,DM),又译为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘是目前人工智能和数据库领域研究的热点问题。数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。知识发现过程由以下三个阶段组成:1.数据准备,2.数据挖掘,3.结果表达和解释。数据挖掘可以与用户或知识库交互。 (一)决策树。决策树是数据挖掘分类算法的一个重要方法。在各种分类算法中,决策树是最直观的一种。每个决策树都表述了一种树型结构,它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。当不能再进行分割或一个单独的类可以被应用于某一分支时,递归过程就完成了。另外,随机森林分类器将许多决策树结合起来以提升分类的正确率。 决策树同时也可以依靠计算条件概率来构造。 决策树如果依靠数学的计算方法可以取得更加理想的

Web数据挖掘技术

Web数据挖掘技术 【摘要】文章主要描述了Web挖掘的原理、分类、数据挖掘的关键技术和数据挖掘的方法。针对Web数据的复杂性和特殊性,Web的数据挖掘必须对Web 页做必要的数据处理,使之达到结构化数据的挖掘要求,或使用XML技术来构造半结构数据模式再进行数据挖掘。 【关键词】Web挖掘;内容挖掘;结构挖掘;使用挖掘 0引言 随着Internet/Intranet技术的发展,尤其是Web的全球普及使得Web上信息量无比丰富,Web已经成为人们获取信息的重要途径,但最先进的搜索引擎也只能找到Web网页上面很少的网页,而且无论怎么选择关键词都会返回大量并不需要的结果。如何从非格式化数据信息中有效地挖掘出有用的信息是对数据挖掘领域的一个新挑战。 Web上的数据信息不同于数据库。它主要是些大量的、异质的Web信息资源,文档结构性差,其数据多为半结构化或非结构化,信息不能清楚地用数据模型来表示。因此在Web的数据挖掘需要用到很多不同于单个数据仓库挖掘的技术。 1Web数据挖掘概述 1.1 Web数据挖掘概念 Web数据挖掘是一项综合技术,是利用数据挖掘技术从WWW数据资源中抽取信息的过程,结合了数据挖掘、信息处理、可视化、数理统计等领域的成熟技术,是对Web数据资源中蕴含的未知的有潜在应用价值的模式的提取。 1.2 Web数据挖掘原理 通常Web挖掘过程可以分为以下几个处理阶段:资源发现、数据抽取及数据预处理、数据汇总及模式识别、分折验证。目标数据集根据用户需求,从Web 数据源中提取的相关数据,Web数据挖掘主要从这些数据通信中进行数据提取;预处理过程从数据中去除明显错误或冗余的数据,并将数据转换成为有效和易于理解的形式;模式分析对发现的模式进行解释和评估;最后将发现的知识以用户能理解的方式提供给用户。 1.3 Web数据挖掘分类 根据挖掘对象的不同,Web挖掘可以分为三类,Web内容挖掘(WCM)、Web结构挖掘(WSM)和Web使用挖掘(WUM)。

Web数据挖掘的研究现状及发展

Web数据挖掘的研究现状及发展 1.Web挖掘概述 随着以数据库、数据仓库等数据仓储技术为基础的信息系统在各行各业的应用,使海量数据不断产生。随之而来的问题是如此多的数据让人难以消化,无法从表面上看出他们所蕴涵的有用信息,更不用说有效地指导进一步的工作。如何从大量的数据中找到真正有用的信息成为人们关注的焦点,数据挖掘技术也正是伴随着这种需求从研究走向应用。 近年来,随着Internet/Web技术的快速普及和迅猛发展,使各种信息可以以非常低的成本在网络上获得,由于Internet/WWW在全球互连互通,可以从中取得的数据量难以计算,而且Internet/WWW的发展趋势继续看好,特别是电子商务的蓬勃发展为网络应用提供了强大支持,如何在WWW这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。 Web挖掘指使用数据挖掘技术在WWW数据中发现潜在的、有用的模式或信息。Web挖掘研究覆盖了多个研究领域,包括数据库技术、信息获取技术、统计学、人工智能中的机器学习和神经网络等。 2.Web挖掘流程 与传统数据和数据仓库相比,Web上的信息是非结构化或半结构化的、动态的、并且是容易造成混淆的,所以很难直接以Web网页上的数据进行数据挖掘,而必须经过必要的数据处理。典型Web挖掘的处理流程如下[3]: 1.查找资源:任务是从目标Web文档中得到数据,值得注意的是有时信息资源不仅限于在线Web 文档,还包括电子邮件、电子文档、新闻组,或者网站的日志数据甚至是通过Web形成的交易数据库中的数据。 2.信息选择和预处理:任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。例如从Web文档中自动去除广告连接、去除多余格式标记、自动识别段落或者字段并将数据组织成规整的逻辑形式甚至是关系表。 3.模式发现:自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。 4.模式分析:验证、解释上一步骤产生的模式。可以是机器自动完成,也可以是与分析人员进行交互来完成。 Web挖掘作为一个完整的技术体系,在进行挖掘之前的信息获得IR(Information Retrieval)和信息抽取IE(Information Extraction)相当重要。信息获得(IR)的目的在于找到相关Web 文档,它只是把文档中的数据看成未经排序的词组的集合,而信息抽取(IE)的目的在于从文档中找到需要的数据项目,它对文档的结构合表达的含义感兴趣,它得一个重要任务就是对数据进行组织整理并适当建立索引。 信息获得(IR)和信息抽取(IE)技术的研究已近有很长时间,随着Web技术的发展,基于Web 技术的IR、IE得到了更多的重视。由于Web 数据量非常大,而且可能动态变化,用原来手工方式进行信息收集早已经力不从心,目前的研究方向是用自动化、半自动化的方法在Web上进行IR和IE。在Web环境下既要处理非结构化文档,又要处理半结构化的数据,最近几年在这两方面都有相应的研究成果和具体应用,特别是在大型搜索引擎中得到了很好的应用。 3.Web挖掘分类及各自的研究现状及发展 根据对Web数据的感兴趣程度不同,Web挖掘一般可以分为三类:Web内容挖掘(Web Content mining)、 Web结构挖掘( Web structure mining)、 Web 用法挖掘(Web usage Mining)3.1、Web内容挖掘: 指从Web内容/数据/文档中发现有用信息,Web上的信息五花八门,传统的Internet由各种类型的服务和数据源组成,包括WWW、FTP、Telnet等,现在有更多的数据和端口可以使用,比如

相关文档