基于Web日志挖掘的个性化服务站点

第27卷第1期2006年1月 微计算机应用

MICROCOMPU IER A PPL ICA TIONS Vol.27No.1 J an.2006

本文于2004-08-16收到。

基于Web 日志挖掘的个性化服务站点

1

夏敏捷　2

张慧档

(1中原工学院计科系　郑州　450007;2河南工业大学　郑州　450052)

摘　要:介绍个性化站点的概念,并对Web 日志挖掘系统体系结构进行分析。其后将关联规则挖掘技术应用到日志

事务会话中,在对日志数据的特性分析的基础上提出类Apriori 挖掘算法。对类Apriori 挖掘算法得到的频繁项集如何有效提取关联规则提出了最有效的方法。在实际应用中探讨了如何从多个匹配的关联规则中选择合适的匹配规则。

关键词:Web 日志挖掘　关联规则　数据挖掘

Personalize Web Site System B ased on Web Log Mining

1

XIA Minjie ,2ZHAN G Huidang

(1Depart ment of Computer Science ,Zhongyuan Institute of Techndogy ,Zhengzhou ,450007,China ;

2

Henan University of technology ,Zhengzhou ,4500052,China )

Abstract :The paper introduces the concept of personalize web site first and analysis the system construction of web log mining .Secondly we try to introduce the notion of association rule into the web mining system and provide similar Apriori.In this paper ,it brings forward the best method about abstracting rules f rom the f requency item through the experiment.In the practicality ,the paper provides two matching rule idea of choosing appropriate rules.K eyw ords :Web log mining ,association rule ,Data Mining

目前,国内站点与日俱增,尽管Internet 提供大量的信息和搜索门户网站,但用户往往无法找到自己所需的内容。这对每个网站提出一个严峻的问题:网站如何设计和组织自己网站的网页使用户迅速找到所需要的内容,这样可以节省用户的上网访问时间。但是大部分站点设计人员根据站点的需要根据自己的经验对网站信息分类,并未考虑Web 访问用户的浏览行为,然后从使用者角度对站点进行优化和为用户提供个性化服务。

1　个性化服务Web 站点

个性化服务Web 站点:利用Web 服务器日志获取用户

的访问模式,根据当前用户的浏览模式,定制个性化页面内容和修改站点结构,为用户提供个性化服务[1,4]。

虽然Web 服务器日志记录每一位访问者的请求信息,站点的维护人员可以根据日志数据改进站点结构和内容,但是对于一个日访问量上万个页面的小型网站,直接分析这些原始的日志数据一般不可能的,为此我们借助于数据挖掘技术,将之运用于日志数据中,自动、快速的发现访问者的浏览模式(如频繁访问页组、用户聚类等),在得到访问者的浏览模式

下,高效的、自动的根据每个访问者的浏览模式,动态的调整、定制站点的结构与页面的内容,为每个访问者提供个性化服务。只有提供个性化服务才能较好的吸引大量的访问者。如果个性化服务Web 站点技术应用在商务网站,企业决策层对

WWW 上的访问模式进行分析,这样可以帮助企业确定用户

的消费模式和消费心态,制定市场策略,还可以根据客户的兴趣提供个性化服务。如可以为每个用户推荐不同的可能购买的商品等。

1.1　个性化服务Web 站点体系结构

个性化服务Web 站点利用Web 日志挖掘技术从Web 日志中获取用户的访问模式,根据用户的访问情况,实时推荐用户可能感兴趣的超链接。个性化服务Web 站点也称为自适

应站点(Adaptive web site ),主要分两个模块实现:

(1)离线部分(见图1):此部分主要从日志文件中发现网

站访问者的浏览模式,对这些模式筛选后,建立模式库。

(2)在线部分(见图2):实时推荐引擎识别用户的当前会话(session ),得到每个用户的当前访问序列,然后把序列送入模式库中,运算得到用户的下一些可能访问的页面,这些页面的地址可以附加到用户当前访问页面的底部,以进行推荐。

微计算机应用

2006年

图1　

离线部分

图2　在线部分

2　Web 日志挖掘

离线部分主要使用WEB 日志挖掘技术。WEB 日志挖

掘(Web Usage Mining ):也为WEB 使用挖掘,日志记录了网页被使用的信息,如IP 地址、访问时间、哪一页、字节大小等。日志挖掘从服务器的log 文件或其他数据中分析用户的访问模式。这些信息可以作为优化站点的依据,也可以作为设置页面中广告投放点的依据等。

讨论Web 日志挖掘,它是个性化站点技术的基础。Web 日志挖掘在国内外处于起步阶段,虽然出现了一些日志分析与挖掘的工具,但大多数是试验室产品或是对日志简单统计,Web 日志挖掘技术在许多方面有待提高。2.1　Web 日志挖掘系统的体系结构

Web 日志挖掘过程大体分为:数据预处理[2]、挖掘算法实施。经过挖掘算法分析得到用户感兴趣的规则和模式,以友好的界面展示给用户。2.2　Web 日志挖掘的预处理

现在,越来越多的企业利用Internet 进行商务活动,客户在Web 站点上的商业活动和浏览访问的大部分信息都记录在log 文件中,典型的Web 服务器日志包括以下信息:

c -IP 地址:访问服务器的客户机的IP 地址。

用户ID (cs -username ):是在被访问页面需要进行用户认证时才有的,该例中并没有对任何一个页面进行认证,所以为空。

s -ip :被访问服务器的IP 地址。s -port :被访问服务器的端口。

cs -method :是指客户访问的方式,例如是GET 还是POST ;有些还记录所采用的协议如http 或ftp 等。

cs -uri -stem :是指访问的统一资源定位,即所访问的页面。

sc -status :反映了访问的最后状态(结果),典型的有,

200代表成功,404代表找不都所请求的页面。

Size :代表请求的页面的大小。

Referer :反映了所请求页面的引用。

cs (User -Agent ):表示客户机的浏览器的类型,版本,以

及所运行的操作系统。

以下是中原工学院计算机科学系Web 服务器2002-10-29的日志片断:

2002-10-2900:03:51202.196.32.79-202.196.35.180GET /movie/movie.asp page =1&movietypes =all 200Mozilla/4.0+(compatible ;+MSIE +6.0;+Windows +N T +5.0)

2002-10-2900:03:51202.196.32.79-202.196.35.180GET /movie/images/filmtop.gif -200Mozilla/4.0+(compatible ;+MSIE +6.0;+Windows +N T +5.0)

2002-10-2900:03:51202.196.32.79-202.196.35.180GET /movie/images/filmtop_jc.gif -200Mozilla/4.0+(compatible ;+MSIE +6.0;+Windows +N T +5.0)

Web 日志挖掘主要提供面向用户的信息分析,首先要从Web 日志中识别用户会话作为信息分析的基础。我们用“用

户会话”的概念表示一个用户在一段时间内访问某个网站的网页的有序集合。我们可根据某段时间内(比如一天,一周)的所有“用户会话”,得到一些规则,例如Di →Dj ,这里Di ,Dj 都是(URL s )。这个规则的理解是如果当Di 被请求后,过了一段时间很可能Dj 就会被请求,因为历史情况记录的是如此。

通常情况下,Web 日志挖掘的预处理[2]就是将原始的日志文件经过一系列的数据处理转化为用户会话,主要包括:数据净化、用户识别、会话识别。

(1)数据净化:主要是过滤掉无关项或冗余项。例如:在log 文件中,扩展名为.gif 、.ico 、.css 、.jpg 的log 记录可删去,而并不会对挖掘分析产生影响。例如,通常首页中会有一个计数器的脚本文件“count.cgi ”,同样可以删除。

(2)用户识别和会话识别:用户识别是Web 挖掘的重要一环,它的成功与否直接关系到挖掘结果的准确性,同时也是用户个性化聚类分析和个性化智能推荐服务的基础。会话识别的目的是划分用户的访问到不同的会话。最简单的方法是时间窗方式,如果两个不同访问之间的时差超过某值,则认为,用户开始了另一个新的会话。例如采用60分钟作为缺省的时间窗。2.3　实施数据挖掘算法

数据挖掘技术是实现智能分析,得到隐藏在大量繁杂数据内部知识的关键。通过对用户访问网站的历史数据应用各种数据挖掘技术,得到高层知识,提供给用户作决策支持,或利用这些知识动态生成网页,为用户提供访问建议。本文重

6

3

1期　夏敏捷等:基于Web 日志挖掘的个性化服务站点

点介绍用关联规则应用于个性化站点。

利用类似购物篮的分析思想,发现用户浏览时相关页面,站点自动推荐用户喜好的页面的链接。此部分可以利用类Apirior 算法实现。主要提供给予当前用户可能不同的各类用户频繁访问的页面。2.3.1　类Apriori 算法

类Apriori 算法[5]应用到Web 页面会话中发现频繁访问路径,该过程和挖掘关联规则时的Apriori 算法[3]类似,

但在Apriori 算法中,只要两个频繁(k -1)-项集有k -2个项相同就可合并成一个频繁k -项候选集。在网页频繁访问路径的挖掘中,会话数据库中的会话记录的各项代表的是访问页面,且访问的页面是有序的,因此不能简单的只要k -2项元素相同就行,需要以下处理:

两个频繁(k -1)-项集m1和m2中的一个去掉第一个元素,另一个去掉最后的元素后完全相同,则m1和m2可合并。

例如:m1和m2代表两个网页频繁访问路径即频繁(k -1)-项集,其中每一项代表一个访问页面,在实现时使用页面序号字符串存储。

m1=“1,2,5,9,3”;m2=“2,5,9,3,8”则m1和m2可以合并。类Apriori 算法合并后为“1,2,5,9,3,8”,假如:m1=“1,2,5,9,14”;m2=“1,2,5,9,18”,在Apriori 算法中可以合并,而在类Apriori 算法中m1和m2不可以合并。

在Apriori 算法中,求出所有的候选集合集C k 需要剪枝操作。

如令频繁3项L3为{{123},{124},{134},{135},{234}},联合阶段后,候选4项C4将为{{1234},{1345}}。在剪枝阶段{1345}将被删除,因为它的一个子集{145}不在L3之中。这样我们得到的C4中只剩下{1234}。但是在类Apriori 算法中,联合阶段后,C4将为{{1234}},其由{123}{234}合并生成{1234}。不会出现{1345}。

因为m1(m1[1],m1[2],m1[3],m1[k -1],m1[k ])是类Apriori 算法中频繁K 项时,m1只有两个K -1子项

m1[1],m1[2],m1[3],m1[k -1]m1[2],m1[2],m1[3],m1[k ]

只有这两个K -1子项都在频繁K -1项集中时,才可能产生m1,因此在类Apriori 算法中进行剪枝操作时没有意义的。类Apriori 算法中与经典Apriori 区别主要在产生候选项集上即apriori_gen 具体实现不同,这里强调的一点是在经典的Apriori 中处理的事务是无序的,所以在进行处理前可以将事务中的项进行排序处理。而在类Apriori 中处理的事务是用户会话,所以在进行处理前可以不可以排序,就是两者重要区别。2.3.2　关联规则(模式)生成方法

如何从频繁项中得出关联规则进行预测,我们定义一个

“双移动窗口”模型(如图3)。这两个窗口(W1,W2)均包含用户会话的一部分。我们称第一个窗口为W1窗口,它包含一定数量的用户请求页面和当前页面。后一个窗口为W2窗口,它包含用户将要可能请求的一定数量的页面。在W1中出现的页面和W2中出现有一定的关联性,所以在W1中出现的页面能被用来决定将来可能被请求的页面。图3显示一个“双移动窗口”:

图3　双移动窗口模型示意图

本文试验验证规则的生成方法———最近子串法(表1)最优。

表1　最近子串法提取的规则

W 1W 2Ex t racted Rules

A ,

B ,C

D

{A ,B ,C}→D ,{B ,C}→D ,{C}→D

最近子串法不仅考虑在用户访问时的顺序性和链接(衔

接)性,而且考虑当前的访问信息。如得到如下规则(模式):(B ,C )→(D );(B ,C )意味着B 在C 之前被访问,包含当前页面C 。在最近子串法中不允许(A ,C )→(D ),因为A 被访问后不是紧接着访问C (访问的是B )。2.3.3　选择关联规则

在前面,我们提出了关联规则生成方法,可构成大量不同的关联规则。然而,这些规则不可能直接用来预测。需要从中选择合适的关联规则用来预测。关联规则的选择方法:

(1)选择关联规则的必要性。在Web 日志预测中,我们希望给出最好的一个预测(即将访问的)页面。但从前面的预测模型中,给出测试事例,规则集中可能产生不止一个关联规则符合。所以我们需要一种方法从中选取最好的规则。我们称此问题为多可用关联规则问题。多可用关联规则问题有两种形式。

首先,规则集中多个符合的关联规则预测的结果一致。即它们是冗余规则。举例:

Rule 1:→C

意味着最近访问的页面是B ,接着访问的会是页面C ;Rule 2:→C

意味着最近访问的两个页面是A ,B ,接着访问的会是页面C ;

7

3

微计算机应用

　2006年

在上例中,Rule1比Rule2更具有普遍性。因为对于任何Rule2可适用的事例,Rule1均可以适用。将Rule2删除将减少规则集的大小。

其次,多个符合的关联规则预测的结果不一致。即它们是不一致的规则。举例:

Rule1:→C

意味着最近访问的页面是B,接着访问的会是页面C;

Rule2:→D

意味着最近访问的两个页面是A,B,接着访问的会是页面D;

在上例中,当预测模型得到含上述两个规则的规则集时,对于一个新的事例如:,那么上述两个规则均适合,但预测的结果不一致。所以有必要评估页面C还是页面D 作为预测的结果。换句话说那个规则更合适。我们将选择更合适规则的方法称为关联规则的选择方法。

(2)关联规则的选择方法。①最长匹配选择法Longest Match Selection

在规则集种选择关联规则时,会话尽可能匹配最长的关联规则。举例:

假设W1窗口大小为4,测试事例为会话。根据前面介绍的预测模型得到规则集中有以下三个规则合适:

Rule1:→E　(conf=30%)

Rule2:→F(conf=60%)

Rule3:→G(conf=50%)

Rule1,Rule2,Rule3长度分别为4,2,1。所以采用最长匹配选择法时将选择Rule1。E作为预测的结果。

最长匹配选择法尽可能包含更长的路径,它是基于长的路径它将包含更精确、更丰富的用户访问信息的思想。但长的路径可能导致置信度过低。

②最大置信度选择法Most Confident Selection

在规则集种选择关联规则时,会话尽可能匹配置信度最大的关联规则。

假设W1窗口大小为4,测试事例为会话。根据前面介绍的预测模型得到规则集中有以下三个规则合适: Rule1:→E(conf=30%)

Rule2:→F(conf=60%)

Rule3:→G(conf=50%)

Rule1,Rule2,Rule3置信度分别为30%,60%,50%。所以采用最长匹配选择法时将选择Rule2。F作为预测的结果。

最大置信度选择法是基于测试的会话和产生规则集的训练会话较为一致的情况下。如果一个规则在训练会话中具有较高的置信度,那么这个规则在测试的会话中将较高的准确度。但是实际中,训练会话中产生的一个规则具有较高的置信度,而支持度可能较低。例如在日志中训练会话中只有一个具体的含此规则的会话,但它的置信度100%。然而这种规则不是可信的。

采用以上数据挖掘算法和关联规则生成法,得出页面推荐规则,存入模式(规则)库中。实时推荐引擎识别用户的当前会话,得到用户的当前访问序列,然后把序列送入模式库中,根据一定的关联规则的选择方法运算得到用户的下一些可能访问的页面,这些页面的地址可以附加到用户当前访问页面的底部,以进行推荐。或者站点的设计人员根据模式库中的模式对手动的对站点的结构或网页的内容进行调整。

3　结束语

本文根据日志信息,应用数据挖掘技术,深入研究个性化服务Web站点的理论及相关实现技术,对于推荐策略进行一定的设想。可以实现自动的根据每个访问者的浏览模式,动态得到用户的下一些可能访问的页面,通过实时推荐系统以进行推荐,为每个访问者提供个性化服务。

参考文献

1　李常青,唐世渭.基于关联分析的粗粒度级个性化信息发掘.计算机科学.2002,(1)

2　吴　强,梁继民等.Web日志挖掘预处理中的用户识别技术.计算机科学,2002,(4)

3　Jiawei Han.Micheline Kamber著,范明.孟小峰译.数据挖掘概念与技术.北京:机械出版社,2001.

4　Bamshad Mobasher,Robert Cooley,and Jaideep Srivas2 tava.Automatic personalization based on web usage min2 https://www.wendangku.net/doc/ad13224817.html,munications of the ACM,2000,43(8):142～151 5　S.Schechter,M.Krishnan,and M. https://www.wendangku.net/doc/ad13224817.html,ing Path Profiles to Predict H T TP Requests.In Proc.7th In2 ternational World Wide Web Conference,Brisbane,Qld., Australia,April1998,457～467

6　朱明,王胜.基于Web企业竞争对手情报自动搜集平台.

微计算机应用,2004,25(1):1～7

作者简介

夏敏捷,(1974年生),讲师,硕士,研究方向数据挖掘和Web服务。

张慧档,(1972年生),博士生,讲师,研究方向数据库系统。

83

网站日志分析的具体方法和步骤【基础】

网站日志挖掘分析的方法 日志文件的格式及其包含的信息 ①2006-10-17 00:00:00②202、200、44、43 ③218、77、130、24 80 ④GET ⑤/favicon、ico ⑥Mozilla/5、0+(Windows;+U;+Windows+NT+5、1;+zh-CN;+rv:1、8、0、 3)+Gecko/20060426 +Firefox/1、5、0、3。 ①访问时间;②用户IP地址;③访问的URL,端口;④请求方法(“GET”、“POST”等); ⑤访问模式;⑥agent,即用户使用的操作系统类型与浏览器软件。 一、日志的简单分析 1、注意那些被频繁访问的资源 2、注意那些您网站上不存在资源的请求。常见的扫描式攻击还包括传递恶意参数等: 3、观察搜索引擎蜘蛛的来访情况 4、观察访客行为 应敌之策: 1、封杀某个IP 2、封杀某个浏览器类型(Agent) 3、封杀某个来源(Referer) 4、防盗链 5、文件重命名 作用: 1、对访问时间进行统计,可以得到服务器在某些时间段的访问情况。 2、对IP进行统计,可以得到用户的分布情况。 3、对请求URL的统计,可以得到网站页面关注情况。 4、对错误请求的统计,可以更正有问题的页面。 二、网站挖掘 根据所挖掘的网站数据的类型,可以将网站数据挖掘分为以下三类:网站内容挖掘(网站Content Mining)、网站结构挖掘(网站Structure Mining)、网站使

用挖掘(网站Usage Mining)(也称为网站日志挖掘)。 ①网站内容挖掘。网站内容挖掘就是指从文档的内容中提取知识。网站内容挖掘又分为文本挖掘与多媒体挖掘。目前多媒体数据的挖掘研究还处于探索阶段,网站文本挖掘已经有了比较实用的功能。网站文本挖掘可以对网站上大量文档集合的内容进行总结、分类、聚类、关联分析,以及利用网站文档进行趋势预测等。网站文档中的标记,例如