基于Web日志挖掘的自适应网站构建方法研究

计算机与现代化 2010年第3期

JIS UAN JI YU X IAN DA I H UA

总第175期

文章编号:1006 2475(2010)03 0144 04

收稿日期:2009 07 31

作者简介:母俐丽(1980 ),女,河北乐亭人,兰州交通大学电子与信息工程学院硕士研究生,研究方向:W eb 数据挖掘,计算机网络。

基于W eb 日志挖掘的自适应网站构建方法研究

母俐丽

(兰州交通大学电子与信息工程学院,甘肃兰州730070)

摘要:自适应网站能够提高网站对用户的服务质量。本文首先给出自适应网站的总体框架,对框架中主要模块做详细的分析,包括数据预处理、数据挖掘、页面推荐和站点调整。在数据挖掘模块给出一种有效的识别用户访问模式的算法,该算法利用数据库查询简化频繁最大前向访问路径集的查找,并在此基础上形成频繁访问路径图,为页面推荐和站点调整做好准备。最后给出自适应网站的设计原则。

关键词:自适应网站;频繁访问路径图;页面推荐;站点调整;数据挖掘;W eb 日志中图分类号:T P311 文献标识码:A do:i 10.3969/.j i ssn .1006 2475.2010.03.041

Approach of AdaptiveW eb Site Construction Based on W eb LogsM ining

MU Li li

(Instit ute o f E lectron ics and In f o r m ati on Eng i neer i ng,L anz hou Ji ao t ong U n i ve rsity ,L anzhou 730070,Ch i na)

Ab stract :A dapti ve W eb site construc tion based on W eb m i n i ng cou l d i m prove the se rv ice quality for users .T he adapti ve W eb site genera l fram e w ork is proposed .A deta iled ana lysis is m ade f o r m a i n m odu l es of t he fra m e w ork ,

i nclud i ng data pre process

i ng,data m i n i ng ,pag e recomm enda ti on and site ad j ust m en t .A n eff ec ti ve a l gor it hm of use r access patte rns i dentifi cation is pro posed i n data m i n i ng modu le .The algorith m utilizes database query to si m plif y t he fi nd of t he m ost frequent access pa t hs set ,and then f o r m s a frequency access pa tterns m ap prepar i ng f o r page reco mm enda tion and site ad j ust m en t .F ina lly ,the adapti ve W eb site desi gn pri nc i ples are proposed .

K ey w ords :adapti ve W eb s ite ;frequency access pa t hs m ap ;page recomm endati on ;s ite ad j ust m en t ;data m i ng ;W eb l ogs

0 引 言

自适应网站作为W eb 数据挖掘的重要研究方向之一,日益受到关注,是未来网站的一个发展方向。

其目的是通过分析用户的访问日志,利用数据挖掘的方法得到用户不同的访问兴趣,并将符合用户兴趣的页面以链接列表等形式推荐给用户,为用户提供智能化的服务。

1 总体框架

一个实用的自适应网站,可以分为离线部分和在线部分,其总体框架如图1所示。

(1)离线部分:进行数据的收集、预处理,完成发现关联规则、频繁项集等频繁访问模式的挖掘。分为

数据预处理和数据挖掘两个模块。数据预处理模块

图1 自适应网站框架

主要是对所收集的数据进行预处理,预处理后的数据存入用户事务库,数据预处理的质量与挖掘的效率和

2010年第3期母俐丽:基于W eb日志挖掘的自适应网站构建方法研究145

结果紧密相关;数据挖掘模块主要是使用数据挖掘技术如统计分析、聚类分析、关联规则、序列模式等,来识别用户浏览模式,存入模式库。

(2)在线部分:推荐引擎根据挖掘出来的规则和当前用户访问操作计算生成推荐集,然后在用户最新请求的页面上添加推荐页面,再通过W eb服务器传递到用户端的浏览器,为用户提供自适应的在线服务,同时将推荐结果送往网站管理中心,以便调整网站设计,优化网站结构,提高网站效率。

总之,在自适应网站中运用数据挖掘技术可以分为离线规则学习和在线模式应用两个阶段。在数据挖掘模块中,通过具体的挖掘算法对W eb日志进行模式识别和模式分析,离线获取用户访问特征和规则,存入规则模式库。当用户访问网站时,用户访问信息也会传到推荐引擎,推荐引擎根据用户的标识,向挖掘模块提取相应的挖掘结果和推荐集,将其可视化地反馈给用户,进行在线服务。

2 离线用户访问模式挖掘过程

2.1W eb日志数据预处理

将W eb日志文件导入数据库中,则进入对W eb 日志进行预处理阶段。由于服务器日志记录的数据并不完整,直接在其上进行挖掘非常困难。数据预处理是对W eb日志文件中的数据进行提取、分解、合并,最后整理成为便于挖掘算法所使用的数据格式,并保存到数据库中,以供数据挖掘阶段使用。主要包括数据清洗、用户识别、会话识别、路径补充、事务识别5个步骤。

(1)数据清洗,是指根据需求,对日志文件进行处理,包括删除无关紧要的数据,合并某些记录,对用户请求页面时发生错误的记录进行适当的处理等。

用户在浏览网页时,这个网页包含的图片、音频等信息也会作为单独的记录添加到日志中。而通常情况下这些文件并不是用户直接访问的,它们通常是浏览器根据HTML的超文本引用标记自动下载的。因而可认为它们与用户的浏览行为无关,需要消除这些无关的项来达到数据净化的目的。所以可以将日志中文件的后缀名为g if、jpeg、jpg、css和m ap的项删除,后缀名为cg i的脚本文件也应被删除。此外,用户请求访问失败的记录,如500、301、404及用户请求方法中不是GET的记录等,都可以删除。

当挖掘的目的是为了进行网络流量分析或为页面缓冲与预取提供依据时,这些信息又会显得格外重要,所以在删除这些记录的时候一定要把相关信息记录下来。当然对一个主要包含图像文件的站点,也不宜简单地采用上面的方法将所有的图形文件删除。

(2)识别用户,是对用户的唯一性的识别。由于缓存、代理服务器和防火墙的使用,使得识别用户这一步变得很复杂,因为不同的用户可以在同一时间通过一个简单的代理访问W eb服务器;同一个用户可能在不同的机器上访问W eb服务器;一个用户可能在同一台机器上使用不同的浏览器访问W eb服务器;而当不同的用户使用同一台机器浏览某一站点时也会造成混淆。因此,可以用如下的启发式规则来识别用户:

不同的I P地址代表着不同的用户;

当I P地址相同时,默认不同的操作系统或浏览器代表不同的用户;

!在I P地址相同,用户使用的操作系统和浏览器也相同,则判断每一个请求访问的页面与访问过的页面之间是否有链接,如果一个请求访问的页面与上一个已经访问过的所有页面之间并没有直接的链接,则假设在访问W eb站点的机器上同时存在多个用户。

(3)会话识别,是在对用户识别的基础上,将每个用户的访问信息划分为若干个独立的会话进程。

当日志文件中的记录信息跨越了一个较长范围的时间时,用户在这期间就可能对W eb站点进行了多次访问,而每次访问应视为一次独立的不同的会话。一个用户会话是用户对服务器的一次有效访问,通过其连续请求的页面,可以获得用户在网站中的访问行为和浏览兴趣。人们常用基于时间、基于站点结构的算法划分会话。

(4)路径补充,主要是将这些由于浏览器本地缓存技术和代理服务缓存技术的广泛使用而漏掉的请求补充到用户会话中去。

路径补充的方法是按顺序扫描每一个用户的会话,若会话中相邻两页之间没有超链接,则说明用户很可能使用了缓存中的页面,则检查日志,确定当前请求来自的页面,若在用户的历史记录上多次出现引用页,则将请求的时间最接近当前请求页的页面当作当前请求的来源,并将该来源页补充进用户会话之中。若引用的日志不完整,则可以使用站点的拓扑结构进行补充。

(5)事务识别,经过以上步骤得到用户访问操作序列,从理论上讲己经可以进行数据挖掘了,但它粒度太粗,需要充分利用分割算法将其转化为更小的事务模式。事务识别就是将用户会话分割为更小的事务,也就是从用户会话中的每一次前进浏览的第一页

146 计 算 机 与 现 代 化

2010年第3期

到回退前一页组成的路径(最大前向路径M FP),所以可以结合网站的拓扑结构来分割事务,分割好的事务构成事务数据库,可以在此基础上挖掘模式规则。

执行完上面5步操作后,就生成了用户事务文件,文件中包含访问W eb 站点的用户、访问的页面序列、每一页访问的时间等。2.2改进的频繁访问路径图算法

在离线状态下,挖掘的目的是要从用户事务访问集中形成频繁访问路径图,为在线阶段计算推荐集做准备。

文献[3]给出频繁访问路径图的定义。频繁访问路径图为一有向图G =(V,W (V ),E ,P(V )),其中V 为顶点集,表示页面URL 集;E 为图的有向边,表示两个W eb 页之间的超链接指向关系;W (V )为图顶点的权值,表示对应顶点的W eb 页面被访问的次数;P(V )为图中对应顶点的属性值,表示对应的W eb 页是内容页(设为1)还是导航页(设为0)。

文献[3]通过发现MFP ,将用户会话分割成一系列事务,然后采用与关联规则相似的方法挖掘频繁的浏览路径,在此基础上生成频繁访问路径图。在文献[4]中给出一种改进的挖掘频繁访问路径的算法,本文集合两算法的优点,给出一种改进的生成频繁访问路径图的算法。

前提:在数据库中创建一个能存入最大M FP 的数据表M FPS {UR I1,UR I 2,...,URIn},然后把所有的最大前向访问路径MFP 都存入表M FPS 中,从UR I1开始,若MFP 的长度小于n ,则把后面的字段置为?NULL #。

输入:最小支持度P m in ,最大前向访问频繁路径长度m 。

输出:频繁访问路径图G 。

//生成频繁访问路径集。对事务数据表MFPS 按条件进行查询,得到的每组长度为m 的向前路径,如果Counts 值大于P m in ,保存此路径。否则不保存。

fi e l ds=??;

for(i=1;i<=m ;i++){//确定最大向前频繁路径长度m ;fi e l ds+=?UR I ?+i+?,?;}

if(fields 包含?,?)去掉fi e l ds 最后一个逗号;

sql=?select ?+fi e l ds+?count(1)as Counts from M FPS group by ?+fie l ds+?hav i ng count(1)>P m in o rder by ?+fie l ds ;

保存的结果及为最大向前频繁路径集F M FPS ;//生成频繁访问路径图foreach(M FP i n F M FPS){

foreach(uri i n M FP ){//ur:i M FP 中各页面

if(ur.i 用户停留时间ti>=TX ){ur.i 属性值=1;}else{

ur.i 属性值=0;}

if(uri 在G 中没有对应顶点出现){建立M FP 中各对应顶点;根据顺序关系建立G 中有向边;

在顶点上标记相应的访问次数和属性1或0;}else{

对相应点的次数累加;

i f(ur.i 用户停留时间ti>=TX and ur.i 属性值==0)ur.i 属性值=1;}}

}//endforeach

举例如下:

首先确定要挖掘的最大向前频繁路径的长度4。

对事务识别后的数据表MFPS 按条件排序,得到频繁最大前向访问路径集F MFPS 如表1所示。只需扫描一次数据库,无须保存中间结果,只保存大于支持度3长度小于等于4的向前路径。

表1 数据库中F M FP S 记录

UR I 1URI2UR I 3URI4Coun ts A B C K 9A E C K 6A E F G 4A E H I 3A

D

H

I

3

由最大向前频繁路径集F MFPS ,生成该用户频繁访问路径图如图2所示。

图2 频繁访问路径图

图2中每个节点的字母代表访问页面,第一个数字是权值代表访问次数,第二个数字1代表是内容

2010年第3期母俐丽:基于W eb日志挖掘的自适应网站构建方法研究147

页,0代表是导航页。

此算法借助文献[4]的挖掘频繁访问路径的思想,时间复杂度和空间复杂度得到了大大的提高,只需扫描一次数据库,无须保存中间结果,没有I/O性能瓶颈。并借助文献[3]的图结构,得到了更优化的频繁访问路径图算法,为在线推荐做好准备。

3 在线自适应站点调整

自适应网站框架设计中的在线自适应站点调整主要通过页面推荐和链接结构调整实现。

3.1页面推荐

把当前浏览者的会话窗口和挖掘出的频繁路径图进行匹配,得出推荐的潜在项。在用户浏览网站时,动态地为用户推荐用户可能感兴趣的网页链接。

假设用户最近访问的页面序列是PS,在推荐窗口中设定固定的推荐W eb页面个数N,再设定一个?推荐深度#H,即从用户当前访问页面起遍历的拓扑深度。推荐原则是从小于等于推荐深度H的后继?内容页#中选择概率高的N个页面构成候选页面推荐集,再将候选页面推荐集中大于最小置信度的页面定为推荐项。推荐项以链接的形式在当前的网页中给出,以达到动态提供相关网页链接的目的。

例如,设推荐窗口中推荐W eb页面个数为3,推荐深度为2。当前用户访问的页面是A,根据推荐窗口的需求由图2可知页面A的后继?内容页#集是:A {C,E,D,H,I,G,K},小于等于推荐深度H的后继?内容页#集A为{B,E,C,H}。推荐W eb页面个数3,所以页面推荐候选集为A{C,E,B}。设定最小置信度 m in,分别计算 (A,E), (A,C), (A,B),将大于最小置信度的页面推荐给用户。

3.2链接结构调整

用户访问站点一般都是通过导航页找到自己感兴趣的内容页,有时用户为了找到自己想浏览的内容页不得不走一些弯路。站点调整模块的功能是根据数据挖掘模块分析得出的用户使用模式信息,人工或动态调整站点组织结构和显示方式等。

通过对W eb日志的挖掘,W eb管理员可以充分了解到用户和站点的交互情况。一方面可以由W eb 管理员利用挖掘出的用户访问信息对站点的结构作出调整和改进;另一方面也可以通过执行动态的服务器脚本,由W eb站点自身来对原先的设计结构作进一步的优化。

(1)链接提升和下沉。链接提升使一个页面或链接更容易被用户找到并访问。比如可将一个访问频率很高的页面或认为比较重要的链接放到能够更加方便地被用户访问到的位置或者提高该页面在站点逻辑结构中的层次,文献[6]给出了这种改善的算法。

(2)突出显示。突出显示是通过改变在页面上己经存在的链接的显示字体、颜色或图片等方式来吸引访问者的注意力。突出显示与链接提升和下沉不同,这里只是对链接进行修饰,对原来的页面并不会产生破坏。

(3)链接添加和删除。链接就是在两个没有关系的页面之间增加一个超级链接,以使用户可以通过一个页面上的链接访问另一个页面。比如通过模式挖掘发现用户访问页面X后经常访问Y,则应该考虑在页面X上增加一个到Y的超级链接。与此相反,删除链接主要是观察存在链接的页面,如果用户很少或几乎没有用户去按着这种预定的链接去访问页面,则认为这种链接是效率低下的应该删除。

文献[4]中的算法,链接添加和删除思想是先发现回溯点和目标页序偶对,然后根据用户给出的支持度取舍,对大于和等于支持度的每对回溯点和目标页,在回溯点添加到目标页的链接,从而调整站点,方便用户访问。

4 设计原则

自适应网站的实现目标有两个:一类是服务个性化,一种是性能最优化。为了实现自适应站点的主体目标,在对一个站点进行设计时,需要基于以下原则:

(1)离线挖掘算法具有高效性。部分特殊的需要较长时间运算的工作是离线定时执行,或由W eb 管理员主动发起。比如对新生成的W eb日志预处理,更新系统数据库;更新模式库;网站页面的增删改,目录、链接结构的变化等。增强离线挖掘算法的高效性可以节省人力、减少资源成本。

(2)在线内容调整具有实时性。比如检测用户正在访问的页面;根据用户当前访问页面查找推荐站点结构集;更新页面中推荐页面区域;链接结构调整等。提高检索效率、缓解网络拥塞,提高服务器响应速度,有助于提高网站吸引力。

(3)规则模式具有时效性。模式库要定期更新,确保挖掘的准确性。

(4)结构调整要明朗,易于用户的理解。网站结构的改善与调整应本着方便用户访问的原则,而不能适得其反给用户造成一定的困惑,找不到自己在网站中的准确位置。

(下转第150页)

150 计 算 机 与 现 代 化2010年第3

期

图3

实测伏安曲线

图4 实测功率曲线

参考文献:

[1] H olstroe m n I R .太阳能电池与太阳能电池电子线路

[M ].上海:上海科学技术文献出版社,1986.

[2] H ovelH J .太阳能电池[M ].黑龙江:黑龙江科学技术出

版社,1984.

[3] 童诗白.模拟电子技术基础(第3版)[M ].北京:高等

教育出版社,2001.

[4] 李晓明.电路与电子技术(第2版)[M ].北京:高等教

育出版社,2009.

[5] 李东生.P ro te l 99SE 电力设计技术入门与应用[M ].北

京:电子工业出版社,2002.

[6] Steve T e i xe ira .D e l ph i 5开发人员指南[M ].北京:机械工

业出版社,2003.

[7] 孟祥文.D e l ph i 5数据库开发技术[M ].北京:机械工业

出版社,2000.

[8] 商广伟.A ccess 查询及其应用技巧[J].计算机与现代

化,2008(5):124 126.

[9] K ip R Irv i ne .Inte l 汇编语言程序设计(第4版)[M ].北

京:电子工业出版社,2004.

[10]潘涛,等.基于虚拟仪器的高性能太阳能电池测试系统

[C]//第六届中国功能材料及其应用学术会议,2007,

38(A 04):1474 1476.

[11]赵秀田.太阳能电池伏安特性测试装置的设计[J].中国

建设动态:阳光能源,2005(12):40 42.

[12]刘丹.一种基于TL 494的P WM 控制技术[J].通信电源

技术,2007,24(6):39 41.

[13]王亚君.电压驱动型脉宽调制器件T L494特性研究[J].

沈阳师范大学学报(自然科学版),2003,21(4):266 269.

[14]毕向阳.空间矢量脉宽调制在有源滤波器中的应用[J].

通信电源技术,2008,25(5):37 40.

(上接第147页)

(5)结构的改善要适度,不破坏原站点结构。从安全考虑,不能使现有的结构完全被破坏,确保网站设计者的意图不被扰乱。

5 结束语

基于充分利用W eb 数据资源的渴望和应用的驱动,多种网站优化方法应运而生。自适应网站是一个

很好的优化策略,其应用范围涉及金融、政府、新闻、教育、商务等诸多领域。随着W eb 数据挖掘技术的发展,更加成熟的自适应网站必将使人们对互联网的应用达到一个新的高度。

参考文献:

[1] 刘滨.W eb 日志挖掘及其实现[D ].哈尔滨:哈尔滨工程

大学硕士学位论文,2007.

[2] 吉海颖.用户访问模式挖掘及自适应W eb 研究[D ].济

南:山东大学硕士学位论文,2005.

[3] 马相华.基于访问日志的自适应站点的研究[D ].大连:

大连海事大学硕士学位论文,2008.

[4] 方成效.基于W eb 挖掘的自适应站点研究[D ].南昌:

华东交通大学硕士学位论文,2006.

[5] 才央拉姆.自适应站点研究技术[D ].南京:河海大学硕

士学位论文,2006.

[6] P erko w itzM,Etzi oni O.A daptive sites :A utom ati ca lly l earn

i ng fro m user access patterns[C ]//P roc .of t he 16th Int .W or l d W i de W eb Con.f Ca lifo m ia ,U S A,1997.

[7] 孙金华.基于关联规则的W eb 日志挖掘研究与实现

[D ].南昌:南昌大学硕士学位论文,2007.

[8] 付国瑜.基于W eb 日志的数据挖掘研究[D ].重庆:重

庆大学硕士学位论文,2007.

[9] 周琪锋.基于W eb 挖掘的站点设计的研究[D ].广州:

广东工业大学硕士学位论文,2007.

[10]刘国光.基于聚类的W eb 使用挖掘研究[D ].济南:山东

大学硕士学位论文,2007.

[11]周世东.W eb 数据挖掘在电子商务中的应用研究[D ].

北京:北京交通大学硕士学位论文,2008.

[12]杨真.数据挖掘技术在商品管理中的应用研究[D ].北

京:北方工业大学硕士学位论文,2008.

[13]刘强,郭景峰.基于用户访问路径分析的页面推荐模型

[J].计算机技术与发展,2007,1(1):151 154.

[14]俞辉.基于W eb 日志挖掘的网页实时推荐算法研究

[J].计算机工程与设计,2008,4(7):1691 1693.

网站日志分析的具体方法和步骤【基础】

网站日志挖掘分析的方法 日志文件的格式及其包含的信息 ①2006-10-17 00:00:00②202、200、44、43 ③218、77、130、24 80 ④GET ⑤/favicon、ico ⑥Mozilla/5、0+(Windows;+U;+Windows+NT+5、1;+zh-CN;+rv:1、8、0、 3)+Gecko/20060426 +Firefox/1、5、0、3。 ①访问时间;②用户IP地址;③访问的URL,端口;④请求方法(“GET”、“POST”等); ⑤访问模式;⑥agent,即用户使用的操作系统类型与浏览器软件。 一、日志的简单分析 1、注意那些被频繁访问的资源 2、注意那些您网站上不存在资源的请求。常见的扫描式攻击还包括传递恶意参数等: 3、观察搜索引擎蜘蛛的来访情况 4、观察访客行为 应敌之策: 1、封杀某个IP 2、封杀某个浏览器类型(Agent) 3、封杀某个来源(Referer) 4、防盗链 5、文件重命名 作用: 1、对访问时间进行统计,可以得到服务器在某些时间段的访问情况。 2、对IP进行统计,可以得到用户的分布情况。 3、对请求URL的统计,可以得到网站页面关注情况。 4、对错误请求的统计,可以更正有问题的页面。 二、网站挖掘 根据所挖掘的网站数据的类型,可以将网站数据挖掘分为以下三类:网站内容挖掘(网站Content Mining)、网站结构挖掘(网站Structure Mining)、网站使

用挖掘(网站Usage Mining)(也称为网站日志挖掘)。 ①网站内容挖掘。网站内容挖掘就是指从文档的内容中提取知识。网站内容挖掘又分为文本挖掘与多媒体挖掘。目前多媒体数据的挖掘研究还处于探索阶段,网站文本挖掘已经有了比较实用的功能。网站文本挖掘可以对网站上大量文档集合的内容进行总结、分类、聚类、关联分析,以及利用网站文档进行趋势预测等。网站文档中的标记,例如