基于源代码的隐通道搜索方法
收稿日期:2006-03-13;修订日期:2006-06-07 基金项目:国家自然科学基金资助项目(60573046)
作者简介:宋香梅(1979-),女(朝鲜族),吉林桦甸人,助教,硕士,主要研究方向:信息安全、隐通道; 鞠时光(1955-),江苏如皋人,教授
,博士生导师,主要研究方向:信息安全、数据库.
文章编号:1001-9081(2006)09-2127-4
基于源代码的隐通道搜索方法
宋香梅,鞠时光
(江苏大学计算机科学与通信工程学院,江苏镇江212013)
(jlsx m@u js https://www.wendangku.net/doc/0f17564063.html,)
摘 要:针对目前隐通道搜索方法仍采用手工分析语句信息流所带来的工作量巨大问题,提出了一种基于源代码的信息流分析法,找出软件系统源代码中原语间兼具可见性和可修改性的共享变量,再以此作为共享资源矩阵法的输入,得到高效高精度的隐通道分析工具。
关键词:隐通道;信息流;信息流树;共享资源矩阵中图分类号:TP393.08 文献标识码:A
Identificati on of covert channel based on source code
SONG X iang m e,i J U Shi guang
(S c hool of Computer Science and T elecomm unication Eng i neering,J iangsu Universit y,Zhenjiang J i angsu 212013,China )Abstract :T o so lve t he heavy w ork l oad caused by the fact that cove rt channe l identifi cation still depends on t he hand w ork to analyze t he i n f o r m ati on fl ow i n the sta te m ent ,an i n f o r m ati on fl ow ana l ysis m ethod based on source code was prov i ded .T he m ethod can find shared var i ables i n pri m iti ve o f soft w are syste m,and take t he m as t he input fo r sha red resource m atr i x m ethod .Then ,a hi gh l y efficien t and h i gh l y prec ise ana lysis too l for covert channe l i s obta i ned .
K ey words :cove rt channe;l i nfor m ati on flow ;
i nfor m ation fl ow tree ;s hared resource m atri x
0 引言
隐通道是指安全系统中的高安全级用户在安全模型的监控下,通过违反系统安全策略的方式向系统的低安全级用户传送信息的一种机制[1]。
由于系统中潜在的隐通道可以绕开安全模型的监控,威胁到系统的安全性,因此必须采取一定的措施来消除由隐通道带来的安全隐患。通常,隐通道分析工作是按照搜索、审计和消除隐通道的步骤进行。其中,搜索出系统中存在的隐通道是进行审计和消除工作的前提和基础。
目前,国际上已经发表的隐通道搜索方法大致分为两类:一类是基于系统顶级描述的搜索方法,如文献[2,3]提出的信息流分析法。另一类是基于系统源代码的搜索方法,源代码分析法[4]是这种搜索算法的典型代表。
系统顶级描述与源代码相比,更容易理解,因此基于系统顶级描述的搜索方法容易取得较高的隐通道搜索效率。然而,顶级描述和系统源代码实现之间总是有差别的,所以,不可避免的,总有一些隐通道不能被发现。与顶级描述相比,系统源代码真实地体现了系统实现的细节,因此,基于源代码的隐通道搜索方法精度要高于基于顶级描述的搜索方法。但是,由于源代码复杂、难懂,仍停留在手工分析阶段,所以其工作效率很低,分析中大型软件系统的工作量很大。
本文提出的方法将在待分析软件的顶级描述和源代码两个不同层次上对信息流进行立体分析。文中进行隐通道搜索算法的基本思路如图1所示。使用上述方法,对系统的顶级描述进行分析可望解决粒度较大的隐通道问题。但因为顶级描述和实现它的源代码之间往往存在着细微的差别,所以进
一步对共享模块的源代码进行详细分析,可作为对系统顶级描述分析的补充。
图1 隐通道分析的流程
基于以上思想,本文提出一种基于源代码的信息流分析法,先找出系统源代码中原语间兼具可见性和可修改性的共享变量,再以此作为课题组已实现的共享资源矩阵方法的输入,最终找出系统中存在的隐通道。
1 语句信息流定义
从隐通道存在的最小条件[5]可以看出,一个系统中若存在隐通道,必然有一对发送方和接收方主体能对某一共享资源客体进行存取。在系统源代码中,发送方和接收方都能存取的共享资源,最终表现为不同原语间的共享变量;而发送方对共享资源的改变表现为某一原语对共享变量值或属性的修改,接收方对这一改变的察觉也表现为另一原语对此共享变量被改变这一事实的可见性。若某一共享变量在两个原语中分别具有可见性和可修改性,就有可能作为共享资源被调用这两个原语操作的不同安全级的用户进程进行存取,从而
第26卷第9期
2006年9月
计算机应用
C o mpu ter App lications
V o.l 26No .9Sep.t 2006
构成隐通道。因此,在基于源代码搜索隐通道时,就是根据原语间共享变量的可见性和可修改性的分析结果,来判断系统中是否存在隐通道,从而进行搜索工作的。
在一个系统中,原语操作在源代码层都是通过一个入口函数和它所调用的其他函数来实现的,而原语间共享变量实际上就是源代码中的全局变量。因此,要得到原语间共享变量的可见性和可修改性信息,就要先确定出现在一个函数中的全局变量的可见性和可修改性;再根据函数间的调用关系,确定一个原语操作的函数依赖集,考察在函数依赖集中出现的全局变量的可见性和可修改性。这样得到的分析结果就可以用于隐通道搜索方法。
由以上分析可知,确定全局变量在函数中的可见性和可修改性是关键。在源代码中,变量的可修改性是指变量的值可以由一个原语内部的某个函数改变,变量的可见性是指变量的值或状态被用户或进程所见。下面举例来说明变量的可见性和可修改性,假设有如下两段代码:
F1
{vb=VA;
i f(vb==1)
vc=1;
el se vc=0;
return vc;
}
F2
{VA=1;
}
其中,VA为两个函数的共享变量,vb,vc为函数F1的局部变量。在函数F2中,VA被赋值为1,其值发生了变化,则VA在F2中具有可修改性;在函数F1中,vc的值被函数返回,对调用F1的用户进程来说,vc的值就是可见的,具有可见性。另外,vc的取值是由if语句中对vb值的判断所决定,同时vb的值又由VA赋值而来,因此,vc的值实际是受VA影响,此时称VA也具有可见性。像vc这样,变量的值通过函数返回值的形式被用户或进程所见,称其具有直接可见性;而像VA这样,可见性依赖于另一变量vc的可见性,称其具有间接可见性。
基于系统源代码进行信息流分析是确定原语间共享变量可见性和可修改性的有效手段。对系统源代码进行信息流分析要从语句入手,先要找出语句中的信息流。语句信息流定义如下:
在一条语句中,若某一变量vb的取值受另一变量va的影响,那么称此语句中有从变量va向变量vb的信息流动,将此语句信息流记为:va->vb。其中,va称为信息流的源变量,vb称为信息流的目标变量。
对于不同语句来说,其产生的信息流也有所不同,因此,语句信息流规则应运而生。以C语言中的赋值语句、条件语句和函数返回值语句为例,来分别说明这三类语句的信息流规则:
(1)赋值语句
vb=va且va,vb不是指针,则有信息流va->vb;
vb=va且va,vb都是指针,则有信息流va->vb,vb-> va;
vb=&va,则有信息流va->vb,vb->va。
(2)条件语句
if(v a==K){vb=m;},则有信息流va->vb;
if(va==K){vb=m;}else{v c=n},则有信息流va->vb,va->v c。
(3)函数返回值语句
return va,则有信息流va->*;其中,*代表当前函数,称其为目标函数。此信息流的意义为va对调用此函数的用户进程来说是直接可见的。
另外,信息流是可传递的。例如:在一个顺序执行的程序中,如果va->vb出现在vb->vc之前,则有va->v c。利用语句信息流规则得到语句中的信息流之后,就可以根据这些信息流来确定原语中共享变量的可见性和可修改性。
通过以上分析,现给出借助信息流分析结果搜索隐通道的主要思想及分析步骤如下:
(1)用语句信息流规则和信息流传递性,以函数为单位,分析得出各个函数中的所有语句信息流;
(2)根据分析得出的语句信息流,确定各个函数中变量的可修改性和可见性;
变量的可修改性和可见性分别由以下规则来判断:
(a)某一变量是一条语句信息流中的目标变量,则该变量在语句所在的函数中具有可修改性;
(b)若某一变量是函数返回值语句信息流中的源变量,则该变量在此函数中具有可见性。
(3)根据原语操作中所调用的函数,确定函数依赖集,并根据函数依赖集里各个函数中全局变量的可见性和可修改性的分析结果,得出原语中共享变量的可见性和可修改性。
2 基于源代码的信息流树的构建
要实现自动的基于源代码的隐通道搜索方法,首先必须考虑的是自动扫描并分析系统源代码问题。这个问题可以借助编译系统的词法分析程序加以解决。
(1)利用编译系统的词法分析程序,可以将待分析系统的源代码作为输入,对其进行词法分析,识别出其中的保留字、标识符、运算符号等等,并输出一系列的记号。
(2)以词法分析程序的输出记号作为输入,确定源代码中各语句的语法结构,并构造出描述函数中各条语句信息流的信息流树。
下面是信息流树结构定义:[6]
typed ef enum
{var n ode,st m tnode,nu ll node}N odet ype;//节点类型typed ef enum
{g l oba,l l ocal}chart ype;//变量类型typed ef stru ct S t m t
{Nodet ype ntype;//节点类型
char*na m e;//变量名信息
chartype vtype;//标识变量类型
struct St m t*n extlch il d,*nextrch il d;//左右子树指针}S t m t;
其中,枚举类型N ode t ype中定义了三种类型:st m t node、varnode、nu ll node,分别对应着树中的语句、变量、nu llst m t三种类型的节点。枚举类型cha rt ype中定义了两种类型: g l obal、l oca,l用来标识变量的类型是全局变量,还是局部变量。结构体St m t定义了信息流树中节点的结构,ntype域用
2128
计算机应用2006年
来记录节点的类型;当节点类型为varnode ,即为变量节点时,*na m e 域用来记录变量名,v type 域用来标识节点中记录的变量是全局变量还是局部变量;*nex tlchil d 和*nex trch il d 两个指向S t m t 结构体类型的指针域分别指向其左右孩子节点。
扫描系统源代码得到函数的信息流树后,就可以通过遍历信息流树而得到语句中变量间的信息流信息。考虑到程序中各变量间的信息流动不是单一的线性关系,而是交错成复杂的网状,因此选用图结构来描述变量间的信息流信息,称之为 信息流图 ,选用邻接表作为该图的存储结构。结构说明如下:
#defi n eM AX_NODE _NUM?//信息流向图长度
t yp edef str u ct Arc Nod e
{i nt ad j vex ;//信息流目标变量的表头节点位置
structA rc N ode*nextarc ;
//指向下一个信息流目标变量的指针
};
t yp edef str u ct VNod e {char n a m e ;//变量名或代表函数的 * 字符
i ntM od if y ;//标识变量的可修改性; 1 表示具有, 0 表示不具有
Arc Node *firstarc ;
//指向第一条以该变量做源变量的信息流的目标变量的指针};
t yp edef str u ct
{Vnode Node L ist[M AX_NODE _NUM ];char*fun cna m e ;//函数名
i nt para_state ;//函数带参情况; 1 表示带参数, 0 表示无参
i nt vnum;//信息流图当前的节点数
}In f orgraph;
结构体类型Inforg raph 定义的即为图结构。其中,*funcna m e 域用来记录信息流向图所属函数的函数名,pa ra _sta te 用来标识该函数有无参数,vnum 域用来记录图中的节点数,即函数中出现的共享变量的个数,N ode li st 域是一个V node 结构体类型的数组,描述的是图中存放共享变量信息的表头节点,表头节点中的*na m e 域用来存放共享变量名,M od if y 域用来标识变量的可修改性,*firsta rc 域指向一个单链表,链表由若干个A rcN ode 结构体类型的节点链接而成,用来存放以表头节点中
为源变量的信息流中的目标变量。
图2 源代码及其信息流树
下面以一段源代码和它的信息流树为例来说明信息流向图的生成过程,见图2。
F1(){b =A ;c=A;
D =b;if (!E)c++;el se w h il e (D !=0)
{D--;
}F=c+D;ret u rn F ;}
根据构造信息流树的原则可知:所有信息流的源变量节点均为信息流树中的左子树节点,而所有目标变量节点均为信息流树中的右子树节点。
3 信息流向图生成算法
信息流向图的生成过程实际上就是对于树中每一个语句树段的每一个左子树变量节点,遍历所有与它在同一语句树
段且在同一语句节点下的右子树变量节点,在遍历的过程中将信息流信息写入信息流向图中。
为方便理解遍历算法,我们先说明对于一个源变量节点,遍历语句树段寻找目标变量的过程,以及在信息流树中寻找源变量节点的过程。
遍历语句树段寻找目标变量的过程:
a)对树中某一语句树段中的一个源变量节点,设有一指针Q,令其指向该源变量节点的右指针指向的节点。b)如果Q 指向节点是变量类型节点,表示该节点记录的是目标变量,找到一条信息流,将信息流信息写入信息流向图中。若此节点左指针不为空,则Q 指向其左指针指向的节点,跳至b);若其左指针为空,则Q 指向其右指针指向的节点。若Q 为空,或Q 指向节点为语句节点(表示Q 已指向树中的下一个语句树段的根节点),或Q 指向节点与源变量节点不在同一语句节点下(表示Q 指向的变量节点不在源变量的信息流作用域内),则此次遍历结束。
c)如果Q 指向节点是语句类型节点(表示一个控制语句中嵌套了另一条控制语句),则Q 指向它的右指针指向的节点,跳至b)。
d)如果Q 指向节点是null 类型节点(表示一个控制语句中嵌套了另一条紧邻的控制语句),则Q 指向它的左子树节点,跳至b)。
设P 为指向信息流树中某一源变量节点的指针,假设根据上述遍历语句树段中目标变量节点的过程,已经找出了所有以P 指向节点为源变量的信息流的目标变量节点,接下来要找到树中下一个源变量节点,进行遍历,则在树中寻找下一个源变量节点的过程如下:
(1)如果P 的左指针不为空,则P 指向它的左指针指向的节点,此节点即为要找的下一个源变量节点,寻找过程结束。
(2)如果P 的左指针为空,则P 指向它的右指针指向的节点。
(3)跳至第(2)步,直至P 的左指针不为空。
(4)P 指向它的左指针指向的节点。
(5)如果P 指向节点是语句节点,则P 指向它的左指针指向的节点,此节点即为要找的下一个源变量节点,寻找过程
结束。
依据上述的遍历思想,给出遍历信息流树生成信息流向图的算法如下:
2129第9期宋香梅等:基于源代码的隐通道搜索方法
C reatInf Graph()
{P 和Q 分别指向根节点的左右孩子节点;wh ile (P!=NULL )
//对树中每一源变量节点,通过遍历树寻找它的目标变量节点{if (Q ->ntype ==st m tnode){Q=Q ->nextrch ild ;conti nue ;}if (Q ->ntype ==nu ll st m tnode){Q=Q ->nextlch il d ;con ti nue ;}if (Q ->ntype ==varnode)//找到目标变量节点
{将信息流信息写入信息流图;if (Q ->n extlch il d!=NULL)
//寻找下一目标变量节点
{Q =Q ->nextlc h ild ;con ti nue ;}
els e if (Q ->nextrch il d!=NULL){Q =Q ->nextrch il d ;
if (Q ->ntype ==s t m tnode) (Q 指向节点不在P 的信息流作用域下)
//目标变量节点已全部找到,寻找树中下一个源变量节点
{P=下一源变量节点;Q =P ->nextrch il d ;con ti nu e ;}}}}}
利用上述算法遍历上面源代码的信息流树就可以得到如图3所示的记录语句信息流的信息流向
图。
图3 函数F1的信息流向
4 变量可见性和可修改性分析
生成语句的信息流之后,就可以利用记录这些信息的信息流向图进行变量的可见性和可修改性分析。本文中采用矩阵结构来记录函数中每一个变量的可见性和可修改性,这样就可以使用这一矩阵为共享资源矩阵搜索方法提供输入,从而基于系统源代码进行隐通道搜索工作。
矩阵结构定义如下:
t yp edef str u ct {char*na m e[];i nt num;}Func ,Vari ab l e ;i n t Property[][];
这里用一个结构体和一个二维数组来描述矩阵结构,结构体Func 和V ariab le 分别记录源代码中出现的函数和共享变量。其中*na m e[]是一个指向字符串的指针数组,用来记录函数或共享变量名,nu m 用来记录源代码中函数和共享变
量的个数,这两个结构体是在词法分析程序扫描系统源代码时生成的,当识别出函数及全局变量的定义或声明时,就将函数名和变量名,以及数量分别写入*nam e 域。另外,V ar i able 中除记录共享变量名以外,还需补充记录两个特殊的变量:U ser_i n 和U ser_out ,分别对应矩阵中的用户输入和输出。二维数组P roperty[][]用来记录一个共享变量在各个函数中的可见性和可修改性信息,和函数中用户的输入和输出信息。对于变量两种性质的确定遵循如下约定:若变量在某一函数中只具有可见性,则用 1 来标识;若只具有可修改性,则用字符 2 来标识;若两种性质兼具,则用 3 来标识,若两种
性质都没有,则用字符 0 标识。而对于用户输入和输出,若有输入,则用 1 标识,若有输出,则用 2 标识,否则为 0 。
根据函数信息流树的构造以及信息流向图的生成过程可知,在某一函数信息流向图中,若某一变量其在图中头节点的M odify 域中标记为 1 ,则此变量在该函数中具有可修改性;若图中记录了信息流 A ->* ,就说明变量A 在此函数中
具有可见性(包括直接可见性和间接可见性)。依据这一判断条件,就可以根据信息流向图生成记录函数中变量可修性和可见性信息的矩阵P roperty 。
矩阵生成算法:
C reaM t atri x()
{初始化Propert y[][]数组;
k =函数在矩阵中的列下标;if (Fun c L ist .N odeList[k].M od if y ==1)Prop ert y[Vari ab le .num -2]=1;
//函数中有用户输入
f or (i=0;i ++;i /*对信息流向图中每一个共享变量,考察它在函数中的可修改性和可见性*/ {l =共享变量在矩阵中的行下标; if (In forgraph.NodeL i st[i].M od i fy ==1) //共享变量在函数中具有可修改性{if (Property[l][k]==0)Property[l][k]=2;if (Property[l][k]==1)Property[l][k]=3;}Q=Inforgraph .Nod e L i s t [i].fi rstarc ;wh ile (Q!=NULL ){j =Q ->ad j vex ;if (j==0) //共享变量在函数中具有可见性 {if (Property[l][k]==0)Property[l][k]=1;if (Property[l][k]==2)Property[l][k]=3; if (Property[V ariab l e .num -1]!=2)Property[V ariab l e .num -1]=2;}Q=Q ->nextarc ;}}} 根据矩阵生成算法,最终可得到一个记录了变量在函数中的可见性和可修性的矩阵。接下来,利用这个矩阵作为共享资源矩阵搜索算法的输入,就可以得到一个基于源代码的自动搜索隐通道的工具。 本文借助基于源代码的信息流分析法思想,提出了一个在源代码层自动搜索隐通道的方法,解决了以往人工分析源代码以寻找隐通道带来的工作量繁重的难题,同时兼具了基于源代码的隐通道搜索方法的精度高的优点。参考文献: [1] M CHUGH J .Covert Chann elAnal ys i s :A Chap ter of the H andbook for t he C o m pu ter Secu rit y C ertificati on ofT rusted Syste m s[M ].Port land :Portl and State Un i versit y ,1995. [2] DENNI NG D .A LatticeM od el of Secure In f or m ati on F l o w [J ]. Comm.of t he AC M ,1976,19(5):236-246. [3] M ELLI AR SM I TH P M,M OSER LE.Protecti on agai nst covert stor age and ti m i ng channels[A].Proceed i ngs 4t h IEEE C o m pu ter Secu rit y Foundati ons W orkshop[C],1991.209-214. [4] TSAI CR ,GL I GOR VD ,C HANDERSEKARAN CS.A for ma lm et h od for the i den tifi cati on of covert storage channels i n source code [M ].Oak l and,CA :IEEE C o m puter Soci et y ,Co m puter Society Press ,1987.74-86. [5] 王昌达,鞠时光,郭殿春,等.隐通道存在的最小条件及其应用 [J].计算机科学,2005,32(1):77-79. [6] 鞠时光,宋香梅.用于信息流分析的信息流树结构[J].江苏大 学学报(自然科学版),2005,26(5):433-436. 2130 计算机应用2006年 禁忌搜索算法浅析 摘要:本文介绍了禁忌搜索算法的基本思想、算法流程及其实现的伪代码。禁忌搜索算法（Tabu Search或Taboo Search，简称TS算法）是一种全局性邻域搜索算法，可以有效地解决组合优化问题，引导算法跳出局部最优解，转向全局最优解的功能。 关键词:禁忌搜索算法；组合优化；近似算法；邻域搜索 1禁忌搜索算法概述 禁忌搜索算法（Tabu Search）是由美国科罗拉多州大学的Fred Glover教授在1986年左右提出来的，是一个用来跳出局部最优的搜寻方法。在解决最优问题上，一般区分为两种方式：一种是传统的方法，另一种方法则是一些启发式搜索算法。使用传统的方法，我们必须对每一个问题都去设计一套算法，相当不方便，缺乏广泛性，优点在于我们可以证明算法的正确性，我们可以保证找到的答案是最优的；而对于启发式算法，针对不同的问题，我们可以套用同一个架构来寻找答案，在这个过程中，我们只需要设计评价函数以及如何找到下一个可能解的函数等，所以启发式算法的广泛性比较高，但相对在准确度上就不一定能够达到最优，但是在实际问题中启发式算法那有着更广泛的应用。 禁忌搜索是一种亚启发式随机搜索算法，它从一个初始可行解出发，选择一系列的特定搜索方向(移动)作为试探，选择实现让特定的目标函数值变化最多的移动。为了避免陷入局部最优解，TS搜索中采用了一种灵活的“记忆”技术，对已经进行的优化过程进行记录和选择，指导下一步的搜索方向。 TS是人工智能的一种体现，是局部领域搜索的一种扩展。禁忌搜索是在领域搜索的基础上，通过设置禁忌表来禁忌一些已经历的操作，并利用藐视准则来奖励一些优良状态，其中涉及邻域（neighborhood）、禁忌表（tabu list）、禁忌长度（tabu 1ength）、候选解（candidate）、藐视准则（candidate）等影响禁忌搜索算法性能的关键因素。迄今为止，TS算法在组合优化、生产调度、机器学习、电路设计和神经网络等领域取得了很大的成功，近年来又在函数全局优化方面得到较多的研究，并大有发展的趋势。 2禁忌搜索算法的基本思想 禁忌搜索最重要的思想是标记对应已搜索的局部最优解的一些对象，并在进一步的迭代搜索中尽量避开这些对象（而不是绝对禁止循环），从而保证对不同的有效搜索途径的探索，TS的禁忌策略尽量避免迂回搜索，它是一种确定性的局部极小突跳策略。 禁忌搜索是对局部邻域搜索的一种扩展，是一种全局逐步寻求最优算法。局部邻域搜索是基于贪婪思想持续地在当前解的邻域中进行搜索，虽然算法通用易实现，且容易理解，但搜索性能完全依赖于邻域结构和初解，尤其会陷入局部极小而无法保证全局优化型。 禁忌搜索算法中充分体现了集中和扩散两个策略，它的集中策略体现在局部搜索，即从一点出发，在这点的邻域内寻求更好的解，以达到局部最优解而结束，为了跳出局部最优解，扩散策略通过禁忌表的功能来实现。禁忌表中记下已经到达的某些信息，算法通过对禁 波段交易文华财经指标（源码）HH1:=IFELSE(H DRAWLINE(W1=-3,HIGH,W1=-3,HT,COLORRED); DRAWLINE(W1=-3,LOW,W1=-3,LT,COLORRED); STICKLINE(W1>0,OPEN,CLOSE,COLORCYAN,1); STICKLINE(W1<=0,OPEN,CLOSE,COLORRED,1); STICKLINE(W2>0&&W1<=0,OPEN,CLOSE,COLORRED,0); STICKLINE(W2>0&&W1>0,OPEN,CLOSE,COLORCYAN,0); DRAWLINE(W1=1&&REF(W1,1)=1,G,W1=1&&REF(W1,1)=1,REF(G,1),COLORGREEN); DRAWLINE(W1=-3&&REF(W1,1)=-3,G,W1=-3&&REF(W1,1)=-3,REF(G,1),COLORYELLOW); DRAWSL(K2=1,G,0,1,0,COLORGREEN); DRAWSL(K2=-3,G,0,1,0,COLORYELLOW); N:=13; M:=3; VAR2:=CLOSE*VOL; MID:=EMA((EMA(VAR2,3)/EMA(VOL,3)+EMA(VAR2,6)/EMA(VOL,6)+EMA(VAR2,12)/EMA(VOL,12) +EMA(VAR2,24)/EMA(VOL,24))/4,N); 主趋势线1:MID; MID2:=MID*1.01; SDN:=MID*0.94; {WM} SDN3:=REF(CLOSE,1800),COLORYELLOW; SUP:=1.06*MID,COLORBLUE; VAR4:=EMA(CLOSE,9); B9:=COUNT(HIGH>SUP,5); VAR1:=MID; PARTLINE1(VAR1>REF(VAR1,1),VAR1),LINETHICK2,COLORRED; PARTLINE1(VAR1 TMP:=MA1-MAAA*MA1; 短期趋势线:TMP,LINETHICK2,COLORYELLOW; PARTLINE1(TMP<=MID,MID),LINETHICK2,COLORCYAN; PARTLINE1(TMP<=REF(TMP,1),TMP),LINETHICK2,COLORWHITE; PARTLINE1(TMP<=MID,TMP),LINETHICK2,COLORGREEN; PARTLINE1(TMP>=REF(TMP,1) AND TMP VAR1:=IF(OPEN<=REF(OPEN,1),0,MAX(HIGH-OPEN,OPEN-REF(OPEN,1))); VAR2:=IF(OPEN>=REF(OPEN,1),0,MAX(OPEN-LOW,OPEN-REF(OPEN,1))); VAR3:=SUM(VAR1,5); VAR4:=SUM(VAR2,5); VAR5:=IF(VAR3>VAR4,(VAR3-VAR4)/VAR3,IF(VAR3=VAR4,0,(VAR3-VAR4)/VAR4)); VAR6:=MA(VAR5,5); VAR8:=IF(OPEN<=REF(OPEN,1),0,MAX(HIGH-OPEN,OPEN-REF(OPEN,1))); VAR9:=IF(OPEN>=REF(OPEN,1),0,MAX(OPEN-LOW,OPEN-REF(OPEN,1))); VARA:=SUM(VAR8,3); VARB:=SUM(VAR9,3); VARC:=IF(VARA>VARB,(VARA-VARB)/VARA,IF(VARA=VARB,0,(VARA-VARB)/VARB)); VARD:=MA(VARC,3); 火: BARSLAST(EMA(CLOSE,5) 禁忌搜索算法评述(一) 摘要:工程应用中存在大量的优化问题,对优化算法的研究是目前研究的热点之一。禁忌搜索算法作为一种新兴的智能搜索算法具有模拟人类智能的记忆机制,已被广泛应用于各类优化领域并取得了理想的效果。本文介绍了禁忌搜索算法的特点、应用领域、研究进展,概述了它的算法基本流程,评述了算法设计过程中的关键要点,最后探讨了禁忌搜索算法的研究方向和发展趋势。 关键词:禁忌搜索算法;优化;禁忌表;启发式;智能算法 1引言 工程领域内存在大量的优化问题,对于优化算法的研究一直是计算机领域内的一个热点问题。优化算法主要分为启发式算法和智能随机算法。启发式算法依赖对问题性质的认识,属于局部优化算法。智能随机算法不依赖问题的性质,按一定规则搜索解空间,直到搜索到近似优解或最优解,属于全局优化算法,其代表有遗传算法、模拟退火算法、粒子群算法、禁忌搜索算法等。禁忌搜索算法(TabuSearch,TS)最早是由Glover在1986年提出,它的实质是对局部邻域搜索的一种拓展。TS算法通过模拟人类智能的记忆机制,采用禁忌策略限制搜索过程陷入局部最优来避免迂回搜索。同时引入特赦(破禁)准则来释放一些被禁忌的优良状态,以保证搜索过程的有效性和多样性。TS算法是一种具有不同于遗传和模拟退火等算法特点的智能随机算法,可以克服搜索过程易于早熟收敛的缺陷而达到全局优化1]。 迄今为止,TS算法已经广泛应用于组合优化、机器学习、生产调度、函数优化、电路设计、路由优化、投资分析和神经网络等领域,并显示出极好的研究前景2~9,11~15]。目前关于TS 的研究主要分为对TS算法过程和关键步骤的改进,用TS改进已有优化算法和应用TS相关算法求解工程优化问题三个方面。 禁忌搜索提出了一种基于智能记忆的框架,在实际实现过程中可以根据问题的性质做有针对性的设计,本文在给出禁忌搜索基本流程的基础上,对如何设计算法中的关键步骤进行了有益的总结和分析。 2禁忌搜索算法的基本流程 TS算法一般流程描述1]: (1)设定算法参数,产生初始解x,置空禁忌表。 (2)判断是否满足终止条件?若是,则结束,并输出结果;否则,继续以下步骤。 (3)利用当前解x的邻域结构产生邻域解,并从中确定若干候选解。 (4)对候选解判断是否满足藐视准则?若成立,则用满足藐视准则的最佳状态y替代x成为新的当前解,并用y对应的禁忌对象替换最早进入禁忌表的禁忌对象,同时用y替换“bestsofar”状态,然后转步骤(6);否则,继续以下步骤。 (5)判断候选解对应的各对象的禁忌情况,选择候选解集中非禁忌对象对应的最佳状态为新的当前解,同时用与之对应的禁忌对象替换最早进入禁忌表的禁忌对象。 (6)转步骤(2)。 算法可用图1所示的流程图更为直观的描述。 3禁忌搜索算法中的关键设计 3.1编码及初始解的构造 禁忌搜索算法首先要对待求解的问题进行抽象,分析问题解的形式以形成编码。禁忌搜索的过程就是在解的编码空间里找出代表最优解或近似优解的编码串。编码串的设计方式有多种策略,主要根据待解问题的特征而定。二进制编码将问题的解用一个二进制串来表示2],十进制编码将问题的解用一个十进制串来表示3],实数编码将问题的解用一个实数来表示4],在某些组合优化问题中,还经常使用混合编码5]、0-1矩阵编码等。 禁忌搜索对初始解的依赖较大,好的初始解往往会提高最终的优化效果。初始解的构造可以 SOPI垂直搜索引擎系统介绍 SOPI垂直搜索引擎2.0是一个从信息采集到分析到索引的整套解决方案，让你也可以轻松拥有一个搜索引擎。可以针用于行业垂直信息进行搜索，网站搜索等各类应用。 SOPI垂直搜索引擎系统的应用特点 ●外网搜索引擎：众多内容型网站为了保持数据的最新，不得不花费大量的人力进行内容 更新。SOPI 系统可以锁定需要的网站，进行定时采集此网站的最新内容；可以节省大量的人力成本，而且可以保证信息的全面性，同时结合搜索技术在海量的信息库中快速找到需要的信息。 ●高应用扩展性，可以根据用户需求快速配置成为不同类型的垂直搜索引擎，如成为商机 搜索、产品信息及其他各类需要的信息。只需普通技术人员便可以实现。 ●极少量的人工干预，系统管理员仅通过管理界面即可自动实现各类信息的搜索。大部分 工作由系统自动完成。 ●自动生成对网站的配置，提高工作效率及降低工作难度，垂直搜索引擎对不同网站进行 不同配置是必然的，本系统应用自动化技术将人工工作降到最低，将工作人员的技术要求降至最低。 ●可以从多个界而采集信息，系统进行自动合并，如从一个页面搜索产品信息，另一个网 页搜索公司信息，将两个页面的内容自动合并。 ●站内搜索引擎：可以轻松将内部网站的内容进行索引，为企业提供企业知识管理，或为 网站用户提供自身网站的搜索服务。 ●SOPI 搜索系统采用先进的索引机制，高效对全文进行索引及搜索，可以产生与百度和 GOOGLE 相同的准确结果，而且快速； SOPI搜索引擎系统的技术特点 ●使用与GOOGLE相同的数据库系统Oralce Berkeley DB嵌入式数据库，千万级数据状况 下操作数据仍保持在毫秒级，与使用ORACLE或SqlServer数据库性能提升数百倍。●系统结构的合理分离有利于分布式架构，适应未来大量的搜索工作，可以轻易在多服务 器环境中进行应用。 ●各子系统相互独立，任一子系统的停止运行不影响其他系统，有效保证稳定性； VAR1:=PEAKBARS(L,13,1,1)<10; VAR2:=IF(VAR1=1,2,0); 顶1:= IF(VAR2=2,1,0); 顶B:IF(顶1>REF(顶1,1),78,100),COLORBLUE,LINETHICK2; VAR3:=PEAKBARS(C,8,1,1)<10; VAR5:=IF(VAR3=1,2,0); 顶:= IF(VAR5=2,1,0); 顶A:IF(顶>REF(顶,1),78,100),COLORYELLOW,LINETHICK2; DRAWTEXT(顶A=5,4.5,'↓'),COLORYELLOW; V ARC:=(ZIGZAG(C,8,1)>REF(ZIGZAG(C,8,1),1)) AND (REF(ZIGZAG(C,8,1),1)<=REF(ZIGZAG(C,8,1),2)) AND REF(ZIGZAG(C,8,1),2)<=REF(ZIGZAG(C,8,1),3); STICKLINE1((V ARC=1),18,0,8,1),COLORMAGENTA; DRAWTEXT((V ARC=1),8,'+买'),COLORWHITE; LL:=EMA (100*(C-LLV(LOW,34))/(HHV(H,34)-LLV(LOW,34)),3); FILLRGN(LL>90,LL,90,RGB(0,255,0)); FILLRGN(LL<10,LL,10,RGB(255,0,0)); 风险值:EMA (100*(C-LLV(LOW,34))/(HHV(H,34)-LLV(LOW,34)),3),LINETHICK2,COLORCYAN; 预警:90,LINETHICK1; 垂直搜索引擎发展方向 来源：广告圈 https://www.wendangku.net/doc/0f17564063.html, 随着搜索经济的发展,垂直搜索引擎在搜索引擎行业中的地位越来越重要,并逐渐渗透到日常生活中。本文对搜索引擎的现状、优势,以及面临的问题进行分析,并对其今后的发展提出了一些可行性策略。 垂直搜索引擎发展现状 互联网最基础的功能即提供信息。网络推广2008年1月,中国互联网络信息中心在北京发布《第21次国际互联网络发展状况统计报告》,调查结果显示,目前2.1亿网民中使用搜索引擎的比例是72.4%,即已有1.52亿人从搜索引擎获益,半年净增加3086万人。位列网络应用中网络音乐、即时通信、网络影视和网络新闻之后的第五位,高于电子邮件。与其他国家相比,由于中国互联网仍旧是娱乐功能占主体,总体网民的搜索引擎使用率偏低。 垂直搜索引擎是搜索引擎行业保持高增长的重要力量。据调查,目前中国互联网中的垂直搜索引擎日益发展壮大,不断有面向新行业的垂直搜索引擎网站出现,例如,有面向房子的搜房网,有面向求职的职业搜索,有面向学术的学术搜索等。 目前垂直搜索引擎所用的技术模式和通用搜索引擎的技术基本相同。首先通过网络蜘蛛对互联网的网页进行抓取,进而获得元数据,然后对元数据进行分析处理,根据关键词的权重和其链接的关系,计算出该网页的重要度,存入数据库。当用户提交 关键词的时候,针对该关键词进行查询,进而将结果返回给用户,这就是垂直搜索引擎的一般工作流程。 目前垂直搜索引擎的主要盈利模式是基于竞价排名的广告模式,网络推广具体广告主在向垂直搜索引擎购买该项服务后,通过注册一定数量的关键词,按照付费最高者排名靠前的原则,购买了同一关键词的网站按不同的顺序进行排名,出现在网民相应的搜索结果中。 垂直搜索引擎的优势分析 互联网迅速发展。依赖搜索引擎是避免信息爆炸的快捷方式,而对于一个行业,信息量也是越来越大,准确抓住需要的信息,过滤无用信息是每个行业的从业者必须面对的课题,垂直搜索引擎为他们提供了好工具,帮助他们把握住行业发展的方向,并为想了解该行业的人提供一个便利方式。 商业公司对其日益重视。搜索引擎是人们登陆互联网的门户,垂直搜索引擎则是它所面向行业的门户,在这里进行广告投资,获得巨大收益的概率大,所以每个商业公司都会重视对其相关行业的垂直搜索引擎投资。 拥有巨大价值的用户搜索数据。垂直搜索引擎是面向行业、专注行业的搜索引擎,而使用垂直搜索引擎的人也都是和该行业有着密切关系的人,垂直搜索引擎记录着这些人的搜索数据,这些数据经过整理之后将会对该行业的发展有巨大的指导作用和巨大的价值。 垂直搜索引擎面临的问题 (一)搜索排名与搜索结果的用户满意度不一致 垂直搜索引擎技术指标 一、什么是垂直搜索 垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。 垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取，也就是将网页的非结构化数据抽取成特定的结构化信息数据，好比网页搜索是以网页为最小单位，基于视觉的网页块分析是以网页块为最小单位，而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库，进行进一步的加工处理，如：去重、分类等，最后分词、索引再以搜索的方式满足用户的需求。 整个过程中，数据由非结构化数据抽取成结构化数据，经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。 垂直搜索引擎的应用方向很多，比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索……几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。 二、垂直搜索技术概述 垂直搜索技术主要分为两个层次：模板级和网页库级。 模板级是针对网页进行模板设定或者自动生成模板的方式抽取数据，对网页的采集也是针对性的采集，适合规模比较小、信息源少且稳定的需求，优点是快速实施、成本低、灵活性强，缺点是后期维护成本高，信息源和信息量小。 网页库级就是在信息源数量上、数据容量上检索容量上、稳定性可靠性上都是网页库搜索引擎级别的要求，和模板方式最大的区别是对具体网页不依赖，可针对任意正常的网页进信息采集信息抽取……。这就导致这种方式数据容量上和模板方式有质的区别，但是其灵活性差、成本高。当然模板方式和网页库级的方式不是对立的，这两者对于垂直搜索引擎来说是相互补充的，因为技术只是手段，目的是切反用户之需。本文谈及的技术主要是指网页库级别垂直搜索引擎技术。下图为垂直搜索引擎结构的拓扑图。 垂直搜索引擎是什么_垂直搜索引擎有哪些 垂直搜索引擎是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是专、精、深，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。 什么是垂直搜索引擎垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。 垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取，也就是将网页的非结构化数据抽取成特定的结构化信息数据，好比网页搜索是以网页为最小单位，基于视觉的网页块分析是以网页块为最小单位，而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库，进行进一步的加工处理，如：去重、分类等，最后分词、索引再以搜索的方式满足用户的需求。 整个过程中，数据由非结构化数据抽取成结构化数据，经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。 垂直搜索引擎的应用方向很多，比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。 举个例子来说明会更容易理解，比如购物搜索引擎，整体流程大致如下：抓取网页后，对网页商品信息进行抽取，抽取出商品名称、价格、简介甚至可以进一步将笔记本简介细分成品牌、型号、CPU、内存、硬盘、显示屏、然后对信息进行清洗、去重、分类、分析比较、数据挖掘，最后通过分词索引提供用户搜索、通过分析挖掘提供市场行情报告。 已破解的交易策略源码： DIRECTION:=CLOSE-REF(CLOSE,10); VOLATILITY:=SUM(ABS((CLOSE-REF(CLOSE,1))),10); ER:=ABS(DIRECTION/VOLATILITY); FASTSC:=2/(2 + 1); SLOWSC:=2/(30 + 1); SSC:=ER*(FASTSC-SLOWSC)+SLOWSC; https://www.wendangku.net/doc/0f17564063.html,:c,nodraw; CONSTANT:=SSC*SSC; AMAHIGH:=REF(EMA(HIGH,100),1)+CONSTANT*(HIGH- EMA(HIGH,100)); AMACLOSE:=REF(EMA(CLOSE,100),1)+CONSTANT*(CLOSE- REF(EMA(CLOSE,100),1)); AMALOW:=REF(EMA(LOW,100),1)+CONSTANT*(LOW- EMA(LOW,100)); REF(LOW>AMAHIGH,1),BK; REF(CLOSE 最高价连线与最低价连线 TMP:=OPEN-CLOSE; DRAWLINE(TMP>0.00001,HIGH,TMP>0.00001,OPEN,COLORCYAN); DRAWLINE(TMP>0.00001,LOW,TMP>0.00001,CLOSE,COLORCYAN); DRAWLINE(TMP<-0.00001,HIGH,TMP<-0.00001,CLOSE,COLORRED); DRAWLINE(TMP<-0.00001,LOW,TMP<-0.00001,OPEN,COLORRED); DRAWLINE(ABS(TMP)<0.00001,LOW,ABS(TMP)<0.00001,OPEN,COLORWHITE); DRAWLINE(ABS(TMP)<0.00001,HIGH,ABS(TMP)<0.00001,OPEN,COLORWHITE); STICKLINE(TMP>0,OPEN,CLOSE,COLORCYAN,0); STICKLINE(TMP<=0,OPEN,CLOSE,COLORRED,1); A:HHV(HIGH,10); B:LLV(LOW,10); 自编KDJ RSV:=(CLOSE-LLV(LOW,N))/(HHV(HIGH,N)-LLV(LOW,N))*100; BACKGROUNDSTYLE(1); K1:SMA(RSV,M1,1); D1:SMA(K1,M2,1); J1:3*K1-2*D1; KDR:MAX((K1-D1)/ABS(K1-D1),0)*90 5; RSV4:=(CLOSE-LLV(LOW,N*4))/(HHV(HIGH,N*4)-LLV(LOW,N*4))*100; K4:SMA(RSV4,12,1); 如何通过垂直搜索引擎构建自己的学术搜索引擎 课题背景 随着因特网的发展，网上信息资源日益丰富且呈现出以下特点： (1)信息量大而且分散； (2)自治性强； (3)信息资源多种多样；(4)不一致和不完整性。 这些给信息挖掘带来了挑战。一方面使其实用性不断加强，越术越多的人从网上获取信息： 另一方面，人们经常会感到通过一般的搜索引擎难以找到自己想要的信息，对于具体专业或某一领域的内容尤其如此，如学术文献. 所以，要从Internet上获取有价值的专业信息，就必须有专门的搜索引擎来获取专业性的信息。 垂直搜索引擎是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。 学术搜索引擎 学术搜索引擎顾名思义就是搜索学术资源的引擎，资源以学术论文、国际会议、权威期刊、学者为主，随着新一代搜索引擎的快速发展，学术搜索引擎应具备个性化、智能化、数据挖掘分析、学术圈等特色。 2．3垂直搜索引擎的结构 本文根据常用的搜索结构， 有机地将分类目录式搜索引擎和基于查询串的搜索引擎结合起来，设计了一个垂直搜索引擎的体系结构，如图所示。 其各部分功能简述如下： l、爬虫软件：也称为spider，crawler和robot等，定向搜索各类信息前 AMOUNT:=AVPRICE*V; A:=AMOUNT/V/100; VARA:=EMA((((A-EMA(A,13))/EMA(A,13))*(0-100)),5); QQ:=EMA(((VARA/10)+EMA(A,13)),0); 行情线:=MA(A,1); 重心:=(C+0.618*REF(C,1)+0.382*REF(C,1)+0.236*REF(C,3)+0.146*REF(C,4))/2.382; 【操盘线】:EMA(((SLOPE(C,22)*20)+C),55),COLORYELLOW,LINETHICK4; 【黄金线】:IF(重心>=【操盘线】,【操盘线】,NULL),COLORRED,LINETHICK2; 【空仓线】:IF(重心<【操盘线】,【操盘线】,NULL),COLORCYAN,LINETHICK2; DRAWTEXT(ISLASTBAR,【操盘线】,'【操盘线】'),COLORRED; 变:EMA(CLOSE,5),LINETHICK2,COLORYELLOW; 金:IF(变>REF(变,1),变,NULL),COLORRED,LINETHICK2; 空:IF(变 A:=AVPRICE/100; VARA:=EMA((((A-EMA(A,13))/EMA(A,13))*(0-100)),5); QQ:=EMA(((VARA/10)+EMA(A,13)),0); 行情线:=MA(A,1); 重心:=(C+0.618*REF(C,1)+0.382*REF(C,1)+0.236*REF(C,3)+0.146*REF(C,4))/2.382; 【操盘线】:EMA(((SLOPE(C,22)*20)+C),55),COLORYELLOW,LINETHICK4; 【黄金线】:IF(重心>=【操盘线】,【操盘线】,NULL),COLORRED,LINETHICK2; 【空仓线】:IF(重心<【操盘线】,【操盘线】,NULL),COLORCYAN,LINETHICK2; DRAWTEXT(ISLASTBAR,【操盘线】,'【操盘线】'),COLORRED; 引:EMA(CLOSE,2),LINETHICK1,COLORMAGENTA; 探:MA(CLOSE,5),LINETHICK1; 变:EMA(CLOSE,5),LINETHICK2,COLORYELLOW; 金:IF(变>REF(变,1),变,NULL),COLORRED,LINETHICK2; 空:IF(变 第27卷第7期 计算机应用与软件 Vol 127No .72010年7月 Computer App licati ons and Soft w are Jul .2010 垂直搜索引擎的研究与设计 刘运强 (贵州大学计算机学院 贵州贵阳550025) 收稿日期:2009-10-09。贵州省科技计划工业攻关基金项目(黔科合GY 字[2008]3035);贵州省2008年省级信息化专项基金项目 (0830)。刘运强,硕士生,主研领域:数据库技术与软件工程。 摘 要 通过对垂直搜索引擎的原理和关键技术的研究,运用Lucene 等JAVA 开源工具设计并实现了一个手机信息检索系统。 对于构建垂直搜索引擎必须要面对和解决的一些关键问题进行了分析,并给出了解决方案,如防止重复爬取网页和专业词库的扩展等,具有较强的实用性。 关键词 搜索引擎 垂直搜索 爬虫 Lucene RESEARCH AND D ES I GN O F VERT I CAL SEARCH ENG I NE L iu Yunqiang (College of Co m puter Science,Guizhou U niversity,Guiyang 550025,Guizhou,China ) Abstract This paper p resents the design and i m p le mentati on of an infor mati on retrieval syste m f or mobile phones by app lying JAVA open -s ource t ools such as Lucene and thr ough studying the p rinci p les of vertical search engine and critical technol ogies .I n additi on,the analyses are made on s ome key p r oblem s which have t o encounter and res olve when constructing the vertical search engine .The s oluti ons pertaining t o these p r oble m s are given as well,for exa mp le,the p reventi on of cra wling sa me homepage repeatedly and the expansi on of s pecialised ter m s li 2brary .The system has high p racticality . Keywords Search engine Vertical search Sp ider Lucene 0 引 言 随着信息技术的快速发展,互联网已经成为人们获知信息的重要渠道。面对互联网如此庞大复杂的信息资源,仅依靠浏览器浏览的方式来获得我们所关心的信息是非常困难的,这就促使了网络搜索引擎的出现和快速发展。搜索引擎整合了众多网站的信息,将大量信息整合在一个平台上供用户检索,起到了信息导航的作用,已成为人们获取信息的有效工具。但是互联网的信息量呈爆炸趋势增长,每天都有数以万计的网页出现在互联网,使得搜索引擎对网络信息的覆盖率和搜索出结果的相关性、准确性在整体上呈下降趋势。检索出的结果集数量之多,经常都是几十万条甚至是几百万条记录,其中存在着大量的重复信息或是与检索主题无关的信息,要想从中快速、准确地找出所需要的信息变得越来越困难。人们需要更具有针对性、能快速准确定位信息的搜索引擎———垂直搜索引擎。 本文通过对垂直搜索引擎原理的深入了解,设计并实现了一个用于手机信息检索的垂直搜索引擎。与其它一些垂直搜索引擎的研究相比,本文更为深入和实际地研究了垂直搜索引擎亟待解决的关键问题,并给出了解决方案,通过手机垂直搜索引擎实例也很好地证明了方案的可行性和实用性。 1 垂直搜索引擎的原理和关键技术 1.1 垂直搜索引擎的原理 垂直搜索引擎是相对通用搜索引擎的信息量大、查询不准 确、深度不够等提出来的新的搜索引擎服务模式,通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务[1]。其特点就是“专、精、深”,且具有行业色彩,相比较通用搜索引擎的海量信息无序化,垂直搜索引擎则显得更加专注、具体和深入。可以简单地把垂直搜索引擎说成是搜索引擎领域的行业化分工,它为用户提供的并不是上百甚至上千万相关网页,而是范围极为缩小、极具针对性的具体信息。 垂直搜索引擎通过网络爬虫在互联网上爬取某一特定领域的专业信息网页,并对爬取到的网页进行解析和处理,形成专业信息数据库,并对这些数据进行索引,形成索引库。用户在搜索引擎的客户端键人要查找的关键词,搜索引擎就会在索引库中找出与该关键词相匹配的摘要信息和URL,并将结果显示给用户,用户可根据输出的结果选择并访问相关站点。 1.2 垂直搜索引擎的关键技术 1.2.1 网络爬虫技术 网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。爬虫通常是从一个或若干初始网页的URL 开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL 放入队列,直到满足系统的一定停止条件。 网络爬虫的实现需要一个支持HTTP 协议的编程工具包,本文所使用的是H tt pClient,它是Apache 的一个开源项目,用来 阳光心情 MA1:EMA(CLOSE,6),COLORWHITE; MA2:EMA(CLOSE,25),COLORRED ; STICKLINE(MA1>MA2,MA1,MA2,COLORMAGENTA,0) ; STICKLINE(MA2>MA1,MA1,MA2,COLORGREEN,0); DRAWTEXT(MA2-MA1>0&&MA1/LOW>1.15,LOW,'▼'); DRAWTEXT(MA1-MA2>0&&HIGH/MA1>1.15,HIGH,'▲'); 无敌MACD文华版 DIFF : EMA(CLOSE,12) - EMA(CLOSE,26); DEA : EMA(DIFF,9); 2*(DIFF-DEA),COLORSTICK; L1:=(EMA(CLOSE,8) - EMA(CLOSE,13)); L2:=EMA(L1,13); DRAWTEXT(CROSS(L1,L2),DIFF ,'买'),COLORRED; DRAWTEXT(CROSS(L2,L1),DIFF ,'卖'),COLORGREEN; 稳坐钓鱼台 ZJX:MA(C,61)-2*STD(C,71),COLORRED; CJX:MA(C,125)-2*STD(C,145),COLORMAGENTA; A:(EMA(C,13)+MA(C,26)+MA(C,52))/3,COLORYELLOW; TMP:=OPEN-CLOSE; DRAWLINE(TMP>0.00001,HIGH,TMP>0.00001,OPEN,COLORCYAN); DRAWLINE(TMP>0.00001,LOW,TMP>0.00001,CLOSE,COLORCYAN); DRAWLINE(TMP<-0.00001,HIGH,TMP<-0.00001,CLOSE,COLORRED); DRAWLINE(TMP<-0.00001,LOW,TMP<-0.00001,OPEN,COLORRED); DRAWLINE(ABS(TMP)<0.00001,LOW,ABS(TMP)<0.00001,OPEN,COLORWHITE); DRAWLINE(ABS(TMP)<0.00001,HIGH,ABS(TMP)<0.00001,OPEN,COLORWHITE); STICKLINE(TMP>0,OPEN,CLOSE,COLORCYAN,0); STICKLINE(TMP<=0,OPEN,CLOSE,COLORRED,1); 稳赢趋势 HH:=HHV(HIGH,13); LL:=LLV(LOW,13); HH1:=BARSLAST((HH>REF(HH,1))); LL1:=BARSLAST((LL禁忌搜索算法浅析
波段交易文华财经指标源码
文华财经指标公式波段最准确的指标最准的实战指标macd代表的意思
文华财经指标公式波段最准确的指标最准的实战指标赢顺云WH6赢智WH8
禁忌搜索算法评述(一)
垂直搜索引擎系统介绍
文华财经期货软件指标公式源码赢顺云指标波段买卖抄底逃顶顶底主力
垂直搜索引擎发展方向
垂直搜索引擎技术指标
垂直搜索引擎是什么_垂直搜索引擎有哪些
已破解的交易策略源码[文华财经公式]
文华财经指标源码
如何通过垂直搜索引擎构建自己的学术搜索引擎
文华财经压力与支撑指标文华财经指标公式源码赢顺云期货软件指标
准确率100的技术指标文华财经指标公式期货软件顶底之王指标
垂直搜索引擎的研究与设计
文华财经指标源码