一种新颖的基于马氏距离的文本分类方法的研究
27/39 102 105
长春工程学院学报(自然科学版)2011年第12卷第2期
J.Chang chun Inst.T ech.(Nat.Sci.Edi.),2011,Vo l.12,N o.2
ISSN1009 8984
CN22 1323/N 一种新颖的基于马氏距离的文本分类方法的研究
收稿日期:2011-06-10
基金项目:吉林省科技厅青年基金的资助(20100190)
吉林省教育厅基金项目资助(2010No.422)
作者简介:张素莉(1974-),女(汉),吉林四平,博士,副教授主要研究数据挖掘、人工智能。张素莉,潘 欣
(长春工程学院电气与信息工程学院,长春130012)
摘 要:KNN(k最近邻算法)是文本挖掘领域最成熟最简单的分类方法之一。该方法对文本分类中的距离参数的选取敏感,错误的选择将导致分类精度降低,影响最终分类效果,该缺陷限制了KNN分类器在文本数据挖掘中的应用。因此,本文将马氏距离引入到文本分类领域,并将其与KNN算法相结合,提出了一种基于马氏距离的新的文本分类方法(M ahalanobis distance KNN,M DKNN),该方法克服KNN算法对距离函数的敏感性。实验表明,与传统的KNN和Na ve Bayes分类算法相比,该方法在文本分类的精度和稳定性上有所提高。
关键词:马氏距离;KNN分类器;文本分类器
中图分类号:T P391文献标志码:A 文章编号:1009 8984(2011)02 0102 04
0 引言
文本数据挖掘可以广义地定义为一个知识密集的过程,即用户通过使用一套分析工具与文档交互[1](Ronen and James,2007)。文本分类(TC)是文本数据挖掘研究中最常见的研究问题之一。如何从信息源中提取具有准确性和时效性的文本分类知识有赖于分类技术的使用,因此,如何提高文本分类的精度是当前文本数据挖掘研究的热点问题之一。
目前,常用的文本分类技术主要有:基于神经网络(NN)的文本分类算法[2](Li et al.,1991;Farkas et al.,1994)、支持向量机SVM算法[3](Joachims, 1998)、遗传算法[4](Svingen,1998)、KNN算法、基自组织映射算法[5](H yotyniemi,1996)、贝叶斯算法[6] (Lam,1997)及其朴素贝叶斯算法(Nigam,1999)等,其中KNN(k最近邻算法)算法是最成熟最简单的分类方法之一。而KNN分类器对分类过程中所使用的距离参数十分敏感[3](Jahromia et al.,2009),这一缺点不但降低了对文本分类的精度,而且也限制了KNN分类器在文本分类中的应用。
本文提出了一种新颖的基于马氏距离的KNN 文本分类方法(M ahalanobis distance KNN,MD KNN)。该分类器不需使用距离函数的参数K,而是通过整个训练集的分布情况来决定分类的种类。实验表明,与传统的KNN和Na ve Bayes分类算法相比,MD KNN在文本分类的精度和稳定性上有所提高。
1 马氏距离及其分类算法
1.1 马氏距离
M ahalano bis距离(马氏距离)是由印度统计学家马哈拉诺比斯[7](P. C.Mahalanobis)于1936年提出的,表示数据的协方差距离。它是一种有效的计算2个未知样本集的相似度的方法。与欧式距离不同的是它考虑到各种特性之间的联系,并且是尺度无关的,即独立于测量尺度。如果列向量x= (x1,x2, ,x N)T的每一项均是随机变量,且均是有限方差,则协方差矩阵S的每一项(i,j)都是协方差向量,可以用式(1)来表示:
S ij=cov(X i,X j)=E[(X i- i)(X j- j)](1)
其中用 i=E(X i)表示每一个向量X的期望值,则我们可以用式(2)表示协方差矩阵S:
S =
E[(X 1- 1)(X 1- 1)] E [(X 1- 1)(X 2- 2)] E[(X 1- 1)(X n - n )]
E[(X n - n )(X 1- 1)] E [(X n - n )(X 2- 2)] E[(X n - n )(X n - n )
](2)
因此,多变量向量x =(x 1,x 2, ,x N )T 的马氏距离可以通过一组均值数据 =( 1, 2, ,
N )T
和协方差矩阵S 表示,如式(3)所示:
D M (x )=
(x - )T S -1(x - )
(3)
我们可以使用式(3)来分析简单情况下的马氏距离,并将其与欧氏距离进行对比。马氏距离充分考虑了N 维欧式空间的测试点属于该集合的可能性问题,在这里我们给出了一些明确属于马氏距离集合的样本,其中离大多数样本中心越近的点,属于这个集合的可能性越大。可以通过一组二维数据X (在图中标记为圆圈)来比较马氏距离和欧式距离,共有100个的样本训练集,其均值为 =[0;0],并且 =[10.9;0.91];,有4个样本数据Y (用星号标记)
,分别是[11;
1-1;-11;-1-1]。
(a)马氏距离
(b)欧式距离
图1 训练集Y 和X
从图1中,我们可以看出,Y 1和Y 3在X 样本集附近,而Y 2和Y 4点远离X 样本集。欧式距离仅
仅能够比较2个样本的距离,即能得到X 的均值是[0;0]和Y 与X 的均值是D =sqr t(2),不能展示Y 和X 之间的关系。当我们使用马氏距离的时候,它
不仅能够描述一个样本和所有样本X 之间的距离D =[1.34;17.22;18.66; 1.05],也能通过马氏距离真正地反应Y 和X 之间的关系。1.2 分类算法
根据式(2)和式(3),我们构建了基于KNN 分类器的马氏距离(M DKNN),该算法的训练和分类过程如下:
(1)训练阶段:
输入:多维向量的训练集合T =(X 1,X 2, ,X N ),训练集合中的每一个X N 一定属于某一个分类集,其中N 表示分类号。
根据式(2)可以计算出每一个分类的协方差矩阵S =(S 1,S 2, ,S N )。其中S N 对应第N 个分类。
输出:每一个分类的协方差矩阵。(2)分类阶段:输入:多维向量Y;
a.根据式(3)和训练阶段得到的协方差矩阵,计
算每一个分类和Y 的马氏距离;
b.找到离Y 最近的最小距离;
输出:决定具有最小马氏距离的分类。根据这个算法,分类器不需要提前计算参数K ,就可以根据分散的训练样本集计算出样本的种类。
2 文本表示
文本表示是文档分析和处理中的关键问题。文本表示也是文本分类、信息过滤、信息检索、知识发现等领域的基础。对于中文语料集中的文本,计算
机不能够直接进行处理,因此在进行中文文本分类之前,必须要对中文语料集中的文本进行一些处理。
103
张素莉,等:一种新颖的基于马氏距离的文本分类方法的研究
采取合理的方式将中文文本转化成计算机能够处理的形式,这个过程就是文本表示。因此,作为文本分类的一个预处理步骤,文档可以用特征向量来表示。Co mbar ro 在2005年指出,特征加权方法T F IDF 方法在绝大多数情况下都是最有效最简单的文本特征化的方法。
TFI DF 方法是通过特征词的词频(TF)和反文档频率(IDF)来计算特征词的权重。特征词频率TF(t,d)表示特征词t 在文档d 中出现的频率(出现的次数)。文档频率DF (t)是在所有文本中特征词t 出现的频率,反文档频率I DF (t)可以通过如下的公式计算:
I DF(t)=lo g
D
DF (t)(4)
式中:D 文档的个数;
I DF (t ) 特征词t 在整个文档中的离
散度。
在文档的d 中特征词t 的权重可以通过如下的式(5)计算:
W (t,d )=T F(t,d) I DF(t)
(5)在上述公式中,W(t,d)的值越大,表示特征词t 在文档d 中出现的频率越高。
3
文本分类的处理步骤
文本分类的处理步骤可以如图2所示:
图2 获得分类模型的过程
首先,从训练样本集中去除所有的停词,利用T F IDF 方法的式(4)和式(5)构建权重表;然后,将所有文档向量化;训练分类器并获得分类模型。用该模型可以表示文本向量的分类。
4 实验和结论
本研究选取Internet 网上的热点新闻作为分类目标,其基本分类类别包括:IT 、健康、运动、教育和军事。本次实验共获取1000个文本样本,其中的500个样本作为训练集,剩余的500个作为测试集。为更好地验证分类算法和样本数量之间的关系,将500个训练样本集进一步细分为100,150,200,250,300,350,400,450,500,样本数量是随机的。我们将M DKNN 算法与传统KNN 分类器(N =5to 20,并且选择最佳的N 作为分类精度)及其Na v e Bay es 分类器进行比较。3种分类算法的分类精度比较如下图3所示:
从图3中可以看出,在文本数量较多的情况下,M DKNN 分类器获得了比KNN 分类器和Na ve Bay es 分类器更高的分类景区。在样本数350到500之间,M DKNN 分类器达到了分类精度的90%,远高于其他两类分类器。N a ve Bayes 分类器随着样本数的持续增加呈现了不稳定性;KNN 分类器必须选择最佳的N
进行测试和改错。由此可见,MDKNN 分类器在文本分类中具有较好的稳定性和较高的分类精度。
图3 3种分类算法的分类精度比较
参考文献
[1]Ronen F eldman,James Sang er.T HE T EXT M I NI NG
104
长春工程学院学报(自然科学版)2011,12(2)
H A N DBO OK:A dvanced A ppr oaches in A nalyzing U n
structured Data[M].CA M BRID GE:CA M BR IDGE U N IV ERSIT Y PRESS,2007:401-402.
[2]L i W ei,L ee Bo b,K rausz,etc.T ex t Classification by a
N eural N etw o rk[A].Dale P.Pr oceeding s of the1991 Summer Co mputer Simulatio n Conference[C].T w enty -T hird A nnual Summer Computer Simulatio n Co nfer ence,1991:313-318.
[3]Jo achims,T ho rsten.T ex t Categ or ization with Suppo rt
V ector M achines:L earning w ith M any Relev ant F ea tures[A].Claire N,Celine R.M achine L earning:ECM L
98.10th European Conference on M achine L ea rning
[C].Califor nia:Spring er,1998:137.
[4]Sving en, B.U sing g enetic pro gr amming fo r document
classif ication[A].Diane JC.F L AIR S-98.Pro ceedings o f the Elev enth Internatio nal Florida A rtificial I ntelli
g ence Research[C].Flor ida:A AA I P ress,1998:63-67.
[5]Hy oty niemi,H.T ext do cument classification with self
-org anizing maps[A].Jarmo A,T imo H,M atti J.ST eP' 96-Genes,Nets and Symbols.Finnish A r tificial In tellig ence Conference[C].Vaasa:Finnish Ar tificial Inteel -igence so ciety,1996:64-72.
[6]N ig am K,M accallum,A K,et c.T ex t Classificatio n f rom
L abeled and U nlabeled Do cuments using EM[A].T o ap pear in the M achine L ear ning Jour nal[C].Bo st on:K luw er A cademic Publishers,1999:1-34.
[7]M ahalanobis,P C.O n the g ener alised distance in stat is
tics[J].P roceeding s of the N atio nal Institut e o f Sci
ences of I ndia,1936,12(1):49-55.
Study on a new text classification
based on Mahalanobis distance
ZH ANG Su-li,etc.
(Faulty of E lectr ical&I nf or mation Engineer ing, Changchun I nstitute of Technology,
Chang chun130012,China) Abstract:T he KNN(K Near est Neighbo rs)is one of the oldest and simplest metho ds in tex t classifi cation.But it is know n to be sensitive to the dis tance parameter used in tex t classificatio n.The w rong selection w ill lead to low accuracy in classi fication and influence the final classification effects.This disadvantage limits the application of KNN classifier in tex t mining.So in this paper,w e intr oduce a new method o f M ahalanobis distance in text classification area(M ahalanobis distance KNN,MDKNN),w hich avoid the sensitivity of KNN algorithm to distance functio n.T he experi ment result show that o ur method has improv ed the accuracy and stability in tex t classificatio n by comparing w ith traditional classification algor ithms of KNN classifier and Na ve Bay es classifier.
Key words:Mahalanobis distance;KNN classifier;
tex t classifier
105
张素莉,等:一种新颖的基于马氏距离的文本分类方法的研究
基于机器学习的文本分类方法
基于机器学习算法的文本分类方法综述 摘要：文本分类是机器学习领域新的研究热点。基于机器学习算法的文本分类方法比传统的文本分类方法优势明显。本文综述了现有的基于机器学习的文本分类方法，讨论了各种方法的优缺点，并指出了文本分类方法未来可能的发展趋势。 1.引言 随着计算机技术、数据库技术，网络技术的飞速发展，Internet的广泛应用，信息交换越来越方便，各个领域都不断产生海量数据，使得互联网数据及资源呈现海量特征，尤其是海量的文本数据。如何利用海量数据挖掘出有用的信息和知识，方便人们的查阅和应用，已经成为一个日趋重要的问题。因此，基于文本内容的信息检索和数据挖掘逐渐成为备受关注的领域。文本分类(text categorization，TC)技术是信息检索和文本挖掘的重要基础技术，其作用是根据文本的某些特征，在预先给定的类别标记(label)集合下，根据文本内容判定它的类别。传统的文本分类模式是基于知识工程和专家系统的，在灵活性和分类效果上都有很大的缺陷。例如卡内基集团为路透社开发的Construe专家系统就是采用知识工程方法构造的一个著名的文本分类系统，但该系统的开发工作量达到了10个人年，当需要进行信息更新时，维护非常困难。因此，知识工程方法已不适用于日益复杂的海量数据文本分类系统需求[1]。20世纪90年代以来，机器学习的分类算法有了日新月异的发展，很多分类器模型逐步被应用到文本分类之中，比如支持向量机(SVM，Support Vector Machine)[2-4]、最近邻法(Nearest Neighbor)[5]、决策树(Decision tree)[6]、朴素贝叶斯(Naive Bayes)[7]等。逐渐成熟的基于机器学习的文本分类方法，更注重分类器的模型自动挖掘和生成及动态优化能力，在分类效果和灵活性上都比之前基于知识工程和专家系统的文本分类模式有所突破，取得了很好的分类效果。 本文主要综述基于机器学习算法的文本分类方法。首先对文本分类问题进行概述，阐述文本分类的一般流程以及文本表述、特征选择方面的方法，然后具体研究基于及其学习的文本分类的典型方法，最后指出该领域的研究发展趋势。 2．文本自动分类概述 文本自动分类可简单定义为：给定分类体系后，根据文本内容自动确定文本关联的类别。从数学角度来看，文本分类是一个映射过程，该映射可以是一一映射，也可以是一对多映射过程。文本分类的映射规则是，系统根据已知类别中若干样本的数据信息总结出分类的规律性，建立类别判别公式或判别规则。当遇到新文本时，根据总结出的类别判别规则确定文本所属的类别。也就是说自动文本分类通过监督学习自动构建出分类器，从而实现对新的给定文本的自动归类。文本自动分类一般包括文本表达、特征选取、分类器的选择与训练、分类等几个步骤，其中文本表达和特征选取是文本分类的基础技术，而分类器的选择与训练则是文本自动分类技术的重点，基于机器学习的文本分来就是通过将机器学习领域的分类算法用于文本分类中来[8]。图1是文本自动分类的一般流程。
求马氏距离_matlab解法
求马氏距离（Mahalanobis distance ）--matlab版方法一： X = [1 2; 1 3; 2 2; 3 1]; [mx,nx] = size(X); Dis = ones(mx,nx); Cov = cov(X); for i=1:mx for j=1:nx D(i,j)=((X(i,:)-X(j,:))*inv(C)*(X(i,:)-X(j,:))')^0.5; end end D >> X X = 1 2 1 3 2 2 3 1 >> D D = 0 2.3452 2.0000 2.3452 2.3452 0 1.2247 2.4495 2.0000 1.2247 0 1.2247
2.3452 2.4495 1.2247 0 >> 2.3452 X的第一行向量与第二行向量之间的马氏距离。 2.0000 X的第一行向量与第三行向量之间的马氏距离。 。。。 方法二： X = [1 2; 1 3; 2 2; 3 1] X = 1 2 1 3 2 2 3 1 Y = pdist(X,'mahal') Y = 2.3452 2.0000 2.3452 1.2247 2.4495 1.2247 function d = mahalanobis(X, Mu, C) %MAHALANOBIS Mahalanobis distance. % D = MAHALANOBIS(X, MU, C) returns the Mahalanobis distance between % the length p vectors X and MU given the p by p covariance matrix % C. If omitted, it is assumed that C is the identity matrix(单位矩阵/恒等矩阵) % EYE(p). If either X or MU is an n by p matrix, D will be returned % as an n by g matrix where n is the number of rows in X and g is % the number of rows in MU where each entry i, j corresponds to the % mahalanobis distance between row i of X and row j of MU. If MU is % simply 0, it is treated as the origin from which Mahalanobis % distance to X is calculated. C must be a positive, definite, % symmetric matrix. % % The Mahalanobis distance between vectors X(i,:) and MU(j,:) is % defined as: % % D(i,j) = ((X(i,:) - MU(j,:))'*INV(C)*(X(i,:) - MU(j,:))).^(1/2)
文本分类综述
山西大学研究生学位课程论文（2014 ---- 2015 学年第 2 学期） 学院（中心、所）：计算机与信息技术学院 专业名称：计算机应用技术 课程名称：自然语言处理技术 论文题目：文本分类综述 授课教师（职称）：王素格（教授） 研究生姓名：刘杰飞 年级：2014级 学号：201422403003 成绩： 评阅日期： 山西大学研究生学院 2015年 6 月2日
文本分类综述 摘要文本分类就是在给定的分类体系下,让计算机根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程。文本分类在冗余过滤、组织管理、智能检索、信息过滤、元数据提取、构建索引、歧义消解、文本过滤等方面有很重要的应用。本文主要介绍文本分类的研究背景,跟踪国内外文本分类技术研究动态。介绍目前文本分类过程中的一些关键技术，以及流形学习在文本分类中降维的一些应用。并且讨论目前文本分类研究面临的一些问题,及对未来发展方向的一些展望。 关键词文本分类；特征选择；分类器；中文信息处理 1.引言 上世纪九十年代以来，因特网以惊人的速度发展起来，到现在我们进入大数据时代互联网容纳了海量的各种类型的数据和信息，包括文本、声音、图像等。这里所指的文本可以是媒体新闻、科技、报告、电子邮件、技术专利、网页、书籍或其中的一部分。文本数据与声音和图像数据相比，占用网络资源少，更容易上传和下载，这使得网络资源中的大部分是以文本（超文本）形式出现的。如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。基于机器学习的文本分类系统作为处理和组织大量文本数据的关键技术,能够在给定的分类模型下，根据文本的内容自动对文本分门别类，从而更好地帮助人们组织文本、挖掘文本信息，方便用户准确地定位所需的信息和分流信息。 利用文本分类技术可以把数量巨大但缺乏结构的文本数据组织成规范的文本数据,帮助人们提高信息检索的效率。通过对文本信息进行基于内容的分类,自动生成便于用户使用的文本分类系统,从而可以大大降低组织整理文档耗费的人力资源,帮助用户快速找到所需信息。因此文本分类技术得到日益广泛的关注，成为信息处理领域最重要的研究方向之一。 2.文本分类技术的发展历史及现状 2.1文本分类技术发展历史 国外自动分类研究始于1950年代末，早期文本分类主要是基于知识工程，通过手工定义一些规则来对文本进行分类，这种方法费时费力，还需要对某一领域有足够的了解，才能提炼出合适的规则。H.P.Luhn在这一领域进行了开创性的研究，他将词频统计的思想用于文本分类中。这一时期，主要是分类理论的研究，并将文本分类应用用于信息检索。在这一段时期，提出了很多经典文本分类的数学模型。比如1960年Maron在Journal of ASM上发表了有关自动分类的第一篇论文“On relevance Probabilitic indexing and informarion retriral”，这是Maron和Kuhns提出概的率标引(Probabilitic indexing )模型在信息检
文本情感分类研究综述
Web文本情感分类研究综述 王洪伟/刘勰/尹裴/廖雅国 2012-9-27 14:55:59 来源：《情报学报》(京)2010年5期【英文标题】Review of Sentiment Classification on Web Text 【作者简介】王洪伟，男，1973年生，博士，副教授／博士生导师，研究方向：本体建模和情感计算，E-mail:hwwang@https://www.wendangku.net/doc/589625871.html,。同济大学经济与管理学院，上海200092； 刘勰，男，1985年生，硕士研究生，研究方向：数据挖掘与情感计算。同济大学经济与管理学院，上海200092； 尹裴，女，1986年生，硕士研究生，研究方向：商务智能。同济大学经济与管理学院，上海200092； 廖雅国，男，1954年生，博士，教授，研究方向：人工智能与电子商务。香港理工大学电子计算学系，香港 【内容提要】对用户发表在Web上的评论进行分析，能够识别出隐含在其中的情感信息，并发现用户情感的演变规律。为此，本文对Web文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语义特性的识别和基于统计自然语言处理的识别方法。分析了情感分类中的语料库选择和研究难点。最后总结了情感分类的应用现状，并指出今后的研究方向。
Analyzing the users' reviews on the Web can help us to identify users' implicit sentiments and find the evolution laws of their emotion. To this end, this paper is a survey about the sentiment classification on the Web text. We divided the process of classification into three categories:subjective and objective classification,polarity identification and intensity identification and respectively summarize the resent research achievements in these fields. We also sorted the methods of polarity identification into two types: one is based on the emotional words with semantic characteristics, while the other statistic methods of natural language processing. What is more, the choice of corpus and potential research problems are discussed. At last, this paper summarized the status quo of application and pointed out the direction of future research. 【关键词】Web文本/情感分类/综述/主观性文本Web texts/Sentiment classification/Survey/Subjective text 随着互联网的流行，Web文本成为我们获取信息、发表观点和交流情感的重要来源。特别是随着Web2.0技术的发展，网络社区、博客和论坛给网络用户提供了更宽广的平台来交流信息和表达意见。这些文章和言论往往包含有丰富的个人情感，比如对某部大片的影评，对某款手机的用户体验等，其中蕴含着巨大的商业价值。如何从这些Web文本中进行情感挖掘，获取情感倾向已经成为当今商务智能领域关注的热点。所谓情感分析(sentiment analysis)，就是确定说话人或作者对某个特定主题的态度。其中，态度可以是他们的判断或者评估，他们（演说、写作时）的情绪状态，或者有意（向受众）传递的情感信息。因此，情感分
文本分类综述1
文本分类综述 1. 引言 1.1 文本分类的定义 文本分类用电脑对文本集按照一定的分类体系或标准进行自动分类标记，与文本分类相近的概念是文本聚类。文本聚类是指，由机器将相似的文档归在一起。与文本分类的区别在于，文本分类是监督学习，类别是事先规定好的，文本聚类是无监督学习，由计算机把类似文本归在一起，事先并不划定好类别。 基于统计的文本分类算法进行文本分类就是由计算机自己来观察由人提供的训练文档集，自己总结出用于判别文档类别的规则和依据。 文本分类的基本步骤是：文本表示->特征降维->分类器训练>文本分类 1.2 文本分类的基本思路 文本分类基本方法可以归结为根据待分类数据的某些特征来进行匹配，选择最优的匹配结果，从而实现分类。 计算机并不认识文档，因此首先就要设法如何转化一篇文档为计算机所接受，转化方法要与文本有对应关系。对于计算机文本分类而言，这是最重要的步骤。 其次要制定出一定的评判标准，根据文档表示结果对文本进行分类 1.3 文本分类目前的研究热点 2. 文本表示 利用计算机来解决问题，首先就是要找到一种使计算机能够理解方法来表述问题，对文本分类问题来说，就是要建立一个文档表示模型。 一般来说，利用文档中的语义信息来表示文档比较困难，因此直接采用词频来表示文档，不过也出现了许多利用语义的文档表示方法。 2.1 向量空间模型（VSM） VSM模型是目前所用的较多的文本表示模型，这种模型把文本看作是一个特征项的集合。特征项可以是词，也可以是人为所构造的合理的特征。
2.2 词袋模型 词袋模型是VSM 模型在文本分类问题中的一个最简单的应用。对于一篇文档，最直观的方法就是使用词和短语作为表示文本的特征。对于英文文章来说，各个单词之间己经用空格分开，可以直接获取特征词，不过由于英语中存在词形的变化，如:名词的单复数、动词的时态变化、词的前缀和后缀变化等，所以会需要一个抽取词干的过程。对于中文来说，因为词和词之间没有停顿，所以需要借助于词典来统计特征词。对于文本分类来说，常用的方法为TF 即词频法。 具体操作为： 对文本，北京理工大学计算机专业创建于1958年，是中国最早设立的计算机专业的大学之一。对于该文档，词袋为{北京、理工、大学、计算机、专业、创建、1958、中国、最早、设立}相应的向量为{1,1,2,2,2,1,1,1,1}，这种统计特征词词频当作文档特征的方法也称为TF 法，为了防止这种方法统计出的特征使得文本长度影响到分类结果，要把它做归一化处理，最容易想到的归一化做法是除以文本长度。 另外还有另一个指标IDF 指标，衡量词的重要性，一个词在一篇文本中出现的频率越高，同时在总的训练文本中出现的频率越低，那么这个词的IDF 值越高。 操作： 总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到，公式表示为 ，idf 衡量了一个词的重要程度，因此tf ×idf 可以更好的来表示文本。 2.3 其他模型 3. 特征降维 文本所形成的不加处理的特征向量维数很高，以词袋模型为例，一方面，很多文章只有几千词，而一个分词词典所包含的词有数万个，如果不加处理，把所有词都表示出来，是极大的浪费，另一方面，若依照分词词典建立向量，事实上是无法使用的，因此需要对文档特征进行降维处理。把不用的特征去掉，保留区分度高的词语。特侦降维可以有两种思路，特征选择和特征提取，其中，特征选择是指在原有特征的基础上，选择一部分特征来表示文本，特征性质不变，例如||log()|:| i j D idf j t d =∈
文本分类概述备课讲稿
第一章绪论 1.1 研究背景 当今的时代，是一个信息技术飞速发展的时代。随着信息技术的飞速发展，科学知识也在短时间内发生了急剧的、爆炸性的增长。 据1998 年的资料显示[1]，70年代以来，全世界每年出版图书50万种，每一分钟就有一种新书出版。80 年代每年全世界发表的科学论文大约500 万篇，平均每天发表包含新知识的论文为1.3万-1.4 万篇；登记的发明创造专利每年超过30万件，平均每天有800-900件专利问世。近二十年来，每年形成的文献资料的页数，美国约1,750 亿页。另据联合国教科文组织所隶属的“世界科学技术情报系统”曾做的统计显示，科学知识每年的增长率，60 年代以来已从9.5％增长到10.6％，到80年代每年增长率达12.5％。据说，一位化学家每周阅读40 小时，光是浏览世界上一年内发表的有关化学方面的论文和著作就要读48 年。而2005 年的资料显示[2]，进入20 世纪后全世界图书品种平均20年增加一倍，册数增加两倍。期刊出版物，平均10 年增加一倍。科技文献年均增长率估计为13％，其中某些学科的文献量每10 年左右翻一番，尖端科技文献的增长则更快，约2-3 年翻一番。 同时，伴随着Internet 的迅猛发展，网站和网页数也在迅速增长，大约每年翻一番。据估计，目前全世界网页数已高达2000 亿，而Google 宣称其已索引250 亿网页。在我国，中国互联网络信息中心从2001 年起每年都对中文网页总数作统计调查，统计结果显示，中文网页总数已由2001年4月30日的159,460,056 个发展到2005年12月31日的24亿个，增长之快可见一斑[3,4]。 从这些统计数字可以看出，我们被淹没在一个多么浩大的信息海洋里！然而信息的极大丰富并没有提高人们对知识的吸收能力，面对如此浩瀚的信息，人们越来越感觉无法快速找到需要的知识。这就是所谓的“信息是丰富的，知识是贫乏的”。 如何在这样一个巨大的信息海洋中更加有效的发现和使用信息以及如何利用这个信息宝库为人们提供更高质量和智能化的信息服务，一直是当前信息科学和技术领域面临的一大挑战。尽管用户对图像、音频和视频等信息资源的需求也
文本分类中的特征提取和分类算法综述
文本分类中的特征提取和分类算法综述 摘要：文本分类是信息检索和过滤过程中的一项关键技术，其任务是对未知类别的文档进行自动处理，判别它们所属于的预定义类别集合中的类别。本文主要对文本分类中所涉及的特征选择和分类算法进行了论述，并通过实验的方法进行了深入的研究。 采用kNN和Naive Bayes分类算法对已有的经典征选择方法的性能作了测试，并将分类结果进行对比，使用查全率、查准率、F1值等多项评估指标对实验结果进行综合性评价分析.最终，揭示特征选择方法的选择对分类速度及分类精度的影响。 关键字：文本分类特征选择分类算法 A Review For Feature Selection And Classification Algorithm In Text Categorization Abstract:Text categorization is a key technology in the process of information retrieval and filtering,whose task is to process automatically the unknown categories of documents and distinguish the labels they belong to in the set of predefined categories. This paper mainly discuss the feature selection and classification algorithm in text categorization, and make deep research via experiment. kNN and Native Bayes classification algorithm have been applied to test the performance of classical feature detection methods, and the classification results based on classical feature detection methods have been made a comparison. The results have been made a comprehensive evaluation analysis by assessment indicators, such as precision, recall, F1. In the end, the influence feature selection methods have made on classification speed and accuracy have been revealed. Keywords:Text categorization Feature selection Classification algorithm
多个总体距离判别法(DOC)
多个总体距离判别法 及其应用 课程名： 年级： 专业： 姓名： 学号：
目录 一、摘要 (1) 二、引言 (1) 三、原理 (1) 3.1定义 (1) 3.2思想 (1) 3.3判别分析过程 (1) 四、具体应用 (3) 4.1判别分析在医学上的应用 (3) 4.2距离判别法在居民生活水平方面的应用 (9) 4.3判别分析软件的使用 (12) 五、参考文献 (14) 六、附录 (15)
一、 摘要 近年来随着信息化社会的进行，数据分析对我们来说日趋重要，为了对数据的分类进行判别，本文介绍了数据分类判别的一种方法：距离判别法。本文从多个总体距离判别法理论出发并结合例题详细介绍了多个总体距离判别法的在医学领域以及居民生活水平方面的应用，同时也简单介绍了spss 软件一般判别法的具体操作。 关键词： 距离判别法 判别分析 一般判别分析 二、 引言 随着科技的发展，判别分析在经济，医学等很多领域以及气候分类，农业区划，土地类型划分等有着重要的应用， 本文从多个总体距离判别分析理论出发，介绍了多个总体距离判别法在医学以及人民生活方面的应用，并介绍了spss 一般判别分析的应用。 三、 原理 3.1 定义 距离判别法：距离判别分析方法是判别样品所属类别的一应用性很强的多因素决方法，其中包括两个样本总体距离判别法，多个样本距离判别法。 多个总体距离判别法：多个总体距离判别法是距离判别法的一种，是两个总体距离判别法的推广，具有多个总体，将待测样本归为多个样本中的一类。 3.2 思想 计算待测样本与各总体之间的距离，将待测样本归为与其距离最进的一类。 3.3 判别分析过程 对于k 个总体k 21G G G ?， ，，假设其均值分别为：k 21u u u ，，，?，协方差阵
文本情感分析研究现状
文本情感分析研究现状 机器之心专栏 作者：李明磊 作为NLP 领域重要的研究方向之一，情感分析在实际业务场景中 存在巨大的应用价值。在此文中，华为云NLP 算法专家李明磊为 我们介绍了情感分析的概念以及华为云在情感分析方面的实践和 进展。 基本概念 为什么：随着移动互联网的普及，网民已经习惯于在网络上表达意见和建议，比如电商网站上对商品的评价、社交媒体中对品牌、产品、政策的评价等等。这些评价中都蕴含着巨大的商业价值。比如某品牌公司可以分析社交媒体上广大民众对该品牌的评价，如果负面评价忽然增多，就可以快速采取相应的行动。而这种正负面评价的分析就是情感分析的主要应用场景。 是什么：文本情感分析旨在分析出文本中针对某个对象的评价的正负面，比如「华为手机非常好」就是一个正面评价。情感分析主要有五个要素，（entity/实体，aspect/属性，opinion/观点，holder/观点持有者，time/时间），其中实体和属性合并称为评价对象(target)。情感分析的目标就是从非结构化的文本评论中抽取出这五个要素。
图1 情感分析五要素 举例如下图： 图2 情感分析五要素例子 上例中左侧为非结构化的评论文本，右侧为情感分析模型分析出的五个要素中的四个（不包括时间）。其中实体「华为手机」和属性「拍照」合并起来可以作为评价对象。评价对象又可细分为评价对象词抽取和评价对象类别识别。如实体可以是实体词和实体类别，实体词可以是「餐馆」、「饭店」、「路边摊」，而实体类别是「饭店」；属性可以是属性词和属性类别，如属性词可以是「水煮牛肉」、「三文鱼」等，都对应了属性类别「食物」。实体类别和属性类别相当于是对实体词和属性词的一层抽象和归类，是一对多的关系。词和类别分别对应了不同的
Web文本情感分类研究综述
情报学报 ＩＳＳＮ１０００－０１３５ 第２９卷第５期９３１－９３８，２０１０年１０月 ＪＯＵＲＮＡＬＯＦＴＨＥＣＨＩＮＡＳＯＣＩＥＴＹＦＯＲＳＣＩＥＮＴＩＦＩＣ ＡＮＤＴＥＣＨＮＩＣＡＬＩＮＦＯＲＭＡＴＩＯＮＩＳＳＮ１０００－０１３５Ｖｏｌ．２９ Ｎｏ．５，９３１－９３８Ｏｃｔｏｂｅｒ ２０１０ 收稿日期：２００９年６月２９日 作者简介：王洪伟，男，１９７３年生，博士，副教授桙博导，研究方向：本体建模和情感计算，Ｅ－ｍａｉｌ：ｈｗｗａｎｇ＠ｔｏｎｇｊｉ．ｅｄｕ．ｃｎ。刘勰，男，１９８５年生，硕士研究生，研究方向：数据挖掘与情感计算。尹裴，女，１９８６年生，硕士研究生，研究方向：商务智能。廖雅国，男，１９５４年生，博士，教授，研究方向：人工智能与电子商务。 １） 本文得到国家自然科学基金项目（７０５０１０２４，７０９７１０９９）；教育部人文社会科学资助项目（０５ＪＣ８７００１３）；上海市重点学科建设项目（Ｂ３１０）；香港研究资助局项目（ｐｏｌｙＵ５２３７桙０８Ｅ）资助。 ｄｏｉ：１０．３７７２桙ｊ．ｉｓｓｎ．１０００－０１３５．２０１０．０５．０２３ Ｗｅｂ文本情感分类研究综述 １） 王洪伟１ 刘 勰１ 尹 裴１ 廖雅国 ２ （１畅同济大学经济与管理学院，上海２０００９２；２畅香港理工大学电子计算学系，香港） 摘要 对用户发表在Ｗｅｂ上的评论进行分析， 能够识别出隐含在其中的情感信息，并发现用户情感的演变规律。为此，本文对Ｗｅｂ文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语义特性的识别和基于统计自然语言处理的识别方法。分析了情感分类中的语料库选择和研究难点。最后总结了情感分类的应用现状，并指出今后的研究方向。 关键词 Ｗｅｂ文本 情感分类 综述 主观性文本 ＬｉｔｅｒａｔｕｒｅＲｅｖｉｅｗｏｆＳｅｎｔｉｍｅｎｔＣｌａｓｓｉｆｉｃａｔｉｏｎｏｎＷｅｂＴｅｘｔ ＷａｎｇＨｏｎｇｗｅｉ１ ，ＬｉｕＸｉｅ１ ，ＹｉｎＰｅｉ１ ａｎｄＬｉｕＮ．Ｋ．Ｊａｍｅｓ ２ （１畅ＳｃｈｏｏｌｏｆＥｃｏｎｏｍｉｃｓａｎｄＭａｎａｇｅｍｅｎｔ，ＴｏｎｇｊｉＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００９２；２畅ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｉｎｇ，ＨｏｎｇＫｏｎｇＰｏｌｙｔｅｃｈｎｉｃＵｎｉｖｅｒｓｉｔｙ，ＨｏｎｇＫｏｎｇ） Ａｂｓｔｒａｃｔ Ａｎａｌｙｚｉｎｇｔｈｅｕｓｅｒｓ’ｒｅｖｉｅｗｓｏｎｔｈｅＷｅｂｃａｎｈｅｌｐｕｓｔｏｉｄｅｎｔｉｆｙｕｓｅｒｓ’ｉｍｐｌｉｃｉｔｓｅｎｔｉｍｅｎｔｓａｎｄｆｉｎｄｔｈｅｅｖｏｌｕｔｉｏｎ ｌａｗｓｏｆｔｈｅｉｒｅｍｏｔｉｏｎ．Ｔｏｔｈｉｓｅｎｄ，ｔｈｉｓｐａｐｅｒｉｓａｓｕｒｖｅｙａｂｏｕｔｔｈｅｓｅｎｔｉｍｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎｏｎｔｈｅＷｅｂｔｅｘｔ．Ｗｅｄｉｖｉｄｅｄｔｈｅｐｒｏｃｅｓｓｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎｉｎｔｏｔｈｒｅｅｃａｔｅｇｏｒｉｅｓ：ｓｕｂｊｅｃｔｉｖｅａｎｄｏｂｊｅｃｔｉｖｅｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｐｏｌａｒｉｔｙｉｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄｉｎｔｅｎｓｉｔｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄｒｅｓｐｅｃｔｉｖｅｌｙｓｕｍｍａｒｉｚｅｔｈｅｒｅｓｅｎｔｒｅｓｅａｒｃｈａｃｈｉｅｖｅｍｅｎｔｓｉｎｔｈｅｓｅｆｉｅｌｄｓ．Ｗｅａｌｓｏｓｏｒｔｅｄｔｈｅｍｅｔｈｏｄｓｏｆｐｏｌａｒｉｔｙｉｄｅｎｔｉｆｉｃａｔｉｏｎｉｎｔｏｔｗｏｔｙｐｅｓ：ｏｎｅｉｓｂａｓｅｄｏｎｔｈｅｅｍｏｔｉｏｎａｌｗｏｒｄｓｗｉｔｈｓｅｍａｎｔｉｃｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｗｈｉｌｅｔｈｅｏｔｈｅｒｓｔａｔｉｓｔｉｃｍｅｔｈｏｄｓｏｆ ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．Ｗｈａｔｉｓｍｏｒｅ，ｔｈｅｃｈｏｉｃｅｏｆｃｏｒｐｕｓａｎｄｐｏｔｅｎｔｉａｌｒｅｓｅａｒｃｈｐｒｏｂｌｅｍｓａｒｅｄｉｓｃｕｓｓｅｄ．Ａｔｌａｓｔ，ｔｈｉｓｐａｐｅｒ ｓｕｍｍａｒｉｚｅｄｔｈｅｓｔａｔｕｓｑｕｏｏｆａｐｐｌｉｃａｔｉｏｎａｎｄｐｏｉｎｔｅｄｏｕｔｔｈｅｄｉｒｅｃｔｉｏｎｏｆｆｕｔｕｒｅｒｅｓｅａｒｃｈ． Ｋｅｙｗｏｒｄｓ Ｗｅｂｔｅｘｔｓ，ｓｅｎｔｉｍｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｓｕｒｖｅｙ，ｓｕｂｊｅｃｔｉｖｅｔｅｘｔ 随着互联网的流行，Ｗｅｂ文本成为我们获取信 息、发表观点和交流情感的重要来源。特别是随着Ｗｅｂ２畅０技术的发展，网络社区、博客和论坛给网络用户提供了更宽广的平台来交流信息和表达意见。这些文章和言论往往包含有丰富的个人情感，比如 对某部大片的影评，对某款手机的用户体验等，其中 蕴含着巨大的商业价值。如何从这些Ｗｅｂ文本中进行情感挖掘，获取情感倾向已经成为当今商务智能领域关注的热点。所谓情感分析（ｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓ），就是确定说话人或作者对某个特定主题的 — １３９—
判别分析-四种方法
第六章 判别分析 §6.1 什么是判别分析 判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。 在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。总之，在实际问题中需要判别的问题几乎到处可见。 判别分析与聚类分析不同。判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。 正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。 判别分析内容很丰富，方法很多。判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍四种常用的判别方法即距离判别法、Fisher 判别法、Bayes 判别法和逐步判别法。 §6.2 距离判别法 基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。 距离判别法，对各类（或总体）的分布，并无特定的要求。 1 两个总体的距离判别法 设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。 今任取一个样品，实测指标值为),,(1'=p x x X ，问X 应判归为哪一类？ 首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则
文本分类方法研究
毕业论文 题目：文本分类方法研究 姓名：贾云璠 院系：理学院物理系 专业：物理学 年级： 2013级 学号： 201341021 指导教师：郑伟 二〇一七年六月
摘要 近些年来，随着信息技术的发展与应用，互联网上的数据错综复杂，面对如此纷繁复杂的数据，需要借助数据挖掘对数据进行处理来实现对数据的分类，以便查询和搜索，实现数据的最大利用价值。 文本分类在信息处理方面占有重要的作用，到目前为止，有很多种方法：KNN SVM 决策树，以及贝叶斯等算法可以帮助我们快速的对文本进行自动分类，本文主要研究KNN SVM两种方法，在比较这两种分类对中文文本分类的基础之上，分析了K 临近算法和支持向量机的优缺点，因SVM和KNN具有互补的可能性，提出了SVM和KNN组合[1]的算法。实验表明：SVM和KNN有很好的分类效果。 关键词：文本分类，SVM、KNN，线性组合
Abstract In recent years, with the development of information technology and application, the complexity of the data on the Internet in the face of so complicated data, need with the help of data mining, data processing to implement the data classification, in order to query and search, and realize the maximum utilization of the data value. Chinese text classification plays an important role in Chinese information processing, for example, Chinese information retrieval and search engine, KNN SVM decision tree, and the bayesian algorithm can be applied to Chinese text classification, based on the research analysis compares the two kinds of KNN and SVM classification method, and the experimental comparison of the two algorithms of Chinese text classification effect, on the basis of analyzing the K near the advantages and disadvantages of the algorithm and support vector machine (SVM), found that the SVM and KNN has the possibility of complementary, SVM and KNN algorithm of linear combination is presented. Key words: Text classification, SVM, KNN, linear combination
引文文本分类与实现方法研究综述
引文文本分类与实现方法研究综述 引文文本一般是指引文脚注所在的句子或与上下文句子的集合[1]，能提供施引文献与被引文献之间关系的重要信息，具有重要的研究价值和意义。目前围绕引文文本的研究主要有引文文本分类、引用动机调查、引文主题抽取3个方向[2-5]。相对而言，引文动机调查和主题抽取的理论和方法比较成熟，而关于引文文本分类的研究文献数量众多，分类标准和实现方法各有不同，没有统一的模式[6]。近几年来，国内关于引文文本的研究文献逐渐增多，如文献[6]对引文文本分析方法的主要步骤和相关研究进展进行了综述；文献[7]概述了引文文本类型识别的步骤和实践进展；文献[8]尝试从概念、研究范畴、步骤和功能系统地构建引用内容(文本)分析的理论。然而这些文献中较少对不同的引文文本分类标准的特点进行归纳，对不同的分类方法的优缺点也没有系统梳理和对比。因此，本文拟在前人研究的基础上对中英文相关文献进行研读、梳理，系统总结归纳现有引文文本的各种分类标准及特点，对比分析引文文本分类实现方法的优缺点，理清引文文本分类的主要应用领域，剖析当前存在的问题，并对未来的研究重点进行展望。 1 引文文本的分类标准
引文文本的分类标准，主要是指科学家对引文文本进行内容分类分析时采取的角度或维度。在对引文文本分类的相关研究中，1993年，M.X.Liu[2]将相关研究的分析目的归纳为3个方面：提高检索效率，研究引用功能，研究引用质量。2004年，H.D.White[9]从情报学和语言学的不同学科角度，探讨了不同学科对引文文本分类方法的不同研究角度。2013年，祝清松等[7]在对引文类型标注方法进行综述的基础上将分类标注定为引用功能和观点倾向两类。笔者通过对主要综述性文献的比较和其他相关文献的广泛研读，认为引文文本的分类方式主要可分为以下5种类型。 1.1 基于引用功能的分类 引用功能是指被引文献在施引文献中起到的作用和产生的意义，早期对引用功能的研究以描述性讨论为主，功能定义比较单一，主要观点认为引文是对前人研究工作价值的肯定，是对知识产权的维护[10-14]。其中，具有代表性的是M.J.Moravicsik 与P.Murugesan[15]从4个不同维度对引文文本进行分类，特别是第一个维度——将引文文本分为概念性引用、操作性引用和其他功能的引用，超过一半的引用(53％)为概念的引用，仅有7％的引用属于其他功能的引用。其对引用功能的划分比较粗略，没
国内外文本分类研究计量分析与综述
国内外文本分类研究计量分析与综述一 发表于《图书情报工作》2011年第55卷第6期:78-142，欢迎大家下载、参考和交流 胡泽文王效岳白如江 山东理工大学科技信息研究所淄博255049 [摘要]运用文献计量分析方法、计算机统计分析技术、社会网络分析软件对文本分类领域的历史文献进行计量分析及可视化，通过绘制文献数量分布图、核心关键词的共现网络，挖掘文本分类领域的发展趋势、目前研究概况、热点及未来研究趋势等信息，并对文本分类领域研究热点和未来研究趋势进行综述。 [关键词]文本分类计量分析社会网络分析可视化图谱 [分类号]G250TP391 Q uantitative A nalysis and Review of Text Classification Research at Home and Abroad Hu Zewen Wang Xiaoyue Bai Rujiang Institute of Scientific and Technical Information,Shandong University of Technology,Zibo255049,China [Abstract]This paper carries out the quantitative analysis and visualization to the historical literatures of text classification domain by using the bibliometric analysis method,the computer statistic analysis technology and the social network analysis software.By drawing the literature quantity distribution map and co-occurrence network of the core keywords,excavates the development trends,the current research situations,hotspots and the future research trends etc in text classification domain,and makes a review on the research hotspots and future research trends. [Keywords]text classification quantitative analysis social network analysis visualizing map 1引言 随着数字化文档信息总量的快速增长，大规模文本处理已经成为一个挑战。传统向量空间模型表征文本的方法逐渐呈现出一些问题，比如忽视词间语义关系，不能解决同义词、多义词、词间上下位关系等问题，为解决这些问题，国内外学者开始从概念或语义层次上对文本自动分类方法展开广泛的研究，出现一些新的文本分类方法，如基于词典或概念的文本分类、基于本体或语义的文本分类等。随着文本分类领域的快速发展，文本分类领域的总体发展趋势、研究概况、热点及未来发展趋势如何，将是我们关注的焦点。因此关于文本分类领域文献信息的计量分析与综述具有重要的理论、现实和指导意义。 2样本与方法 样本数据检索情况如表1所示，共检索到1851篇国内外相关文献。在方法运用上，利用文献数量分析方法对国内外文本分类领域的发展趋势进行对比分析；利用Excel2007、SQL语句的数据处理与统计分析功能、社会网络分析软件Ucinet和NetDraw[1]的数据分析及可视化功能等，对文本分类文献中的关键词进行词频统计与分析、共现频次统计与分析，绘制国内外文本分类领域研究概况和热点的可视化图谱。据此可以解读国内外文本分类领域的发展趋势、研究概况、热点等信息。 表1样本数据的检索情况 数据库检索入口检索词时间范围文献数量 一本文系国家社科基金项目“海量网络学术文献自动分类研究”（项目编号：10BTQ047）和教育部人文社会科学研究项目“基于本体集成的文本分类关键技术研究”（项目编号：09YJA870019）的研究成果之一。