数据分析的特征选择实例分析

数据分析的特征选择实例分析

1.数据挖掘与聚类分析概述

数据挖掘一般由以下几个步骤：

(l)分析问题:源数据数据库必须经过评估确认其是否符合数据挖掘标准。以决定预期结果，也就选择了这项工作的最优算法。

(2)提取、清洗和校验数据:提取的数据放在一个结构上与数据模型兼容的数据库中。以统一的格式清洗那些不一致、不兼容的数据。一旦提取和清理数据后，浏览所创建的模型，以确保所有的数据都已经存在并且完整。

(3)创建和调试模型:将算法应用于模型后产生一个结构。浏览所产生的结构中数据，确认它对于源数据中“事实”的准确代表性，这是很重要的一点。虽然可能无法对每一个细节做到这一点，但是通过查看生成的模型，就可能发现重要的特征。

(4)查询数据挖掘模型的数据:一旦建立模型，该数据就可用于决策支持了。

(5)维护数据挖掘模型:数据模型建立好后，初始数据的特征，如有效性，可能发生改变。一些信息的改变会对精度产生很大的影响，因为它的变化影响作为基础的原始模型的性质。因而，维护数据挖掘模型是非常重要的环节。

聚类分析是数据挖掘采用的核心技术，成为该研究领域中一个非常活跃的研究课题。聚类分析基于”物以类聚”的朴素思想，根据事物的特征，对其进行聚类或分类。作为数据挖掘的一个重要研究方向，聚类分析越来越得到人们的关注。聚类的输入是一组没有类别标注的数据，事先可以知道这些数据聚成几簇爪也可以不知道聚成几簇。通过分析这些数据，根据一定的聚类准则，合理划分记录集合，从而使相似的记录被划分到同一个簇中，不相似的数据划分到不同的簇中。

2.特征选择与聚类分析算法

Relief为一系列算法，它包括最早提出的Relief以及后来拓展的Relief和ReliefF，其中ReliefF算法是针对目标属性为连续值的回归问题提出的，下面仅介绍一下针对分类问题的Relief和ReliefF算法。

2.1 Relief算法

Relief算法最早由Kira提出，最初局限于两类数据的分类问题。Relief算法是一种特征权重算法(Feature weighting algorithms)，根据各个特征和类别的相关性赋予特征不同的权重，权重小于某个阈值的特征将被移除。Relief算法中特征和类别的相关性是基于特征对近距离样本的区分能力。算法从训练集D中随机选择一个样本R，然后从和R同类的样本中寻找最近邻样本H，称为Near Hit，从和R不同类的样本中寻找最近邻样本M，称为NearMiss，然后根据以下规则更新每个特征的权重：如果R和Near Hit在某个特征上的距离小于R和Near Miss 上的距离，则说明该特征对区分同类和不同类的最近邻是有益的，则增加该特征的权重；反之，如果R和Near Hit 在某个特征的距离大于R和Near Miss上的距离，说明该特征对区分同类和不同类的最近邻起负面作用，则降低该特征的权重。以上过程重复m次，最后得到各特征的平均权重。特征的权重越大，表示该特征的分类能力越强，反之，表示该特征分类能力越弱。Relief算法的运行时间随着样本的抽样次数m和原始特征个数N的增加线性增加，因而运行效率非常高。具体算法如下所示：

2.2 ReliefF算法

由于Relief算法比较简单，运行效率高，并且结果也比较令人满意，因此得到广泛应用，但是其局限性在于只能处理两类别数据，因此1994年Kononeill对其进行了扩展，得到了ReliefF作算法，可以处理多类别问题。该算法用于处理目标属性为连续值的回归问题。ReliefF算法在处理多类问题时，每次从训练样本集中随机取出一个样本R，然后从和R同类的样本集中找出R的k个近邻样本(near Hits)，从每个R的不同类的样本集中均找出k个近邻样本(near Misses)，然后更新每个特征的权重，如下式所示：

Relief系列算法运行效率高，对数据类型没有限制，属于一种特征权重算法，算法会赋予所有和类别相关性高的特征较高的权重，所以算法的局限性在于不能有效的去除冗余特征。

Matlab实现源码：

1.ReliefF特征提取算法Matlab主程序

1 %主函数

2 clear;clc;

3 load('matlab.mat')

4 D=data(:,2:size(data,2));%

5 m =80 ;%抽样次数

6 k = 8;

7 N=20;%运行次数

8 for i =1:N

9 W(i,:) = ReliefF (D,m,k) ;

10 end

11 for i = 1:N %将每次计算的权重进行绘图,绘图N次，看整体效果

12 plot(1:size(W,2),W(i,:));

13 hold on ;

14 end

15 for i = 1:size(W,2) %计算N次中，每个属性的平均值

16 result(1,i) = sum(W(:,i))/size(W,1) ;

17 end

18 xlabel('属性编号');

19 ylabel('特征权重');

20 title('ReliefF算法计算乳腺癌数据的特征权重');

21 axis([1 10 0 0.3])

22 %------- 绘制每一种的属性变化趋势

23 xlabel('计算次数');

24 ylabel('特征权重');

25 name =char('块厚度','细胞大小均匀性','细胞形态均匀性','边缘粘附力','单上皮细胞尺寸','裸核','Bland染色质','正常核仁','核分裂');

26 name=cellstr(name);

27

28 for i = 1:size(W,2)

29 figure

30 plot(1:size(W,1),W(:,i));

31 xlabel('计算次数') ;

32 ylabel('特征权重') ;

33 title([char(name(i)) '(属性' num2Str(i) ')的特征权重变化']);

34 end

2.ReliefF函数程序

1 %Relief函数实现

2 %D为输入的训练集合,输入集合去掉身份信息项目;k为最近邻样本个数

3 function W = ReliefF (D,m,k)

4 Rows = size(D,1) ;%样本个数

5 Cols = size(D,2) ;%特征熟练,不包括分类列

6 type2 = sum((D(:,Cols)==2))/Rows ;

7 type4 = sum((D(:,Cols)==4))/Rows ;

8 %先将数据集分为2类，可以加快计算速度

9 D1 = zeros(0,Cols) ;%第一类

10 D2 = zeros(0,Cols) ;%第二类

11 for i = 1:Rows

12 if D(i,Cols)==2

13 D1(size(D1,1)+1,:) = D(i,:) ;

14 elseif D(i,Cols)==4

15 D2(size(D2,1)+1,:) = D(i,:) ;

16 end

17 end

18 W =zeros(1,Cols-1) ;%初始化特征权重，置0

19 for i = 1 : m %进行m次循环选择操作

20 %从D中随机选择一个样本R

21 [R,Dh,Dm] = GetRandSamples(D,D1,D2,k) ;

22 %更新特征权重值

23 for j = 1:length(W) %每个特征累计一次，循环

24 W(1,j)=W(1,j)-sum(Dh(:,j))/(k*m)+sum(Dm(:,j))/(k*m) ;%按照公式更新权重

25 end

26 end

ReliefF辅助函数,寻找最近的样本数K

1 %获取随机R 以及找出邻近样本

2 %D：训练集;D1：类别1数据集;D2：类别2数据集;

3 %Dh：与R同类相邻的样本距离;Dm：与R不同类的相邻样本距离

4 function [R,Dh,Dm] = GetRandSamples(D,D1,D2,k)

5 %先产生一个随机数，确定选定的样本R

6 r = ceil(1 + (size(D,1)-1)*rand) ;

7 R=D(r,:); %将第r行选中，赋值给R

8 d1 = zeros(1,0) ;%先置0,d1是与R的距离，是不是同类在下面判断

9 d2 = zeros(1,0) ;%先置0,d2是与R的距离

10 %D1,D2是先传入的参数，在ReliefF函数中已经分类好了

11 for i =1:size(D1,1) %计算R与D1的距离

12 d1(1,i) = Distance(R,D1(i,:)) ;

13 end

14 for j = 1:size(D2,1)%计算R与D2的距离

15 d2(1,j) = Distance(R,D2(j,:)) ;

16 end

17 [v1,L1] = sort(d1) ;%d1排序，

18 [v2,L2] = sort(d2) ;%d2排序

19 if R(1,size(R,2))==2 %如果R样本=2，是良性

20 H = D1(L1(1,2:k+1),:) ; %L1中是与R最近的距离的编号，赋值给H。

21 M = D2(L2(1,1:k),:) ; %v2(1,1:k) ;

22 else

23 H = D1(L1(1,1:k),:);

24 M = D2(L2(1,2:k+1),:) ;

25 end

26 %循环计算每2个样本特征之间的特征距离：(特征1-特征2)/(max-min)

27 for i = 1:size(H,1)

28 for j =1 :size(H,2)

29 Dh(i,j) = abs(H(i,j)-R(1,j))/9 ; % 本文数据范围都是1-10，所以max-min=9为固定

30 Dm(i,j) = abs(M(i,j)-R(1,j))/9 ;

31 end

32 end

2.3 K-means聚类算法

由于聚类算法是给予数据自然上的相似划法，要求得到的聚类是每个聚类内部数据尽可能的相似而聚类之间要尽可能的大差异。所以定义一种尺度来衡量相似度就显得非常重要了。一般来说，有两种定义相似度的方法。第一种方法是定义数据之间的距离，描述的是数据的差异。第二种方法是直接定义数据之间的相似度。下面是几种常见的定义距离的方法：

1.Euclidean距离，这是一种传统的距离概念，适合于2、3维空间。

2.Minkowski距离，是Euclidean距离的扩展，可以理解为N维空间的距离。

聚类算法有很多种，在需要时可以根据所涉及的数据类型、聚类的目的以及具的应用要求来选择合适的聚类算法。下面介绍K-means聚类算法:

K-means算法是一种常用的基于划分的聚类算法。K-means算法是以k为参数，把n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低。K-means的处理过程为：首先随机选择k个对象作为初始的k个簇的质心；然后将余对象根据其与各个簇的质心的距离分配到最近的簇；最后重新计算各个簇的质心。不断重复此过程，直到目标函数最小为止。簇的质心由公式下列式子求得：

在具体实现时，为了防止步骤2中的条件不成立而出现无限循环，往往定义一个最大迭代次数。K-means尝试找出使平方误差函数值最小的k个划分。当数据分布较均匀，且簇与簇之间区别明显时，它的效果较好。面对大规模数据集，该算法是相对可扩展的，并且具有较高的效率。其中，n为数据集中对象的数目，k为期望得到的簇的数目，t为迭代的次数。通常情况下，算法会终止于局部最优解。但用，例如涉及有非数值属性的数据。其次，这种算法要求事先给出要生成的簇的数目k，显然这对用户提出了过高的要求，并且由于算法的初始聚类中心是随机选择的，而不同的初始中心对聚类结果有很大的影响。另外，K-means算法不适用于发现非凸面形状的簇，或者大小差别很大的簇，而且它对于噪音和孤立点数据是敏感的。

K-means算法主程序matlab实现：

1 clc;clear;

2 load('matlab.mat')%加载测试数据

3 N0 =1 ; %从多少列开始的数据进行预测分类

4 N1 = size(data,1);%所有数据的行数

5 data=data(N0:N1,:);%只选取需要测试的数据

6 data1=data(:,[2,3,4,5,6,7,8,9]);% [2,4,7,9] 2:size(data,2)-1

7 opts = statset('Display','final');%控制选项

8 [idx,ctrs,result,D] = kmeans(data1,2,... %data1为要分类的数据,2为分类的类别数,本文只有2类

9 'Distance','city',... %选择的距离的计算方式

10 'Options',opts); % 控制选项,参考matlab帮助

11 t=[data(:,size(data,2)),idx(:,1)];%把测试数据最后一列，也就是分类属性和分类结果取出来：列 + 列

12 d2 = data(idx==1,11);%提取原始数据中属于第1类的数据的最后一列

13 a = sum(d2==2) ;

14 b=a/length(d2) ;

15 totalSum = 0 ;%总的正确率

16 rate1 = 0 ;%第一类的判断正确率.分类类别中数据的正确性

17 rate2 = 0 ;%第二类的判断正确率.

18 if(b>0.5) %说明第1类属于良性,则a的值就是良性中判断正确的个数

19 totalSum = totalSum + a ;

20 rate1 = a/length(d2) ;

21 %然后加上恶性中判断正确的比例

22 totalSum = totalSum + sum(data(idx==2,11)==4) ;

23 rate2 = sum(data(idx==2,11)==4)/length(data(idx==2,11)) ;

24 else %说明第1类属于恶性

25 totalSum = totalSum + sum(data(idx==1,11)==4) ;

26 totalSum = totalSum + sum(data(idx==2,11)==2) ;

27 rate1 = sum(data(idx==2,11)==2)/length(data(idx==2,11)) ;

28 rate2 = sum(data(idx==1,11)==4)/length(data(idx==1,11)) ;

29 end

30 x1 =1;%第x1个属性

31 x2 =1 ;%第x2个属性

32 plot(1:sum(idx==1),data1(idx==1,x1),'r.','MarkerSize',12);

33 hold on ;

34 plot(sum(idx==1)+1:sum(idx==1)+sum(idx==2),data1(idx==2,x1),'b.','MarkerSize',12);

35 xlabel('记录数');

36 ylabel('属性值');

37 title('属性9的值分布');

38 legend('第一类','第二类');

39 axis([0 640 0 10])

40 rate = totalSum/size(t,1) %总的判断准确率

3.一个医学数据分析实例

3.1 数据说明

本文实验数据来自著名的UCI机器学习数据库，该数据库有大量的人工智能数据挖掘数据，网址

为:https://www.wendangku.net/doc/1516757504.html,/ml/。该数据库是不断更新的，也接受数据的捐赠。数据库种类涉及生活、工程、科学各个领域，记录数也是从少到多，最多达几十万条。截止2010年底，数据库共有199个数据集，每个数据集合中有不同类型、时间的相关数据。可以根据实际情况进行选用。

本文选用的数据来类型为：Breast Cancer Wisconsin (Original) Data Set，中文名称为：威斯康星州乳腺癌数据集。这些数据来源美国威斯康星大学医院的临床病例报告，每条数据具有11个属性。下载下来的数据文件格式为“breast-cancer-wisconsin.data”,通过使用Excel和Matlab工具将其转换为Matlab默认的数据集保存，方便程序进行调用。

下表是该数据集的11个属性名称及说明：

对上述数据进行转换后，以及数据说明可知，可以用于特征提取的有9个指标，样品编号和分类只是用于确定分类。本文的数据处理思路是先采用ReliefF特征提取算法计算各个属性的权重，剔除相关性最小的属性，然后采用

K-means聚类算法对剩下的属性进行聚类分析。

3.2 数据预处理与程序

本文在转换数据后，首先进行了预处理，由于本文的数据范围都是1-10，因此不需要归一化，但是数据样本中存在一些不完整，会影响实际的程序运行，经过程序处理，将这一部分数据删除。这些不完整的数据都是由于实际中一些原因没有登记或者遗失的，以“?”的形式代表。

本文采用Matlab软件进行编程计算。根据第三章提到的ReliefF算法过程，先编写ReliefF函数程序，用来计算特征属性，再编写主程序，在主程序中调用该函数进行计算，并对结果进行分析，绘图，得到有用的结论。程序统一在最后贴出。

3.3 乳腺癌数据集特征提取

本文采用3.1节中的ReliefF算法来计算各个特征的权重，权重小于某个阈值的特征将被移除，针对本文的实际情况，将对权重最小的2-3种剔除。由于算法在运行过程中，会选择随机样本R，随机数的不同将导致结果权重有一定的出入，因此本文采取平均的方法，将主程序运行20次，然后将结果汇总求出每种权重的平均值。如下所示，列为属性编号，行为每一次的计算结果：

下面是特征提取算法计算的特征权重趋势图，计算20次的结果趋势相同：

上述结果是否运行主程序所得的计算结果，看起来不直观，下面将其按照顺序绘图，可以直观显示各个属性权重的大小分布，如下图所示：

按照从小到大顺序排列，可知，各个属性的权重关系如下：

属性9<属性5<属性7<属性4<属性2<属性3<属性8<属性1<属性6

我们选定权重阀值为0.02，则属性9、属性4和属性5剔除。

从上面的特征权重可以看出，属性6裸核大小是最主要的影响因素，说明乳腺癌患者的症状最先表现了裸核大小上，将直接导致裸核大小的变化，其次是属性1和属性8等，后几个属性权重大小接近，但是从多次计算规律来看，还是能够说明其中不同的重要程度，下面是着重对几个重要的属性进行分析。下面是20次测试中，裸核大小（属性6）的权重变化：

从上图中可以看到该属性权重大部分在0.22-0.26左右，是权重最大的一个属性。下面看看属性1的权重分布：

块厚度属性的特征权重在0.19-25左右变动，也是权重极高的一个，说明该特征属性在乳腺癌患者检测指标中是相当重要的一个判断依据。进一步分析显示，在单独对属性6，和属性1进行聚类分析，其成功率就可以达到91.8%。本文将在下节中的Kmeans算法中详细介绍。

3.4 乳腺癌数据集聚类分析

上一节中通过ReliefF算法对数据集的分析，可以得到属性权重的重要程度，这些可以对临床诊断有一些参考价值，可以用来对实际案例进行分析，可以尽量的避免错误诊断，并提高诊断的速度和正确率。下面将通过K-menas聚类分析算法对数据进行分析。本小节将分为几个步骤来进行对比，确定聚类分析算法的结果以及与ReliefF算法结合的结果等。

3.5.K-means算法单独分析数据集

下面将采用Kmeans算法单独对数据集进行分析。Matlab中已经包括了一些常规数据挖掘的算法，例如本文所用到的K-means算法。该函数名为kmeans，可以对数据集进行聚类分析。首先本文对乳腺癌数据集的所有属性列(除去身份信息和分类列)直接进行分类，由于数据集结果只有2种类型，所以首先进行分2类的测试，结果如下：总体将683条数据分成了2类，总体的正确率为94.44%，其中第一类的正确率为93.56%，第二类的正确率为96.31%。下面是分类后对按照不同属性的绘制的属性值分布图：

限于篇幅，只选择了上述3个特征属性进行图像绘制，从结果来看，可以很直观的观察到K-means算法分类后的情况，第一类与第一类的分类界限比较清晰。但是不容易观察到正确和错误的情况。下表是分类结果中各个属性的聚类中心：

从K-means算法的效果来看，能够很准确的将数据集进行分类。一方面是由于该数据集，可能是该案例特征比较明显，另一方面是由于K-menas算法对这种2类的作用较大。

3.6.K-means结合ReliefF分析数据集

单从分类正确率和结果方面来看，K-mens算法已经完全可以对乳腺癌数据集做出非常准确的判断。但是考虑ReliefF算法对属性权重的影响，本小节将结合ReliefF算法和K-means算法来对该数据集进行分析，一方面得到处理该问题一些简单的结论，另外一方面可以得到一些对医学处理数据的方法研究方法。

首先，本小节首先根据3.2节中的一些结论，根据不同属性的权重来对k-menas分类数据进行预处理，以得到更精确的结论和对该数据更深度的特征规律。

从3.2节中，得知属性9<属性5<属性7<属性4<属性2<属性3<属性8<属性1<属性6，根据ReliefF算法原理本文可以认为，对于这种属性6和属性1重要的特征属性，应该对分类起到更加到的作用。所以下面将单独对各个属性的数据进行分类测试，详细结果如下表：

总的分类正确率中，属性9最低，属性6最高，这与ReliefF算法测试的结果大致相似，但是由于ReliefFar算法中间部分权重接近，所以也区分不明显。说明特征属性权重的判断对分类是有影响的。上述单独分类中，只将需要分类的列数据取出来，输入到K-means算法中即可。由于输入数据的变化，K-means分类时结果肯定是有差距的，所以单独从一个属性判断其类型是不可靠的。下面选择了单个分类时最高和最低的情况，绘制其分类属性值分布图，如下图所示：

下面将对特征权重按照从大到小的顺序，选择相应的数据，进行聚类分析，结论如下：

1.直接选择全部9种属性，分类成功率为：94.44%；

2.选择属性6，属性1，分类成功率为：91.36%；

3.选择属性6，1，8，3，分类成功率为：93.85%；

4.选择属性6，1，8，3，2，4，分类成功率为：94.48%；

5.选择属性6，1，8，3，2，4，5，7，分类成功率为：95.02%；

从上面的测试可以看出，选择特征权重最大的6个属性，其正确率就达到选择所有属性的情况，因此我们可以认为特征权重最小的几个属性在乳腺癌诊断过程的作用实际可能比较小，实际有可能造成反作用，也就是这几个属性值与乳腺癌没有必然的联系。这一点可以给诊断参考，或者引起注意，进行进一步的研究，确认。

3.7 K-means分成3类的情况

虽然从上述2小节的实验中可以得到该数据集的大部分结果和结论。但是为了将相同类型的数据更加准确的分出，下面将尝试分为3类的情况。一方面，可以分析在乳腺癌良性和恶性情况下的显著特征属性；另一方面也可以根据此结果找到更加合理的解决方法。

还是采用Matlab中的kmeans函数，将分类数改为3，由于分为3类后数据类型增多，判断较复杂，所以手动对数据进行分析，将所有特征属性加入进去。运行结果如下，测试数据中总共683条，其中良性共444条，恶性共239条：

1.分为第一类的记录中，良性占96.88%；

2.分为第二类的记录中，恶性占 100% ；

3.分为第三类的记录中，恶性占 92%；

根据上述结果可以认为第一类为良性的分类，第二类为恶性分类，第三类为混合类。对于混合类，说明里面的数据较其他数据更加接近于偏离病例的典型数据，所以进一步分析在第一类中和第二类中的分类正确率：

1.第一类为良性，共448条数据，分类正确率为96.88%；

2.第二类为恶性，共99条数据，分类正确率为100% ；

3.第三类为混合类，共136条数据

因此单独从分类后的正确率来看，效果有提高，说明对典型的病例数据分类更准确，但是对于第三类数据，而无法区分，因此这种情况下，其意义不在于分类的整体正确率，而在于在一些特殊情况下，可以根据一些重要的特征属性值就可以为患者确诊，从而提高效率和准确率，减少误诊断的几率。

上面是将所有属性进行K-means变换，下面将结合ReliefF算法，先去掉一部分特征权重较小的特征属性后，再进行K-means处理。根据4.2节中的结论，下面提取权重最大的6个属性进行测试，分别是：属性6，属性1，属性8，属性3，属性2，属性4。

1.第一类为良性，共281条数据，分类正确率为97.51% ；

2.第二类为恶性，共211条数据，分类正确率为97.16% ；

3.第三类为混合类，共191条数据

因此，对比可以看到，虽然良性的正确率增加了，但是检测出的数据减少了。第三类混合的数量也增多了，说明提出了特种属性较小的属性，可以更加容易区分极端的病例数据，对极端数据的检测更加准确。

(完整版)LTE路测问题分析归纳汇总

LTE路测问题分析归纳汇总 一、Probe测试需要重点关注参数 无线参数介绍 ?PCC:表示主载波，SCC：表示辅载波，目前LTE(R9版本)都采用单载波的，到4G（R10版本）有多载波联合技术就表示辅载波。 ?PCI:物理小区标示，范围（0-503）共计504个。 ?RSRP：参考信号接收电平，基站的发射功率，范围：-55 < RSRP <-75dbm。?RSSQ：参考信号接收质量，是RSRP和RSSI的比值，当然因为两者测量所基于的带宽可能不同，会用一个系数来调RSRQ=N*RSRP/RSSI。 ?RSSI：接收信号强度指示，表示UE所接收到所有信号的叠加。 ?SINR：信噪比，是接收到的有用信号的强度与接收到的干扰信号（噪声和干扰）的强度的比值，Average SINR>20 ?Transmission mode:传送模式，一共有8种，TM1表示单天线传送数据，TM2表示传输分集（2个天线传送相同的数据，在无线环境差（RSRP和SINR差）情况下，适合在边缘地带），TM3表示开环空间复用（2个天线传送不同的数据，速率可以提升1倍），TM4表示闭环环空间复用，TM5表示多用户 mimo,TM6表示rank=1的闭环预编码，TM7表示使用单天线口（单流BF），TM8表示双流BF。Transmission mode=TM3。

?Rank Indicator：表示层的意思，rank1表示单层，速率低，rank2表示2层，速率高。Rank Indicator = Rank 2 ?PDSCH RB number：表示该用户使用的RB数。这个值看出，该扇区下大概有几个用户。（20M带宽对应100个RB，15M带宽对应75个RB,10M带宽对应50个RB,5M带宽对应25个RB，3M带宽对应15个RB，1.4M带宽对应6个RB）多用户可以造成速率低原因之一。 ?PDCCH DL Grant Count：下行时域（子帧）调度数，PDCCH DL Grant Count >950。例如：上下行时域调度数的算法：一个无线帧是10ms，1s就有100个无线帧， 按5ms的转换周期，常规子帧上下行配比1:3，特殊子帧3:9:2来计算，每秒下行满调度数=3*100*2=600。每秒上行满调度数=1*100*2=200. 按5ms转换周期，常规子帧上下行配比1:3，特殊子帧10:2:2来计算，每秒下行满调度数=（3+1）*100*2=800。每秒上行满调度数=1*100*2=200；特殊子帧10:2:2时DwPTS也可以用来做下载。 ?PCC MAC ：下行MAC层速率：客户要求：PCC MAC>85Mbps。 ?Serving and Neighbor cells 这里最好是只显示serving cell，如果显示了neighbour cell，那么neighbour cell 的RSRP与serving cell的RSRP 相差15 dbm。 ?SRS:探测参考信号 天线测量介绍 ?TX antenna 2表示基站有2个发射天线。

大数据分析的六大工具介绍

大数据分析的六大工具介绍 2016年12月 一、概述 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分学在大数据处理分析过程中六大最好用的工具。 我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设il?的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式, 相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 二.第一种工具:Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是 以一种可黑、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地 在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下儿个优点: ,高可黑性。Hadoop按位存储和处理数据的能力值得人们信赖。，高扩展性。Hadoop是 在可用的计?算机集簇间分配数据并完成讣算任务 的，这些集簇可以方便地扩展到数以千计的节点中。 ，高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动 态平衡，因此处理速度非常快。 ，高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败 的任务重新分配。 ,Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非 常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。 第二种工具:HPCC HPCC, High Performance Computing and Communications（高性能计?算与通信）的缩写° 1993年，山美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项 U：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项U ,其U的是通过加强研究与开发解决一批重要的科学与技术挑战 问题。HPCC是美国实施信息高速公路而上实施的计?划，该计划的实施将耗资百亿 美元，其主要U标要达到:开发可扩展的计算系统及相关软件，以支持太位级网络 传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

数据分析工具选择

数据存储 我们必须能够存储数据，对个人来讲至少应该掌握一种数据库技术，当然也不一定要熟练操作，但至少要能够理解数据的存储和数据的基本结构和数据类型，比如数据的安全性、唯一性、冗余性，表的关系，粒度，容量等，最好能够理解SQL查询语言的基本结构和读取等等！ · Access2003、Access07等：这是最基本的个人数据库，经常用于个人或部分基本的数据存储； · MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力； · SQL Server 2005或更高版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了； · DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台；· BI级，实际上这个不是数据库，而是建立在前面数据库基础上的，这个主要是数据库的企业应用级了，一般这个时候的数据库都叫数据仓库了，Data Warehouse，建立在DW级上的数据存储基本上都是商业智能平台，或许整合了各种数据分析，报表、分析和展现！ 数据处理 数据挖掘与数据分析 这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具； · Excel软件，首先版本越高越好用这是肯定的；当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作！但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件； · SPSS软件：当前版本是18，名字也改成了PASW Statistics；我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。 · Clementine软件：当前版本13.0，数据挖掘工具，我从6.0开始用，到了13版，已经越来越多的提高了更多有好的建模工具，现在改名叫PASW Modeler 13建模器了。而且与SPSS统计功能有了更多的整合，数据处理也更加灵活和好用。 · SAS软件：SAS相对SPSS其实功能更强大，SAS是平台化的，EM挖掘模块平台整合，相对来讲，SAS比较难学些，但如果掌握了SAS会更有价值，比如离散选择模型，抽样问题，正交实验设计等还是SAS比较好用，另外，SAS的学习材料比较多，也公开，会有收获的！

路测流程与路测规范

路测流程与路测规范 路测是对GSM无线网络的下行信号，也就是GSM的空中接口（Um）进行测试，主要用于获得以下数据：服务小区信号强度、话音质量（误码率）、各相邻小区的信号强度与质量、切换及接入的信令过程（L3层信息）、小区识别码（BSIC）、区域识别码（LAC）、手机所处的地理位置信、呼叫管理（CM）、移动管理（MM）等。其作用主要在于网络质量的评估（例如覆盖率、接通率和话音质量等等）和无线网络的优化（例如掉话分析、干扰分析等等）。 第一节路测数据采集和测试工具的要求 一、数据采集的要求 在移动通信中，信号的传送以直射、反射和散射的方式传播，在城市中，反射信号占大部分，这些信号呈现多径传播的情况。在传播过程中，将出现信号衰落的现象，通常情况下，我们将更加关心慢衰落的信号，而忽略快衰落的信号。在路测中，我们需要关注以下的数据特性： 1.采样长度 在路测工具的性能固定的情况下，采用长度就是测试的时间。基本上，我们在进行数据分析的时候，都是取采用点数量和时间的平均值。如果采用长度太短，将不能消除快衰落的影响；如果采用长度太长，将丢失地理特征的信息。 采用长度通常定为40个波长。 2.采样数量 根据William C.Y.Lee的推导，在40个波长的间隔内，采用36～50个采样点比较合适。 3.采样速率 在确定了采用长度和采样数量的前提下，我们必须考虑测试的速度（测试车辆速度）、仪器的采样速率和同时测量的信道数。 通常我们只需要测试一个信道，目前市面上销售的测试硬件（例如SAGEM

测试手机、TEMS测试手机等）都可以满足采样速率的要求。 二、测试工具的要求 通常我们用来路测工具有测试手机、频谱分析仪、数字接收机等，配以相应的软件，达到各种的测试要求。 1)测试手机 目前常用的GSM专用测试手机包括SAGEM和TEMS。 SAGEM手机有GSM的OT75、OT76和OT160；GPRS的OT96和OT190。SAGEM OT96以前的版本已经停产了（2003年）。SAGEM进入工程模式的指令是：“上箭头” “#”。使用SAGEM手机的时候需要注意手机速率的设置要与测试软件相对应，通常对于话音的速率是9600，数据业务（GPRS）的速率是57600。 TEMS手机是ERICSSON的专用测试手机，以前TEMS888的测试手机已经停产，现在使用的是TEMS R320（GSM）和TEMS R520（GPRS）。TEMS的价格比SAGEM要贵5～6倍，性能也要比SAGEM好。 基本上所有的测试手机在非通话状态下都能够进行扫频，但是只能对GSM 系统的124个频点进行扫描，并将每个频点的信号强度和BSIC解析出来。 由于目前所有的CDMA设备都使用高通的芯片，所以几乎所有普通的CDMA手机都能够作为专用测试手机用，但是其信令上的解码程度不同。但是国内几乎没有没有手机连接软件的数据线卖。 2)频谱分析仪 频谱分析仪可以分析整个频段，包括GSM和CDMA，它根据信号的波形、功率等数据，分析出干扰源的类型。如果配合八目天线一起使用，还可以追踪干扰源。 但是频谱仪使用复杂，通常我们只用来进行验证测试的时候或者追踪带外干扰的时候才使用，普通的频率问题，使用专用的测试手机和专用软件，就可以解决大部分的问题。 3)数字接收机

数据分析必备｜你不得不知道的11款数据分析工具

数据分析必备｜你不得不知道的11款数据分析工具 毋庸置疑，大数据市场是一座待挖掘的金矿。随着数据使用量的增长，将有更多的人通过数据来寻求专业问题的答案。可视化数据分析工具的出现让人们可以通过将数据可视化来探讨问题、揭示洞见，用数据分享故事。甚至于不懂挖掘算法的人员，也能够为用户进行画像。 BI（BusinessIntelligence）即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具？NO，自助式分析工具已经让数据产品链条变得大众化，。为了更好地帮助读者选择分析工具，本文将为介绍数说立方、数据观、魔镜等11款BI-商业智能产品，排名不分先后！ 功能列表

详细介绍 数说立方 数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点；另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式 分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。 优点： 即便是个人免费版，体验和功能仍然非常好； 与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据； 功能完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台； 可视化视图展现、友好的客户感知页面； 支持SAAS，私有化部署，有权限管理； 缺点： 产品新上市，操作指导页不太完善； 体验过程中有一些小bug；

数据分析软件和工具

以下是我在近三年做各类计量和统计分析过程中感受最深的东西，或能对大家有所帮助。当然，它不是ABC的教程，也不是细致的数据分析方法介绍，它只是“总结”和“体会”。由于我所学所做均甚杂，我也不是学统计、数学出身的，故本文没有主线，只有碎片，且文中内容仅为个人观点，许多论断没有数学证明，望统计、计量大牛轻拍。 于我个人而言，所用的数据分析软件包括EXCEL、SPSS、STATA、EVIEWS。在分析前期可以使用EXCEL进行数据清洗、数据结构调整、复杂的新变量计算（包括逻辑计算）；在后期呈现美观的图表时，它的制图制表功能更是无可取代的利器；但需要说明的是，EXCEL毕竟只是办公软件，它的作用大多局限在对数据本身进行的操作，而非复杂的统计和计量分析，而且，当样本量达到“万”以上级别时，EXCEL的运行速度有时会让人抓狂。 SPSS是擅长于处理截面数据的傻瓜统计软件。首先，它是专业的统计软件，对“万”甚至“十万”样本量级别的数据集都能应付自如；其次，它是统计软件而非专业的计量软件，因此它的强项在于数据清洗、描述统计、假设检验（T、F、卡方、方差齐性、正态性、信效度等检验）、多元统计分析（因子、聚类、判别、偏相关等）和一些常用的计量分析（初、中级计量教科书里提到的计量分析基本都能实现），对于复杂的、前沿的计量分析无能为力；第三，SPSS主要用于分析截面数据，在时序和面板数据处理方面功能了了；最后，SPSS兼容菜单化和编程化操作，是名副其实的傻瓜软件。 STATA与EVIEWS都是我偏好的计量软件。前者完全编程化操作，后者兼容菜单化和编程化操作；虽然两款软件都能做简单的描述统计，但是较之 SPSS差了许多；STATA与EVIEWS都是计量软件，高级的计量分析能够在这两个软件里得到实现；STATA的扩展性较好，我们可以上网找自己需要的命令文件（.ado文件），不断扩展其应用，但EVIEWS 就只能等着软件升级了；另外，对于时序数据的处理，EVIEWS较强。 综上，各款软件有自己的强项和弱项，用什么软件取决于数据本身的属性及分析方法。EXCEL适用于处理小样本数据，SPSS、 STATA、EVIEWS可以处理较大的样本；EXCEL、SPSS适合做数据清洗、新变量计算等分析前准备性工作，而STATA、EVIEWS在这方面较差；制图制表用EXCEL；对截面数据进行统计分析用SPSS，简单的计量分析SPSS、STATA、EVIEWS可以实现，高级的计量分析用 STATA、EVIEWS，时序分析用EVIEWS。 关于因果性 做统计或计量，我认为最难也最头疼的就是进行因果性判断。假如你有A、B两个变量的数据，你怎么知道哪个变量是因（自变量），哪个变量是果（因变量）？ 早期，人们通过观察原因和结果之间的表面联系进行因果推论，比如恒常会合、时间顺序。但是，人们渐渐认识到多次的共同出现和共同缺失可能是因果关系，也可能是由共同的原因或其他因素造成的。从归纳法的角度来说，如果在有A的情形下出现B，没有A的情形下就没有B，那么A很可能是B的原因，但也可能是其他未能预料到的因素在起作用，所以，在进行因果判断时应对大量的事例进行比较，以便提高判断的可靠性。 有两种解决因果问题的方案：统计的解决方案和科学的解决方案。统计的解决方案主要指运用统计和计量回归的方法对微观数据进行分析，比较受干预样本与未接受干预样本在效果指标（因变量）上的差异。需要强调的是，利用截面数据进行统计分析，不论是进行均值比较、频数分析，还是方差分析、相关分析，其结果只是干预与影响效果之间因果关系成立的必要条件而非充分条件。类似的，利用截面数据进行计量回归，所能得到的最多也只是变量间的数量关系；计量模型中哪个变量为因变量哪个变量为自变量，完全出于分析者根据其他考虑进行的预设，与计量分析结果没有关系。总之，回归并不意味着因果关系的成立，因果关系的判定或推断必须依据经过实践检验的相关理论。虽然利用截面数据进行因果判断显得勉强，但如果研究者掌握了时间序列数据，因果判断仍有可为，其

大数据处理分析的六大最好工具

大数据处理分析的六大最好工具 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分享在大数据处理分析过程中六大最好用的工具。 【编者按】我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。本文转载自中国大数据网。 CSDN推荐：欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验，生态圈发展趋势。 以下为原文： 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

大数据-讲座总结

大数据挑战及其未来研究领域讲座学习心得 信息学院计算机技术2015级14班xxx 2201514058 大数据时代已经悄然到来，如何应对大数据时代带来的挑战与机遇，计算机类研究人员必须面对的一个严峻的课题。为了让师生紧跟技术发展，河北科技大 学信息与工程学院举办了关于大数据的讲座，大家积极参加，认真听讲，受益匪浅。 该讲座主要从大数据的基本概念、主要特征、应用领域、制约因素、大数据产业发展情况及发展大数据产业的关键思考因素，来对大数据进行了深入浅出的剖析讲解。 大数据（BigData）是指通过快速获取、处理、分析以从中提取有价值的海量、多样化的交易数据、交互数据与传感数据。海量和多样化是对大数据的数据量与数据类型的界定；快速是对大数据获取、处理、分析速度的要求；价值是对大数据获取、处理、分析的意义和目的；交易数据、交互数据与传感数据是大数据的来源。大数据之“大”，不仅在于其规模容量之大，更多的意义在于人类可以处理、分析并使用的数据在大量增加，通过这些数据的处理、整合和分析，可以发现新规律、获取新知识、创造新价值。如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的增值。大数据是继云计算、物联网之后IT产业又一次具有划时代意义的技术变革，将对经济社会发展和个人生活方式产生巨大影响。 大数据的基本特征海量化（V olume）、多样化（Variety）、快速化（Velocity）和价值化（Value）。大数据首先是数据量大。随着更多互联网多媒体应用的出现，数据的类型不断增加，诸如图片、声音和视频等非结构化数据占到了很大比重。大数据技术的应用使得企业能够及时把握市场动态，迅速对产业、市场、经济、消费者需求等各方面情况做出较为准确的判断，并快速制定出有针对性的生产、运营、营销策略，不断提高企业的竞争力。大数据真正的价值体现在从海量且多样的内容中提取用户行为、用户数据、特征并转化为数据资源，并进一步加以挖掘和分析，增强用户信息获取的便利性。 大数据技术的快速发展催生了大数据的产业化，伴随着社会信息化、企业信息化、平安城市、智慧城市、社交网络、电子商务等不断发展，以及云计算、物联网、移动互联网等新一代信息技术广泛应用而不断产生的交易数据、交互数据与传感数据，大数据产业生态链的构建初步形成。按照数据价值实现流程主要包 括生产聚集层、组织与管理层、分析与发现层、应用与服务层。大数据的行业应用会促使大数据产业链形成一个循环过程，包括对大数据的组织与管理、分析与发现、应用服务，产业链的最终用户也可以是产业链的上游大数据资源拥有者。随着每次数据产生到数据价值实现的循环过程，数据规模不断扩大、数据复杂度不断加深、数据创造的价值不断加大，同时，也加速大数据技术创新与产业升级。美国将大数据从商业行为正式上升到国家战略层面。我国“十二五”规划已将大数据作为建设重点，各级政府也着手建立大数据库，进入了大数据管理时代。目前，

50个大数据可视化分析工具

50个大数据可视化分析工具 在大数据时代，数据可视化工具必须具有以下特性： (1)实时性：数据可视化工具必须适应大数据时代数据量的爆炸式增长需求，必须快速的收集分析数据、并对数据信息进行实时更新; (2)简单操作：数据可视化工具满足快速开发、易于操作的特性，能满足互联网时代信息多变的特点; (3)更丰富的展现：数据可视化工具需具有更丰富的展现方式，能充分满足数据展现的多维度要求; (4)多种数据集成支持方式：数据的来源不仅仅局限于数据库，数据可视化工具将支持团队协作数据、数据仓库、文本等多种方式，并能够通过互联网进行展现。 Excel 是快速分析数据的理想工具，也能创建供内部使用的数据图，但在颜色、线条和样式上可选择的范围有限。 Google Charts 提供了大量现成的图表类型，从简单的线图表到复杂的分层树地图等，还内置了动画和用户交互控制。 D3 能够提供大量线性图和条形图之外的复杂图表样式，例如V oronoi图、树形图、圆形集群和单词云等。 R语言 是主要用于统计分析、绘图的语言和操作环境。 Visual.ly 如果你需要制作信息图而不仅仅是数据可视化，Visual.ly是最流行的一个选择。

Processing 是数据可视化的招牌工具，只需要编写一些简单的代码，然后编译成Java，可在几乎所有平台上运行。 Leaflet 用来开发移动友好地交互地图。 OpenLayers 对于一些特定的任务来说，能够提供一些其他地图库都没有的特殊工具。 Polymaps 是一个地图库，主要面向数据可视化用户。可以将符号字体与字体整合，创建出漂亮的矢量化图标。 Gephi 是一个可视化的网络探索平台，用于构建动态的、分层的数据图表。 可以用CartoDB很轻易就把表格数据和地图关联起来。 Weka是数据分析的强大工具，还能生成一些简单的图表。 NodeBox是OS X上创建二维图形和可视化的应用程序。 Kartograph不需要任何地图提供者像Google Maps，用来建立互动式地图。 Modest Maps在一些扩展库的配合下，例如Wax，Modest Maps立刻会变成一个强大的地图工具。 Tangle是个用来探索、Play和查看文档更新的交互式库。既是图表，又是互动图形用户界面的小程序。当你调整一个图表中的输入范围时，其他关联图表的数据也会随之改变。 Rapha憀与其他库最大的不同是输出格式仅限SVG和VML。 jsDraw2DX用来创建任意类型的SVG交互式图形，可生成包括线、举行、多边形、椭圆、弧线等等图形。 Pizza Pie Charts是个响应式饼图图表。 FusionCharts XT是一款跨平台、跨浏览器的JavaScript图表组件，可提供令人愉悦的JavaScript图表体验。 iCharts有交互元素，可以从Google Doc、Excel 表单和其他来源中获取数据。

大数据讲座学习心得

大数据讲座学习心得 大数据讲座学习心得 大数据讲座学习心得 大数据时代已经悄然到来，如何应对大数据时代带来的挑战与机遇，是我们当代大学生特别是我们计算机类专业的大学生的一个必须面对的严峻课题。大数据时代是我们的一个黄金时代，对我们的意义可以说就像是另一个“80年代”。在讲座中秦永彬博士由一个电视剧《大太监》中情节来深入浅出的简单介绍了“大数据”的基本概念，并由“塔吉特”与“犯罪预测”两个案例让我们深切的体会到了“大数据”的对现今这样一个信息时代的不可替代的巨大作用。 在前几年本世纪初的时候，世界都称本世纪为“信息世纪”。确实在计算机技术与互联网技术的飞速发展过后，我们面临了一个每天都可以“信息爆炸”的时代。打开电视，打开电脑，甚至是在街上打开手机、PDA、平板电脑等等，你都可以接收到来自互联网从世界各地上传的各类信息:数据、视频、图片、音频……这样各类大量的数据累积之后达到了引起量变的临界值，数据本身有潜在的价值，但价值比较分散;数据高速产生，需高速处理。大数据意味着包括交易和交互数据集在内的所有数据集，其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。遂有了“大数据”技术的应运而生。 现在，当数据的积累量足够大的时候到来时，量变引起了质变。 “大数据”通过对海量数据有针对性的分析，赋予了互联网“智商”，这使得互联网的作用，从简单的数据交流和信息传递，上升到基于海量数据的分析，一句话“他开始思考了”。简言之，大数据就是将碎片化的海量数据在一定的时间内完成筛选、分析，并整理成为有用的资讯，帮助用户完成决策。借助大数据企业的决策者可以迅速感知市场需求变化，从而促使他们作出对企业更有利的决策，使得这

云计算大数据的55个可视化分析工具介绍

云计算大数据的55个最实用 可视化分析工具 近年来，随着云和大数据时代的来临，数据可视化产品已经不再满足于使用传统的数据可视化工具来对数据仓库中的数据抽取、归纳并简单的展现。传统的数据可视化工具仅仅将数据加以组合，通过不同的展现方式提供给用户，用于发现数据之间的关联信息。新型的数据可视化产品必须满足互联网爆发的大数据需求，必须快速的收集、筛选、分析、归纳、展现决策者所需要的信息，并根据新增的数据进行实时更新。因此，在大数据时代，数据可视化工具必须具有以下特性： (1)实时性：数据可视化工具必须适应大数据时代数据量的爆炸式增长需求，必须快速的收集分析数据、并对数据信息进行实时更新; (2)简单操作：数据可视化工具满足快速开发、易于操作的特性，能满足互联网时代信息多变的特点; (3)更丰富的展现：数据可视化工具需具有更丰富的展现方式，能充分满足数据展现的多维度要求; (4)多种数据集成支持方式：数据的来源不仅仅局限于数据库，数据可视化工具将支持团队协作数据、数据仓库、文本等多种方式，并能够通过互联网进行展现。

为了进一步让大家了解如何选择适合的数据可视化产品，本文将围绕这一话题展开，希望能对正在选型中的企业有所帮助。下面就来看看全球备受欢迎的的可视化工具都有哪些吧! 1.Excel Excel作为一个入门级工具，是快速分析数据的理想工具，也能创建供内部使用的数据图，但是Excel在颜色、线条和样式上课选择的范围有限，这也意味着用Excel很难制作出能符合专业出版物和网站需要的数据图。 2.Google Chart API Google Chart提供了一种非常完美的方式来可视化数据，提供了大量现成的图标类型，从简单的线图表到复杂的分层树地图等。它还内置了动画和用户交互控制。 3.D3 D3(Data Driven Documents)是支持SVG渲染的另一种JavaScript库。但是D3能够提供大量线性图和条形图之外的复杂图表样式，例如Voronoi图、树形图、圆形集群和单词云等。 4.R

教育硕士讲座_常用数据统计分析方法

2015教育硕士开题培训讲座 外语研究中的数据统 计与分析 ——方法及应用 刘国兵 河南师范大学外国语学院

提纲 ?数据的种类 ?何为研究假设 ?常用统计检验 ?应用举例 ?SPSS操作

数据种类 ?外语教学研究中涉及到的数据类型很多，不同数据类型需要不同的统计处理方法。因此，在进行数据处理之前，弄清数据所属类型是开展科学研究的前提与基础。 ?常见数据分为四类： 1. 定类数据 2. 定序数据 3. 定距数据 4. 定比数据

定类数据（Nominal Data） ?定类数据是由定类尺度计量形成的，表现为类别，不能区分顺 序。 ?定类尺度，也可称为列名尺度，在四种计量尺度（定类尺度、 定序尺度、定距尺度、定比尺度）中属于计量层次最低、最粗略的一种。它只能对事物进行平行的分类和分组，其数据表现为“类别”，但各类之间无法进行比较。 ?例如，民族有汉族、回族、哈尼族等，可以按所属民族对人口 进行分组，但每组之间的关系是平等的或并列的，没有等级之分。但从另一层面上说，就因为定类尺度各组间的关系是平等或并列的关系，所以各组或各类之间是可以改变顺序的。

定序数据（Ordinal Data） ?定序数据是由定序尺度计量形成的，表现为类别，可以进行排 序。属于品质数据。 ?定序尺度，也可以称为顺序尺度。与定类尺度相比，它较为精 确，而且是高于定类测量的测量层次。定序数据不但可以分类，还可以排序，比较大小与高低。 ?例如，利用定序尺度，教师可以将学生的外语水平分为初级、 中级与高级三类，他们依次从前到后一级比一级水平高。另外，人们的受教育程度，可以分为文盲、小学、初中、高中、大学、研究生等类型。除此之外，英语语言水平等级测试，如四级、六级、八级等都属于定序测量尺度。

路测数据分析

路测数据分析 良好的RF环境需满足的条件：RSCP≧-85dBm，Ec/Io≧-12dBm.UE TX≦0dBm。手机的最低接入门限（比如：RSCP门限为-115dBm，Ec/Io门限为-18dB）。 一、掉话问题 1、掉话原因的总结 （1）RSCP正常Ec/Io低的情况 上行干扰（RTWP高、TX高） 邻区漏配（D_S中有RSCP和Ec/Io正常的小区） 导频污染（其它）--Rx 好RSCP正常Ec/Io低 （2）RSCP低Ec/Io低的情况 弱覆盖 切换参数不合理（M_S中有RSCP和Ec/Io正常的小区） （3）RSCP正常Ec/Io正常的情况 上行干扰（RTWP较高） 上下行不平衡（UE TX较高） 异常掉话（RTWP和TX都正常） 2、掉话的解决方法 1.工程参数调整 对于上行或下行覆盖问题导致的掉话，增加站点是最好的办法，同时可以考虑更改天线的高度、下倾角，也可以更换增益更高的天线或者增加塔放。 对于导频干扰引起的覆盖问题，可以通过调整某一个天线的工程参数，使该天线在干扰位置成为主导小区；也可以通过调整其他几个天线参数，减小信号到达这些区域的强度从而减少导频个数；如果条件许可，可以增加新的基站覆盖这片地区；如果干扰来自一个基站的两个扇区，可以考虑进行扇区合并。 工程参数的调整需要综合考虑整个小区的调整效果，在解决一个问题的同时要注意不在其它区域引入新的问题。 2.参数调整 (1)小区偏置 该值与实际测量值相加所得的数值用于UE的事件评估过程。UE将该小区原始测量值加上这个偏置后作为测量结果用于UE的同频切换判决，在切换算法中起到移动小区边界的作用。 对于针尖效应或者拐角效应，配置5dB左右的CIO是比较好的解决办法，但也会带来增加切换比例等的副作用。 (2)软切换相关的延迟触发时间 触发时间配置对切换区比例的影响比较大，特别是1B事件触发时间的调整可以比较好地控制切换比例。 (3)软切换掉话解决方法 a.调整天线，使目标小区的天线覆盖能够越过拐角，在拐角之前就能发生切换，或者使当前小区的天线覆盖越过拐角，从而避免拐角带来的信号快速变化过程来降低掉话。

观察数据分析方法简介

观察数据分析方法简介 戴晓晨 华盛顿大学公共卫生学院全球卫生系 2016年9月5日

提纲 ?背景回顾（Background Review） ?回归模型（Regression Modeling） ?倾向评分匹配（Propensity Score Matching）?工具变量分析（Instrumental Variable）

背景回顾 ?观察研究（observational study）v.s实验研究（experimental study）?一些例子？ ?自然实验（natural experiment）是那种研究？ ?前瞻研究（Prospective study）v.s回顾研究（retrospective study）*本讲座不关注实验设计，只针对几种常见数据分析方法。

背景回顾 ?什么是观察数据（observational data）？ ?研究者没有进行任何干预而客观观察到的数据 ?例子? ?原始数据（primary data）v.s二手数据（secondary data）?e.g.全国卫生服务调查，吸烟问卷调查 ?主题范围：基于（二手）观察数据的回顾性观察研究?e.g.大数据分析

因果推断 ?研究的根本目的：因果推断（causal inference） ?因果联系（causation）v.s相关性（correlation/association）?因果联系à相关性 ?相关性à? 因果联系（inference）（8条标准） ?Causal Inference attempts to articulate the assumptions needed to move from conclusions about association to conclusions about causation ?例子：短信干预降低艾滋病母婴传染？

大数据分析软件

大数据分析软件？安徽象形信息科技专注于大数据分析领域，依托革命性的技术创新，产品远超国内外先进水平，已发展成为国内大数据分析产品领域的领导企业。公司以技术创新为核心战略，与中国科学技术大学成立大数据联合实验室，有效的把创新机制融入到科研、开发、生产和经营的各个环节。目前，已经与中软国际、天源迪科、神州数码、浪潮集团等多家知名企业形成了深入合作。 合肥卷烟厂打造大数据精益管理智能平台 2014年，合肥卷烟厂利用大数据分析软件ETHINK大数据平台技术，打造了大数据精益管理智能平台，深度分析“口袋”里的信息。他们将设备信息、生产信息、质量信息、能源消耗、成本数据等进行融合整理，形成了大数据的高效集成。 以该平台健康诊断云图为例，合肥卷烟厂围绕生产、设备、质量三个维度，利用专家法、层次分析法，设置各项数据彼此间的函数关系，计算出生产、设备、质量每天的分数。将不达标的关键单项指标产生告警，追踪问题缘由，指导问题解决，及时对问

题进行动态优化，并进行自我组织调整。 卷烟厂的大数据智能平台还包含决策管控、智慧社区等几个模块。在车间级管理上，平台可以按照需求，形成智能报表。卷烟厂智能检索知识库包含了经验库、说明书、OPS改善等企业知识成果，员工在遇到难题时可查阅信息，做到了企业知识成果的共享与交流，实现了员工能力提升的目的。 大数据分析软件?ETHINK是业界唯一的端到端的hadoop、spark平台上的大数据分析基础平台。我们的目标是简化大数据分析的过程，让人人都能够快速从数据获得决策智慧。您不再需要采用很多的数据集成、数据清洗、数据预处理、数据分析、数据挖掘、数据可视化、数据报告等众多的工具。ETHINK是一个集成性的平台，能够将您所有的数据，加载到hadoop,spark平台，并能够可视化您的数据，挖掘您的数据的高效平台。

路测数据分析.

C D M A路测中有5个比较重要的参数 CDMA路测中有5个比较重要的参数。这5个参数是Ec/Io、TXPOWER、RXPOWER、TXADJ、FER。 在这里对这些参数做一些说明。 1、Ec/Io Ec/Io反映了手机在当前接收到的导频信号的水平。这是一个综合的导频信号情况。为什么这么说呢,因为手机经常处在一个多路软切换的状态,也就是说,手机经常处在多个导频重叠覆盖区域,手机的Ec/Io 水平,反映了手机在这一点上多路导频信号的整体覆盖水平。我们知道Ec是手机可用导频的信号强度,而Io是手机接收到的所有信号的强度。所以Ec/Io 反映了可用信号的强度在所有信号中占据的比例。这个值越大,说明有用信号的比例越大,反之亦反。在某一点上Ec/Io大,有两种可能性。一是Ec很大,在这里占据主导水平,另一种是Ec不大,但是Io很小,也就是说这里来自其他基站的杂乱导频信号很少,所以Ec/Io 也可以较大。后一种情况属于弱覆盖区域,因为Ec小,Io也小,所以RSSI也小,所以也可能出现掉话的情况。在某一点上Ec/Io小,也有两种可能,一是Ec小,RSSI也小,这也是弱覆盖区域。另一种是Ec 小,RSSI却不小,这说明了Io也就是总强度信号并不差。这种情况经常是BSC切换数据配置出了问题,没有将附近较强的导频信号加入相邻小区表,所以手机不能识别附近的强导频信号,将其作为一种干扰信号处理。在路测中,这种情况的典型现象是手机在移动中RSSI保持在一定的水平,但Ec/Io水平急剧下降,前向FER急剧升 高,并最终掉话。 2、TXPOWER

TXPOWER是手机的发射功率。我们知道,功率控制是保证CDMA通话质量和解决小区干扰容限的一个关键手段,手机在离基站近、上行链路质量好的地方,手机的发射功率就小,因为这时候基站能够保证接收到手机发射的信号并且误帧率也小,而且手机的发射功率小,对本小区内其他手机的干扰也小。所以手机的发射功率水平,反映了手机当前的上行链路损耗水平和干扰情况。上行链路损耗大、或者存在严重干扰,手机的发射功率就会大,反之手机发射功率就会小。在路测当中,正常的情况下,越靠近基站或者直放站,手机的发射功率会减小,远离基站和直放站的地方,手机发射功率会增大。如果出现基站直放站附近手机发射功率大的情况,很明显就是不正常的表现。可能的情况是上行链路存在干扰,也有可能是基站直放站本身的问题。比如小区天线接错,接收载频放大电路存在问题等。如果是直放站附近,手机发射功率大,很可能是直放站故障、上行增益设置太小等等。 以上可以看出,路测中的TXPOWER水平,反映了基站覆盖区域的反向链路质量和上行干扰水 平。 3、RXPOWER RXPOWER是手机的接收功率。在CDMA中,按我个人的理解,有三个参数是比较接近的,可以几乎等同使用的参数。分别是RXPOWER、RSSI、Io。RXPOWER是手机的接收功率,Io是手机当前接收到的所有信号的强度,RSSI是接收到下行频带内的总功率,按目前我查阅到的 资料来看,这三者称谓解释不同,但理解上是大同小异,都是手机接收到的总的信号的强度。RXPOWER,反映了手机当前的信号接收水 平,RXPOWER小的区域,肯定属于弱覆盖区域, RXPOWER大的地方,属于覆盖好的区域。但是RXPOWER高的地方,并不一定信号质量就好,因为

大数据分析的六大工具介绍

云计算大数据处理分析六大最好工具 2016年12月

一、概述 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分享在大数据处理分析过程中六大最好用的工具。 我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 二、第一种工具：Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。 Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：●高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 ●高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的， 这些集簇可以方便地扩展到数以千计的节点中。

6个用于大数据分析的最好工具

大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。 在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 一、Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。 Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop 上开发和运行处理海量数据的应用程序。它主要有以下几个优点： ⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 ⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 ⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 ⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。 Hadoop带有用Java 语言编写的框架，因此运行在Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如C++。 二、HPCC HPCC，High Performance Computing and Communications（高性能计算与通信）的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能