市场调研大数据收集方法
第三章文案调研——二手数据的收集方法
一、二手资料data
1 、原始数据——直接来源，第一手数据，专门收集，实验、观察、询问
二手资料——间接来源，文案调研，已有的数据资料
任何市场研究均不可能完全独一无二，或从未发生过，很可能有过类似调查
2、二手数据的优劣
（1）优点时效性
经济性——成本低，易获得
辅助性——确定研究的主题和背景
确定研究的方向和围
确定研究的潜在问题和困难
（2）缺点测度标准不一致
分类标准不一致
数据更新慢
相关程度低
数据可能缺乏可得性，不充分
数据可能不准确
二、部数据——部数据库，会计帐目、销售记录、各类报告
外部数据——政府报告
官方统计资料：年鉴
行业协会资料
研究成果论文、图书
大调研公司数据
三、因特网资料
关键词搜索
大学及BBS讨论
* 官方及商业数据公司
出版公司
第四章原始数据的收集方法
第一节询问法
*调查方法：
我国政府统计调查方法体系：“以必要的周期性普查为基础；以经常性的抽样调查为主体，辅之以重点调查，科学推算和少量的全面报表综合应用。”
普查：专门组织的一次性的全面调查，用于收集重要的国情国力和重要的经济现象的全面资料，是最基础的参照资料。一般为定期调查。主要用于调查属于一定时点上的现象的数量特点
时期指标：某一段时间累积达到的总量水平，流量，可加性
时点指标：某一时刻、瞬间上的总量水平，存量，不可加性
抽样调查：从调查总体中随机抽取一部分单位作为样本进行调查，并根据样本的调查结果对总体数量特征进行推断，是应用最广泛的非全面调查
分为：概率抽样：随机
非概率抽样：非随机，调查结果不能用于推断
统计报表
*数据收集的形式
一、传统的询问调查方法
调查者通过口头、电讯、网络或书面的方式向被调查者收集数据、资料的方法。
1、面谈访问——调查者与被调查者通过面对面交谈而获得资料
问卷访谈与自由交谈；个别交谈与集体座谈
入户访谈：比较深入，样本代表性较好，不易控制调查者，调查者效应大，费用高，时间长
街上拦截访谈：不是随机抽样，样本代表性不足，环境差，拒访率高
现场拦截访问；中心地访问
普通人员访谈—计算机辅助人员访谈CAPI
2、访谈——问卷、样本抽取
费用低；样本质量较好；时间短，调查容有限，不深入；互动性差；调查者效应较小；
抽样访谈：计算机辅助访谈CATI——计算机（非簿）随机生成访谈的
固定样本抽样访谈
3、邮寄访谈——出版业、直销企业
单程邮寄访谈（回收率5-20%）
固定样本邮寄访谈：回收率相对较高，但费用也大
方便，经济；无调查者效应；时间长；回收率低（5-20%）；参与者与拒访者之间存在的的系统误差；
*提高回收率的方法：事前事后提醒致、物质奖励、方便、真诚请求、信誉高的联合机构、特别遴选的被调查者
4、网上调查——调查、在线调查
以各类社会调查为主
速度快（数据的录入、整理、统计、保存、传输的一体化）；经济、方便、围大；容易找到
与相关问题联系紧密的人；样本代表性差；无法控制调查过程与被调查者；
5、留置调查
由被调查者自行填写问卷后收回
三、影响选择不同调查方法的因素
抽样的精度；预算；数据质量要求；问卷长度及结构性程度；样本的发生率；时间
第二节观察法
不与被调查者发生直接接触，不通过提问或交流而系统地记录人、物体或事件的行为模式的过程，可由人员或机器进行
可以进行观察的条件：所需信息必须是可以观察到或能从观察到的行为推断出的
观察的行为必须是重复的、频繁的或者在某方面可以预测的——成本高
被观察的行为必须是相对短期的
一、种类
1、结构性与非结构性观察——控制与无控制的观察
是否有统一的计划、观察容、要求和手段，观察人员的自主度如何
2、连续的和不连续的观察
3、公开的和掩饰的观察
4、参与与非参与的观察
5、自然的和经过设计的观察——模拟环境
6、人员和机器观察
二、观察法的优劣
1、优点——真实、客观；简单、易行
2、缺点——只能观察公开、表面、目前的行为，无法探究动机、态度和未来的行为
对人员和方法设计有较高要求
成本相对较高
三、观察的容
1、人员观察：顾客观察、神秘购物者；单向镜；购物形态和行为；审计
2、机器观察
第四节实验法
一、涵义和概念
1、方法的涵义
在实验法中，调研人员变为主动的参与者，通常称为“因果性调研”，研究人员改变一些因素（变量），考察这些因素的变化对其他因素有什么影响。
改变的因素——自变量、解释变量、实验变量
受影响的因素——因变量、被解释变量
*相关关系——因果关系
2、基本概念
实验组——接受实验的被研究对象
控制组——不是实验对象，往往与实验组进行对比实验，也称为对照组
现场实验——现实情况下的实验
实验室实验——受控制环境下的实验
二、实验设计
1、非正规设计——
非随机性、成本高、易操作
*所罗门四组实验设计
例：某鲜果汁的原包装为袋装，现要研究新包装对果汁的销售量的影响。
在实验设计中，A为自变量，代表果汁的包装，
A1——罐装
A2——瓶装
A3——袋装（原包装）
Y为因变量，代表果汁的销售量。在这个实验设计中，自变量只有一个，包装A，因此是一个单因子实验设计。如果同时还要研究价格B、促销方法C等因素对销售量的影响，就变为多因子实验设计了。
每组各选3个商店（超市）进行实验，实验结果使用3个商店的平均销售量进行对比。四种不同的非随机实验设计方法如下：
（1
12
装变动的同时销售量的变动，也无法排除其他因素对销售量的影响，因此也无法肯定销售量的变动是否完全由包装变动所引起。
（2
和Y2—Y3来分别
13
确定与同期的原包装果汁相比，两种新包装罐装和瓶装对销售量的影响效应，即罐装效应= Y1—Y3、瓶装效应= Y2—Y3。然后比较Y1—Y3和Y2—Y3两种效应来判断哪一种新包装的效应更好。
这种设计方法可以将新包装与同期原包装的销售量比较，但是无法排除其他因素对销售量的影响，尤其是不同组商店的不同地点、顾客偏好、收入等因素对销售量的影响。例如第一个实验组3个商店由于地点原因和顾客收入较高，顾客特别喜欢罐装果汁，罐装果汁销量特大。因此无法肯定果汁销售量的变动是否完全由包装改变所引起。
（3
*来分别确定改换包
1122
装前后，两种新包装罐装和瓶装与原包装相比对销售量的影响效应，即罐装效应= Y1—Y1*、瓶装效应= Y2—Y2*。然后比较Y1—Y1*和Y2—Y2*两种效应，来判断与推出新包装前相比，哪一种新包装的效应更好。
但是这种设计方法也无法排除其他因素对销售量的影响，因此也无法肯定销售量的变动是否完全由包装变动所引起。例如，实验期间适逢节庆假期，各种商品包括果汁的消费量大增。即使实验结果表明换新包装后比原包装销售量增加，也无法肯定销售量的变动是否完全由包装变动所引起，还是由于节庆期间果汁的销售量增加所引起的
（4）有控制组的事前事后设计——有利于消除外来因素影响
共同影响，而控制组销售量的变动只受外来因素影响。因此，两种新包装与原包装相比对销售量的影响效应，罐装效应可以表示为（Y1—Y1*）—（Y3—Y3*），瓶装效应可以表示为（Y2—Y2*）—（Y3—Y3*）。然后比较（Y1—Y1*）—（Y3—Y3*）和（Y2—Y2*）—（Y3—Y3*）两种效应来判断哪一种新包装的效应更好。
2、正规设计——随机设计
方差分析
3、实验的有效性
*有效性——实际的测量与希望的测量十分一致
部有效性——实验设计及环境的部
外部有效性——现实，实验室外的人和环境
4、特点
强有力的研究形式和结论
成本高
度要高
严格的设计条件在实际中经常遇到干扰
第四节定性调研
一、涵义
1、含义
主观选择较小样本进行深度的、非正规的访谈，目的是要对感觉、动机、态度，也就是对“为什么”和“怎样”进行调研，调研结果未经量化或定量分析
*调查的初始阶段
*定性与定量——人的因素
*不可进行推断
2
二、方法——有很多方法借鉴了精神、心理医学中的研究方法
1、焦点小组座谈
在主持人的引导下，以会议或座谈形式对特定主题进行集体讨论
——确定主题（座谈大纲）
——选择成员
——挑选主持人（控制、沟通、立场、专业）
——编制座谈正式指南（资料）
——是否需要多次座谈
——分析结果，正式报告
优点：成员之间的互动性；容易观察；比较容易执行；可以了解较详细的调查容
缺点：设计方法和确定人员的难度；成员不具备代表性，有误导；
2、深度访谈——
调查者与非调查者一对一的深入交谈与访问，可以深入了解被调查者的态度、意见、动机等，尤其对敏感性问题效果较好
特点：开放性、非结构性、成本较高、调查者参与水平低、对面谈者的要求高，不能进行推断，结论不能量化
自由式访谈
半控制性访谈
3、其他技术
映射技术（心理学）：词汇联想、语句完成、图画完成、照片归类、叙述故事、第三人称
4、定性调研方法的优劣
优点：成本低、灵活多变、围广
缺点：样本小，代表性差、误差大，不能推断
第五节资料收集中的误差
调查误差是不可避免的，各种误差由于来源不同，可控情况也各不相同
1、二种误差分类
系统误差：有倾向性
测量误差：
全面调查和非全面调查都会产生随机误差：偶然、无倾向性
系统误差：有倾向性
代表误差：
非全面调查方法本身所产生的误差随机误差：无倾向性——抽样误差
*一般情况下，系统误差可以可以消除，随机误差不能消除
2、在数据收集中可能出现的误差（抽样调查）
随机测量误差：处理过程误差——偶然的登记误差，数据登记或录入中产生的误差。
如：漏填错填数据
随机抽样误差：偶然的代表误差，可以事先进行计算和认定
系统误差：由于调研设计或抽样设计中的错误或问题而产生的误差，有倾向性