Mick P.Couper public opinion Quarterly winter,2000 ( Vol64, No.4) P464-494
进入21世纪以来,互联网如其对人类生活各个方面的影响一样,对调查研究业也发生了巨大的影响。万维网上调查的迅速发展使得一些人预言,很快互联网调查将取代传统的数据收集方法。但也有人怀疑网络调查将来可能发挥的作用。显然,我们正处于新的调查研究领域的门口,但如何操作它,目前还不太明确。无论我们对调查研究方法的将来持何种观点,目前网络对于调查数据收集的影响还是值得研究界关注的。
出于对网络调查的日益关注,区分不同类型的网络调查是相当重要的。“网络调查”(web survey) 这个词包括许多种方法,它们有不同的目的、不同的总体和目标群体。本文的目的在于促进对网络调查的评价,从而推动其发展。
网络调查对于调查业来说是一把双刃剑。一方面,网络调查的的优势在于它可以在更为广泛的范围内,对更多的人进行数据收集的工作。与传统研究方法可比,不仅是研究者可以以惊人的低价格获得超乎想象之多的被调查者数据,而且,普通人也可以设计调查题目,通过免费的服务器询问成千上万的人。设计长问卷的能力不仅仅局限于处于社会权力中心的组织——如政府或者大企业,网络调查的低费用使得几乎每一个进入互联网的人都有相同的能力。这当然也潜在地使调查过程更为民主化。此外,网络调查还可以以自填的回答方式,通过标准化的方法向被调查者呈现一份多媒体的问卷。这显然是传统的调查方法难以做到的。
但另一方面,网络调查潜在的危险是,日益增多的调查越来越良莠不齐,人们也难以区分好的调查与不好的调查。网络调查的价值也受到人们填答意愿的限制。因为在类似调查的狂轰乱炸下,人们可能干脆不理睬,也可能根据其内容、主题、娱乐性或者调查的其他特性而做出参与调查的决定。我们已经在电话调查中看到了这种过度调查效应的迹象,商业性电话调查的增多已经威胁到了以此种方法进行民意调查的可行性。总之,在网络调查越来越容易进行(当然也越来越容易欺骗)的背景下,好的网络调查(具有可接受的调查质量指标)也就越来越难以区分。但无论调查方法如何变化,我们评价调查质量的基本标准并没有发生大的改变。
调查质量
任何对网络调查质量的讨论都以调查的类型、形式和功能入手。与其他任何一种方式相比,互联网允许众多的数据收集者进行调查,在调查质量的几个维度上也有较大的不同。任何对具体的网络调查的批评都应该在其想测量的与其实际测量的背景下进行。对调查数据收集方法的赞扬或者声讨不能仅仅根据一两个因素来决定,而对于互联网调查,也不能一概而论。
O’Muircheartaigh(1997)对调查的误差作了一个定义:“想测量一事,但实际上未测量”。他还指出,“总体而言,每一个调查运作过程都有一个目标,一个结果,以及对结果的描述。误差也正是存在于这三个元素中的某一处。”调查质量并不是孤立的,应当结合其他影响设计(如精确度、费用、时间期限等)的因素综合考虑。我们还要与达到类似目标的其他方法(如配额抽样、商场拦截、随机拨号调查的低反应率、杂志插页调查、消费者满意调查卡等)进行横向的比较。
几年前,我曾经预言,电子的数据收集方法(如互联网)将导致调查界内的分歧:是以传统的数据收集方法应用概率抽样进行高质量的调查,还是以低成本与高效率来取代对调查精度的要求。事后看来,我的预言是错的,我低估了网络对于调查界的影响力。网络调查的出现所导致的更多是整合而不是分歧,客户通常都会试图结合其特定的目标或者产品来达到一个最佳的方案。不再是一端“快速但不准确”而另一端“优质但高价”的冲突,而是有不同的准确程度与费用的层面可以选择。
问题在于这一切都是在“调查”的旗帜下进行的,这使得一些外行(实际上也包括了一些调查界人士与调查信息的使用者)很难区分不同操作方式下的调查质量。因此,让数据的收集者与使用者了解有关调查质量的因素也显得愈加重要,以使得他们对于不同的调查设计有不同的评价。
研究者普遍认为,调查中主要的误差包括抽样、对目标总体的覆盖程度、拒答以及测量误差,所有这些都与费用有关。我首先要讨论的是这些误差源在网络调查的体现,然后针对不同类型的网络调查分析其不同的误差源。
覆盖与抽样误差
覆盖范围的误差通常被视作网络调查的最大误差源,至少对于以互联网使用者为总体的调查而言是这样的。许多网络调查中的抽样误差同样也是网络概率抽样调查的巨大障碍。
覆盖范围的误差是目标总体与抽样框之间的差距。目标总体可以产是研究想要涉及的总体。而抽样框是研究者在研究中可以调查得到的个体的集合。抽样框的典型例子如住宅电话号码(电话调查)和所有的个人电子邮箱帐户(网络调查)。
抽样误差所指的是并不是每一个抽样框中的个体均接受调查。如果在这个抽样框中多次进行个体的选择过程,各个样本之间的差异是存在的。需要注意的是,我们在这里所讲的是概率抽样的方法,也就是说,抽样框中的每一个个体都有相同的非零概率接受调查。由此,覆盖范围误差所指的是个体被抽样框所忽略,而抽样误差则是在从抽样框中选择个体的过程中产生的。
我们可以立刻发现网络调查中的这两类问题。一个问题是并不是目标总体中的每一个个体(除非调查将目标总体严格定义为目前正积极使用互联网的人)都在抽样框中。第二个问题是网络调查抽样框的结构。即使在美国每个人者上了网,建立一个抽样框以概率抽样的方法来选择被调查者也是相当困难的。从网络使用者的抽样框中选择个体的程序在很大程度上取决于网络调查的类型,在此我们着重指出的是覆盖范围的问题。
目前,覆盖范围的误差是威胁互联网概率抽样的最大因素。正如Groves(1989,P85)所指出的,覆盖误差是两个因素的函数,一是未被抽样框包括在内的目标群体比例,另一个是对这些包含在内与未包含在内的个体所进行的调查统计方法。
让我们首先讨论一下覆盖率,也就是通过网络所能达到的目标总体的比例。网络调查者们因为上网人数剧增的原因而对通过网络调查人口总体持乐观的态度,但对这种技术在将来所能达到的覆盖范围,我们仍然心存疑虑。
对于网络的渗透率,有多种不同的估计。测量这样一个飞速增长的目标群体难度相当大,对美国家庭的上网率的估计有相当大的差异。这部分是由于有不同的定义(触网、使用网络、家庭上网率与个人上网率、家庭上网与在单位上网等),而估计互联网渗透率的调查质量参差不齐也是一部分的原因。有些研究甚至是通过互联网上的调查来估计网民总体的。
媒体市场研究1998年秋季的调查报告(www.thestandard.com,1998年11月16日)估计,有5300万美国人(或者说,是27%的美国成人)上网——即无论是在家里、办公室还是其他的地方,有27%的成人在过去的30天内使用过互联网。这一估计的数据是根据自1997年9月至1998年8月对20000位成人的访谈得到的。
Hoffman, Novak和Schlosser(2000)根据1998年5-6月的尼尔森互联网情况调查(IDS)和对美国4042位16岁以上公民的RDD调查数据估计,有6960万美国居民上网,占美国成人的34.4%。
Strategis集团(www.strategisgroup.com)在1999年11月公布的数据显示,1017万美国成年人(18岁以上),或者美国成人的49.7%使用互联网,在1998年中期为6500万人,1998年低为84万人。这一数据在1999年12月上升至1061万人,或美国成人的52.4%。这一估计数值是在RDD电话调查中“你在家中或者在单位,是否使用互联网或者网上服务?”一题得到的。
在1999年11-12月,国家公共广播电台、Kaiser和肯尼迪公立学校对1506位18岁以上的成年人进行了调查。结果显示53%成年人最近使用了用互联网(64%的人报告曾经使用过网络)。该调查还发现,60%的成年人家中有电脑。
在1999年第三季度进行的CyberDialogue美国网民调查(www.cyberdialogue.com)的数据显示,35%的美国成人(或6930万人)是网络的积极使用者。
Intelliquest在1999年4月19日发表的以随机拨号方法进行的电话调查估计,8300万美国成人(即40%的16岁以上美国人)使用网络,与1998年10月(www.nua.ie/surveys/how_many_online)的7300万网民数量相比增长了1000万人。Nua互联网调查网站还在1999年7月根据尼尔森/Netratings的调查估计,美国有1063万网民,占人口总数(2岁以上)的39.4%。
……(各种估计数据此处略)
因此,大概有三分之一的美国成人使用互联网。尽管近几年来网民的数量剧增,但触网或者使用网络还远未达到普及的程度。在未来的一段时间内,网络调查能否代表美国总体还取决于网络使用者的增长速度。上述数据只是显示了这一比例还需要增长的幅度和可能的增长速度。
对网络调查的乐观态度在很大程度上以近年来网民数量增长的曲线为基础。但这一基础是值得推敲的。实际上,增长曲线在未来肯定会放缓,达到一个高原期,但这一点在什么时间出现?网络会普及吗?
有


