二战前的统计学(现代统计方法)

来源:    发布时间:2007-08-06

打印本页

分享到:

  一、何谓统计

  (一)统计的定义

  “统计”一词的意义因人而异,其英文为statistics,这是由拉丁文的国家、政府(status)演化而来。似乎就是关于政府的统计。因此,有很长一段时间,它被视为是有关于国家经济、人口统计及政治等各种现象所显现出的原始数据及图表。即使在今日,由于许多的报导及政府公报里常含有大量令人难以亲近的数据所制成的图表,并以“××统计”为其标题,如“建筑业统计"、“就业统计"等,使一般人仍误认为这就是统计学的主要内容。统计已经渗入到人们的社会、生活、工作等各个领域。每天新闻媒介报道的各个方面都离不开各种统计数据和各种分析与预测。人们可能对于这些统计内容已经习以为常,也可能会有一些好奇或神秘感。
 
  由于国情不同,统计的地位与人们对统计的看法也不同。对一般人而言,统计是任何方面专家们用以支持其论点的一大堆数字;对于略具常识的人来讲,这个名词代表用以摘要和解释一堆数据,如计算平均数 (mean) 与标准差 (Standard deviation) 的程序之类的概念。但是对于从事统计工作的人员而言,统计是依据小量数据(样本)所提供的数据以估计预测某研究对象的方法。或者更广义地说,统计为面对不确定状况制定决策提供方法的科学。  在发达国家,一般民众觉得统计学和数学类似,是一门高不可攀但极易找到满意工作的学问。在中国,又有一些人认为统计就是处理政府报表的职业。但自从中国向世界开放之后,越来越明确的一点是,没有什么学科或领域能够真正离开统计。事实上,统计学在二十世纪以来已有长足的进展,且其重要性与日俱增,数据与图形的展示仅占现今统计学中一很微小的部分,而以制作统计图表为主要工作的统计学家也只占极少数。归纳起来,采用统计的术语,则是:如何搜集有价值的数据?如何组织、解释所搜集的数据?如何分析并给适当的推断?以及推断的可信度有多高?

  这些便都是统计学研究的主要范畴。这其中当然包括资料从搜集、分析到推断的整个过程中所须具备的知识。诸如民意调查、医学的临床试验及建筑业中工程质量的改良试验等,皆为须运用统计学理论的常见例子。

  简言之,统计学是以少量的数据(称为样本)所提供的信息以推断欲研究对象(称为母体)特征的一门科学。
 
  它有两大主要目标:

  一是由已知的样本数据经由正确有效的分析来推测母体所具有的特性,这其中包括对推断的不确定性进行评估(描述性统计和推断性统计两个方面);
 
  另一目标则是适当地设计样本取得的程序及取样的范围,以便使所观察样本显现的特性能真实反映母体的现象,进而能以简洁的分析,作有效的推断(抽样理论)。
 
  (二)一个误区

  应当说,统计学和统计学的应用需要运用大量的数学知识,因此,拥有良好的数学基础是每一位从事统计工作者所必备的条件。

  注意,只是必要条件,而不是充分条件。

  这意味着,多数使用计算机的人都不是计算机专业毕业的,多数开汽车的都不会修汽车,但这对他们的使用毫无妨碍。

  统计本来并不深奥,只是其貌似复杂的数学工具把它搞成阳春白雪,再加上强调数学推导的教学方式,使得统计显得高不可攀。
 
  因此,我们应当还这些统计应用以其本来面目。使得统计变成人人都能够基本上理解和掌握的有用工具。难道不会推导或背诵与统计有关的数学公式就不能应用统计这个工具了吗?

  此外,在进行数据分析时,往往会面对繁杂的数据之整理及计算上的困扰,若能善用计算机的功能,常能轻易解决问题。

  近年来,更由于计算机的快速发展,一些运用计算机超强计算能力的新兴统计方法乃因应而生,这些方法能处理更为复杂的统计估计及推断,使统计理论更能落实,大幅度地提升了统计学的实际用途。因此善用计算机的能力,亦为统计学的研究及应用中之一大利器。
 
  二、现代统计学的发展

  作为一门科学的统计学究竟产生于什么时期,到目前为止仍然存在着争论:

  有的人以统计学严格的数学基础得到确立为标志,认为统计学大概产生于上个世纪30 年代,因为在这一时期俄罗斯数学家柯尔莫哥洛夫( Kolmogorov) 把勒贝格(Lebesgue) 测度引入概率论研究,使人们第一次清楚地认识到现代统计学的基础———概率论原来也是数学大家族中的一员;
 
  有的人以现代统计学主流理论基础确立为标志,认为统计学产生于20 世纪之初,理由是数学家戈塞特(W.Gosset) 在这一时期提出了t 分布,揭开了小样本统计推断研究的序幕;

  也有的人以生物和遗传统计学形成为标志,认为统计学产生于19 世纪后期,因为在这一时期,以高尔顿( F Galton) 、K 皮尔逊( K Pearson) 为代表,他们共同创立了描述统计的基本体系。

  以上种种看法在理论统计学界比较流行。
 
  还有的人认为统计学大概产生于19世纪中叶,理由是在这一时期比利时统计学家凯特勒(A Quetelet) 将概率论全面引进社会问题研究,促进了统计学的研究手段由“算术”阶段向“数理”阶段的迅速转变,也使统计学逐渐发展成为一门既适用于自然科学又适用于社会科学的“通用方法论”。

  在这里,我们从统计学发展的实践背景出发,尊重多数统计史学家的意见,认为统计学大概产生于17 世纪,而现代统计学起源于19 世纪后期,即以生物和遗传统计学形成为标志、高尔顿( F Galton) 、K 皮尔逊( K Pearson) 为代表的描述统计的基本体系。
 
  在这里,我们还不能不提及,在整个统计学发展过程中出现过的四次重大争论:
  “政治算术”与“国势学”的争论,明确了统计学的学科性质;
  “描述统计学”与“推断统计学”的争论,构筑了统计学的完整体系;
  “经典统计学”与“贝叶斯统计学”的争论,带来了统计哲学观的新变化;
  信念统计学与经典统计学、贝叶斯统计学的争论,使统计推断科学化问题的研究日趋深入。

  正是通过这些争论,完善了现代统计学的思想和方法体系。

  (一) “政治算术”与“国势学”的争论,明确了统计学的学科性质

  17 世纪中叶,在英国首次出现了有意识地用大量的数字资料说话,注重从数量角度探讨社会经济现象规律的活动。
 
  以配第(W Petty) 和格朗特(J Grant) 为代表创立的“政治算术”,标志着统计学的诞生。
 
  配第在《政治算术》一书中,揭示了一些经济学的科学原理,研究了许多经济学范畴和经济关系,所以它是一本重要的经济学著作,但同时它又是一部很有价值的统计学著作。

  配第在这本书以及其他相关的著作中,采用了不同于前人的研究方法,明确地用大量的数据资料分析问题,试图把研究结论建立在可靠的事实根据上。

  正因为如此,所以马克思说,配第不仅仅是政治经济学之父,在某种意义上他也是统计学的创始人。
 
  格朗特在《关于死亡表的自然观察和政治观察》一书中,通过对人口变动数据的分析,揭示了一系列的人口变化规律,并且还采用了不少新颖独特的数字资料整理、表示和估算方法,给统计学后来的发展留下了有益的启示。
  统计学能够成为一门科学,是人类多方面探索的结果。
 
  与“政治算术”产生的时期差不多, 在德国也出现了一门“统计学”———“国势学”。

  “国势学”主要研究“国家的有关显著事项”,其主要特征是对问题的研究和阐述,基本上采用文字记述和逻辑比较。

  那么它之所以也被认为是统计学,在很大程度上是因为“国势学”发展到顶峰时期的代表性人物阿肯瓦尔( G.Achenwall) 给它起了一个新名称“STATISTIK”。

  这个词转译成英文后,逐渐被越来越多的人所接受。随着知识交流的扩大“, 政治算术”引进了“国势学”的一些长处“, 国势学”也吸收了“政治算术”的某些做法,从而引起了人们对“政治算术”和“国势学”到底哪一个才是统计学真正起源的关注,最终爆发了长达一百多年的争论。
 
  到1850 年,德国人克尼斯( G A Knies) 根据当时统计学发展的实践,概括大多数人的意见,认为“国势学”尽管有统计学之名但没有统计学之实,应该仍叫“国势学”,而“政治算术”虽然没有统计学之名但有统计学之实,所以“政治算术”才称得上是统计学的真正起源。统计史上,一般把克尼斯“独立科学之统计学”一文的发表,作为“政治算术”和“国势学”争论的结束,历经近100年的时间。
 
  “国势学”与“政治算术”之间的争论是统计学发展史上第一次大规模的争论,虽然离我们现在比较久远,对今天统计学发展的影响也不是很显著,但其历史功绩还是应该肯定的。在统计学发展之初,人们对这门学科的意义、研究范围和研究方法不甚清楚,通过这次争论,使人们明确地意识到,统计研究方法是数量性质的,主要以数字资料为语言,通过对数字资料的分析探讨客观现象发展变化的规律。这就为统计学作为一门独立科学的存在,提供了充足的理由。
 
  任何一门学问能否发展成为一门科学,最起码地要有两个基本前提,
  一是它有没有专门的研究对象;
  另一是它有没有具有特色的研究方法和手段。

  统计学产生之初,它主要是为研究社会经济问题的需要应运而生的,多半被看成是社会科学的一部分,由于配第、格朗特等人率先使用了不同于前人的研究方法,因而有理由把它单独拿出来作为一门科学来对待。

  此后,统计学的发展虽然远远超出“政治算术”的水平,但在性质上大致是沿着“算术”的轨道向前发展的。
 
  通过对这一时期有关背景材料的回顾,我们不难看出如图1所示统计方法的数量性质。
 
  在这里,我们把“国势学”对统计研究的贡献也纳入进来,除了考虑到“国势学”给统计学这门学科起了一个一直沿用至今的名称之外,另一方面是“国势学”创立的研究体系,提出的研究“显著性事项”,为后来社会经济统计和政府统计建立指标体系提供了基本的规则 。

  统计学研究客观现象的数量方面,数量包括确定性数量和随机性数量,对一个问题,可以用确定的数量方法进行认识,也可以把它转化为随机性数量来研究,而统计学研究随机性数量,主要依靠概率论,所以概率论是统计学的第三个来源。
 
  (二)“描述统计学”与“推断统计学”的争论,构筑了统计学的完整体系

  一般而言,统计问题可分成两类: 描述统计和推断(论)统计。简单的说:
  任何对数据(即样本)的处理导致预测或推断总体(群体、母体)的统计称为推断统计。
  如果兴趣只限于手头现有的数据,而不准备把结果用来推断的则称为描述统计。

  例如:依据过去十年来的统计,每年企业的利润,人均利润,年人均成本,十年内那一年利润创最高记录等等都是属于叙述统计的范围;
  但是如果我们根据这些年所得的数据来预测来年可能的利润数就是推断统计的问题了。

  描述统计的工作大多利用计算机来解决,有时也被称为数据处理,而一般统计书的重点则放在推断统计。
 
  推断统计大致可分为三大类:估计、检验、分类与选择。

  估计、检验在一般教科书中都有论述。

  例如,某种产品欲进入成都市场,产品经销商想估计一下进入市场的可能性有大,于是他以随机抽样的方式,询问1000位市民的意见,而后根据所得结果推断进入成都市场的可能性为多少,这是估计问题。

  又如某家公司想知道自己心中怀疑A牌的建材的质量是否比B牌建材的强,首先假设A比B好,然后经过试验来测定这假说是否成立,这里我们并没有估计任何参数,而只是想检验事先所叙述的假设是否成立其可靠性有多大,这是检验问题。

  还有,新制造的三种产品中那几种比目前所用的同类产品更好呢?这是选择的问题。
 
  如果我们认为统计学是由抽样以制定决策的科学,那么,我们似乎宜以十九世纪末期高尔顿爵士(Sir Francis Galton, 1822~1911)和卡尔.皮尔逊(Karl Pearson, 1857~1936)的论述作为起点。

  从那时开始,现代统计理论的发展可略分为四大思潮(时期),同时也引发了相应的争论。在这四大时期,每一阶段都是以一位伟大的统计学家的专著为先导。
 
  第一时期(1899-1915 ):描述性统计

  代表人物 :高尔顿、卡尔.皮尔逊。
 
  高尔顿,英国人,生物统计学的创立人之一。

  为了研究人的智力遗传和进化规律,高尔顿在伦敦开设了“人体测量研究所”,广泛招募志愿人员,先后采集到大量的有关人的自然属性(身高、体重)的资料,并怀着极大的热情钻研这些在外人看来枯燥乏味的数字先后出版了两本著作,一本是《关于人的能力及其发展问题》,另一本是《遗传的自然规律》(《Nature  Inheritance》)。在这两本书及相关的论文中,高尔顿提出了若干描述性统计的概念和计算方法,如“相关”、“回归”、“中位数”、“四分位数”、“四分位数差”、“百分位数”等。 英国人普莱菲(William Playfair, 1759~1823)被公认为将图形表示的概念介绍到统计学的第一人。他的著作,大多为关于经济学,多采用图形如直方图、条形图。虽然这类图形能帮助我们的直觉,但是如果想对这些数据更一步了解,我们必得进一步用某些量来描述它们。这些量包括集中趋势(算术平均、中位数、众数等)、“离差”(dispersion) 测度等。

  高尔顿自己认为,他是运用统计方法研究生物进化问题的第一人,并指出统计学不是一门让人生畏的科学,相反却是处理复杂问题的一种高级手段,它能够帮助人们从重重困难中找到一条好的出路。K 皮尔逊是高尔顿的学生,他全面继承和发展了高尔顿的统计相关与回归思想,并建立了相应的数学基础。
 
  卡尔.皮尔逊(Karl Pearson, 1857~1936)

  卡尔.皮尔逊是在读完《Nature Inheritance》一书之后,才引发了对统计学的兴趣。在此之前,K. 皮尔逊只是在伦敦大学的大学部 (University College) 的数学教员。当时,“所有知识都基于统计基础”的想法引起了他的注意。 1890年他转到格里辛学院 (Gresham College),在那里他可讲授任何他希望讲授的课程。K .皮尔逊选择讲课的题目为“现代科学的范围与概念”(the Scope and Concepts of modern Science)。授课中,他越来越强调科学定律的统计基础,后来他全神集中致力于统计理论的研究。不久他的实验室成为世界各地人们学习统计和回国点燃“统计之火”的研究中心。经由他热心的提倡,科学工作者逐渐由对统计研究不感兴趣的境地转而成为热切地努力发展新理论和搜集并研究得自各方面的数据。人们越来越深信统计数据的分析能为许多重要的问题提供解答。
 
  海伦.华克 (Helen Walker) 描述K 皮尔逊小时候的一则轶事,生动地显示他往后事业中所表现的特色 。有人问皮尔逊他所记得最早的事,他说“我不记得那时是几岁,但是我记得是坐在高椅子上吸吮着大拇指,有人告诉我最好停止吮它,不然被吮的大拇指会变小。我把两手的大拇指并排看了很久,它们似乎是一样的,我对自己说:我看不出被吸吮的大拇指比另一个小,我怀疑她是否在骗我”。 在这个单纯的故事中,海伦华克指出“不盲信权威,要求实证,对于自己对观测数据的意义的解绎深具信心,和怀疑与他的判断不同的人态度是否公平”,这些就是K .皮尔逊一生独具的特征。 根据他的儿子E .皮尔逊( E .Pearson) 的总结, K .皮尔逊对统计学发展的贡献主要体现在这么几个方面: (1) 提出和研究了复相关、偏相关的问题, (2)提出了似然函数、矩估计方法, (3) 导出了重要的卡方分布, (4) 研究了许多概率分布曲线等。
 
  高尔顿、K .皮尔逊为在开展生物遗传学研究的同时,提出了许多处理变异数据的统计方法,统计史上一般把他们的工作称作描述统计学。
 
  第二时期(1915-1928):推断统计
 
  代表人物:戈塞特(William Gosset),费雪(Ronald Aylmer Fisher)
 
  自德国牧师苏歇米尔斯(J Susmilch) 首倡大量观察到19 世纪末二十世纪初的大约一个半世纪里,大量观察法一直是统计认识思想的核心,并被理所当然地接受下来。
 
  最先发起挑战的是戈塞特(William Gosset)。基于在酿酒公司多年的实验观察,戈塞特洞察到大样本统计方法并不适用于所有场合,有的时候人们还只能根据少量观察就必须做出结论。按照他的话说,有些实验不能多次重复进行,这个时候,必须依据极少量的实验结果做出判断,像有些化学实验、很多的生物学实验和农业实验等便属于这样的情况,但是它们也应该成为统计学的研究对象。经过多年的潜心研究,戈塞特终于在1908 年导出了重要的t 分布,这是小样本统计推断的基石。以此为标志,统计学逐渐由描述统计学向推断统计学过度。
 
  1908年,化学家戈塞特(William Gosset)以 Student 的笔名发表他发现的统计量t的分布,他指出若 X 为正态分布,则 t 为自由度 n-1 的 student t 分布,这种分布相当重要,其分布数值在一般统计数表中均有列出。虽然戈塞特于1908年发现 t 分布,但是他的结果只是一种猜测,直到1926年才由费雪加以严密的证明。在此 X 为正态分布这条件非常紧要,但是即使 X 仅为近似正态分布,统计学家发现当 σ 为未知,尤其是当样本数 n 值很小时,非常适宜采用 t 分布。当 n 相当大时,S 和 σ 的差别越来越小,因此不太需要使用 t 分布数值表。
 
  大约在1915年,一个新名字出现于统计界,费雪(Ronald Aylmer Fisher, 1890~1962),他在该年发表关于样本相关系数统计量的精确分布的论文引导进入现代统计史的第二时期。紧接着他的一系列的论文和专书给统计调查带来一股新动力。有人把我们如今所采用的统计理论的半数归功为费雪(R. Fishes)成就。作为推断统计学的建立者,他在统计学上有着崇高的地位,对统计学的许多领域进行了深入独到的研究,开辟了方差分析、试验设计等统计学研究的理论分支, 小样本的统计方法,论证了戈塞特相关系数的抽样分布,提出了t 分布检验、F 分布检验、相关系数检验,并编制了相应的检验概率表,简明陈述假设检验的逻辑原则等。由于费雪(R Fishes)的突出贡献,统计史上一些人把费雪所处的时期,称为“统计学的费雪时代”。
 
  费雪还有很多其它的贡献

  参数估计量的判定准则,包括了一致性,效率性和充足性等概念,是在1921年一篇重要文献中提到的。在这类文章中,他还曾介绍极大似然估计量 (maximum likelihood estimation,MLE ) 的观念。若已知总体变量为某种分布,则样本平均数又如何分布?概率论上最著名的定理,也是在所有数学中最著名的定理之一的中心极限定理等等。
 
  据说费雪是个早熟的孩子,在很小的时候就已精通如球面三角之类艰深的学问。
 
  他曾对物理科学深感兴趣,1912年自剑桥大学得到天文学的学士学位。天文学中的误差论 (theory of errors) 使他对统计问题发生兴趣,我们提到1915年他进入统计界因为那年他发表一篇关于样本相关系数的分布的文章。这篇文章启始了对各种样本统计精确分布的研究,费雪在这方面颇享盛名。

  在这方面的研究,他深受敏锐的几何直觉的引导,得出的很多结果,后来经几个闻名世界的最杰出数学家的研究,证明了其正确性。
 
  1919年费雪离开他在中学教数学的工作,转至罗森斯得农业试验站 (Rothamsted Agricultural Experimental station),在这里,他发展出目前世界上通用的抽样技巧和随机程序。他的两本名著《Statistical Methods for Research Workers》和《Design of Experiments》分别于1925年和1935年出版,对于统计有重大的影响。后者的第二章曾列入《数学世界》,在这篇非常引人入胜的文章中,费雪提到有一位女士声称她能分辨出她的茶中牛奶是在泡茶之前或之后加入的,而后他描述一种实验计划来证明或否定该女士的声称。本来描述统计学和推断统计学只是统计学发展的两个不同的阶段,客观地说,前者是后者的基础,后者是前者的发展。可是,由于费雪的偏见,始终坚持认为,统计学就是研究如何通过样本观察达到对统计总体的认识目的,并坚持认为只有推断统计学才是统计学的实质。

   K 皮尔逊和费雪都是统计学发展过程中的标志性人物,都对统计学的发展产生过重大的影响。当看到费雪一味攻击描述统计学的时候,皮尔逊和他的一帮信徒便开始进行反击。在整个20 世纪前半期,总是不断有人提出描述统计学和推断统计学的关系问题,并且出现了相持不下的局面。为此,当代伟大的统计学家内曼(J .S. Neyman) 认为,统计学实际上是一个完整的整体。费雪之前的统计学称为描述统计学,费雪之后的统计学是推断统计学,它们之间没有截然不同的界限,只是根据时间的先后顺序大致所做的划分。 现在对这个问题已经没有多少人提出置疑了。大多数人都认为描述统计学是推断统计学的基础,推断统计学是描述统计学的进一步发展,它们之间不存在谁替代谁的问题,共同构成现代统计学的整体体系。
 
    第二次世界大战以来,统计学在描述方法和推断方法两方面取得进展,通过费雪和皮尔逊之间的争论,使人们更加明白了统计方法的体系和实质,奠定了当代统计学主流的基调。统计学从方法论的角度看,其实质就是归纳推断问题。
 
  三、“经典统计学”与“贝叶斯统计学”的争论,统计哲学观的新变化

  概率论对统计学的意义十分重大,它是统计学的理论基础。从道理上讲,现代统计学应该属于概率论的一个分支。可是,自第二次世界大战之后,伴随着应用数学的崛起,作为一门应用性很强的学科,统计学取得了令人瞩目的发展。到目前为止,统计学自身已经形成了一个庞大的学科体系,以至于人们在谈到概率论与统计学的时候,不得不把它们并列起来进行称呼, 叫做概率统计。概率有三种不同的解释,即古典解释、频率解释和主观解释。既然统计学与概率论存在着这么密切的关系,那么统计依据的概率思想的变化,必然会反映到统计学理论的研究中。所谓“经典统计学”是指以内曼和E. 皮尔逊等人为代表、以频率概率思想为基础、以置信推断为基本特征的统计学。而“贝叶斯统计学”是指以贝叶斯公式为核心、以先验信息和后验信息为综合依据、以“辩证”推断为主要特征的统计学。
 
   第三个时期(1928-1939):

   代表人物:内曼(Jerzy Neyman),和伊根.皮尔逊(Egon Pearson)。

   E.皮尔逊(Egon Pearson,K.皮尔逊之子)。

   以内曼和E.皮尔逊的共同论文多篇的发表为开端,这些论文介绍和强调诸如检验问题中的第二类错误,检验的势(power) 和置信区间等的概念。
 
   在这期间,工业界开始大量采用统计技巧,尤其是与质量管理有关的统计。并且由于人们对调查工作的感兴趣导向对抽样理论与技巧的研究,1928年内曼和伊根.皮尔逊的论文为检验与估计理论带来一种崭新的面貌。包括对许多费雪早先提出的想法的重新加以整理和修正。例如在假设检验问题中,若我们得到的结论是:若一样本的样本平均数值小于15.09则拒绝 H0。内曼和皮尔逊提出如下之类的问题:为什么我们要设15.09以左为临界域?为什么不取0.025在分布曲线极左的面积和0.25在分布曲线极右的面积成「双尾」(two tailed) 临界区域?选取临界域时必须采何种准则?我们必须要用直觉还是用严谨的数学?这里,我们得到结论会涉及两种不同型态的错误,内曼和皮尔逊命名为第一种错误和第二种错误。内曼和皮尔逊总结他们的发现归纳成为下述原则:在所有具有相同第一种错误的试验(临界域)中,我们选用具最小第二种错误的临界域。
 
    贝叶斯统计学的理论基础来源于1763 年发表的T. 贝叶斯( T Bayes) 的论文(《An Essay Solving a Problem in the Doct rine of Chances》, Phil.Trans. Roy. Soc. ) 。这篇论文在贝叶斯生前并未发表,而是在他逝世后由他的一位朋友加以整理和联系刊登的。这篇论文发表出来之后,非但没有受到人们的好评,相反却遭到了不少攻击,以为贝叶斯在玩概率计算的游戏。在大数学家拉普拉斯(P S Laplace) 借用贝叶斯方法导出“相继率”之后,贝叶斯概率思想才逐渐引起人们的重视。

    20世纪40 年代,著名统计学家沃尔德(A .Wald) 为了寻求解决内曼置信推断与费雪信念推断的争论,提出了统计决策理论,由于该理论经常要用到贝叶斯方法,从而再一次让人们感受到了贝叶斯方法的重要价值。谈现代统计学的发展,实不能不提沃尔德(Abraham Wald,1902~1950),否则必定显得不完备。沃尔德的第一篇论文关于目前常见的统计程序──序贯抽样 (sequential sampling) 的出现标志着第四时期的开始。这篇1939年的论文是沃尔德一连串论文的起始,不幸正当他的创新力处于颠峰时却由于飞机失事死于非命。

    沃尔德最大的贡献之一是他介绍一种对统计问题的新看法(1945),那就是以博弈(对策)论的观点去处理统计方面的问题,这就是今日所称的统计决策理论 (statistical dicision theory)。依据沃尔德的 观点,统计被视为以自然为对手的博弈(对策)论的艺术,这是一个相当广义的理论。虽然它牵涉到相当复杂的数学,但是平心而论,我们可以说大部分目前的统计研究人员发现采用这种新观点非常理想。沃尔德对统计理论发展的方向有重大的影响,他的“门徒” 们多成为今日统计界的领袖人物。
 
    沃尔德诞生在罗马尼亚,是正统的 (orthodox) 犹太世家,由于它的宗教信仰,使他受教育的机会受到某些限制,而必须靠自修弥补。他自修的结果竟能对希尔伯特 (Hilbert) 的《Foundation of Geometry》提出有价值的见解,他的建议列入该书的第七版中,这一事实充分显示了他的数学天赋。

  后来沃尔德进入维也纳大学并且在仅修了三门课之后就得到博士学位。在这个时期的奥地利,由于政治上的因素使他无法从事学术工作,只好接受一个私人职位,职责是帮助一位银行家增广高等数学知识,他因此对经济学深感兴趣,后来成为经济学家摩根斯坦 (Oskar Morgenstern) 的亲信助理。摩根斯坦曾与冯.纽曼 (John Von Neumann) 共同合作从事研究并奠定了博弈(对策)论 (game theory) 的基础。

    沃尔德在二次大战前到达美国,他的父母和姊妹不幸没有逃出来,结果死于纳粹的瓦斯房。沃尔德由于对经济学的兴趣接触到统计学,逐渐转向从事统计学的研究,不久竟成为一位杰出的理论统计学家。

  除了统计决策理论之外,沃尔德对统计还有很多重要的贡献。在此我们提出主要的一个,就是序贯分析。虽然这个理论可能不是他所首创,但却是他发展完成的(1943)。这个技巧在减少生产制程中的抽样数方面非常重要,二次大战期间曾被列为机密。
 
  从20 世纪70 年代起,贝叶斯方法在社会经济、商业活动等领域取得了显著的应用效果,以至于贝叶斯统计学逐渐形成了一股越来越强大的力量,甚至有超过经典统计学之势。为此不断有人提出来,要用贝叶斯统计学取代经典统计学。贝叶斯统计学之所以能够取得重大进展,其中的重要原因之一,就在于经典统计学自身存在着难以克服的“缺陷”。参数估计与假设检验构成经典统计学的两大基本内容。下面,我们围绕着这些问题对经典统计学存在的“缺陷”进行介绍。
 
    以点估计为例。经典统计学通常要求, 作为总体参数一个优良估计量,它要具有无偏性,即θ估计的数学期望等于总体参数θ。这表明,从总体N 个单位中按随机性原则抽取n 个单位组成样本,如果对每一个样本都计算一次θ的估计,则总共 CNn 个θ估计值的算术均值应该等于θ。可是实际中,人们往往只能根据一次抽样观察做出估计,显然就不可回避这样的问题, 在一次抽样观察中用去θ的估计去估计θ, 其优良性如何去评估呢? 对此,按照经典统计学的理论是不好给出确切说明的。参数假设检验为例, 经典统计学在进行假设检验的时候,事先要提出一组假设,那么原假设和备择假设的提法一般是有讲究的。它要求要把带有倾向性的意见当作备择假设, 而把与备择假设相对立的假设作为原假设。这对某些问题的研究可能没有什么困难, 因为倾向性的意见很容易形成, 可是, 对那些倾向性不甚明显的检验问题,要确立原假设和备择假设可能就没有如此轻松了,这是经典统计学在参数假设检验中面临的一重缺陷。除此之外,假设检验也存在如同参数估计解释那样的问题。经典统计学出现这些问题, 主要是其依据频率概率思想使然。在经典统计学家看来,概率就是统计频率趋于极限时的值,如果没有大量的、能够重复进行的观察,也就谈不上对概率的认识。

    对于经典统计学的上述缺陷, 在贝叶斯统计学中是不会出现的。贝叶斯统计学不把总体参数看成是唯一的、不变的量,相反它认为总体参数也是一个随机变化的量,如果这样,那么就没有必要像经典统计学那样对统计推断的结果做迂回的解释, 完全可以将估计结果直接进行解释。统计学家伯格(J Berger) 曾经指出,同贝叶斯统计学相比较,经典统计学主要依据样本事实说话。贝叶斯统计学对此持不同的看法,认为,尽管总体参数确切的数值不知道,但是人们多多少少总有点经验知识,不可能处于一种完全无知的状态,所以贝叶斯统计学认为,在进行统计推断的时候,如果能把样本调查信息和研究人员关于总体参数的先验知识有机结合起来,统计推断的可靠性必然就有更多的保障。

    在贝叶斯统计学中,先验信息主要包括:通过历史资料计算出来的概率(频率) ,运用古典概型方法确定出来的概率,人的主观判断概率。经典统计学只利用了样本调查信息,而贝叶斯统计学不仅依据样本(后验) 信息,并且还利用先验信息,那么从认识论的角度讲,贝叶斯统计推断的结果,其说服力似乎更强一点。但是贝叶斯统计学赖以与经典统计学叫板的地方,恰恰是贝叶斯统计学受到质疑的地方。比如,把总体参数也当成是随机变化的量是否妥当,如果人们对总体参数确实知之甚少时,又如何谈得上利用总体参数的先验知识。可以说,这两点是贝叶斯统计学一直面临的主要难题。尽管人们现在已经研究了许多有关总体参数的先验分布的确定办法,比如:扩大样本观察法,最大熵原则,共轭分布法,杰斐莱原则等,但总不能让人感到十分信服。也许这些问题,从贝叶斯统计学本身是难以寻找到出路的。在许多情况下,如果不考虑其中涉及到的统计思想和概率理论基准,用贝叶斯统计方法导出来的结果与经典统计学几乎没有二致。
 
    有些统计学家在不断进行尝试,以期在贝叶斯统计学与经典统计学之间建立某种联系,目前已经取得了一定的成果。贝叶斯统计学与经典统计学不存在谁要取代谁的问题,解决二者之间争论的最好办法,恐怕还要着眼于相互取长补短,一切以能得到良好的统计推断为根本目的。

  另外,除了上述四大统计思潮(描述(高尔顿 、K.皮尔逊)、推断(费雪、内曼和E.皮尔逊 、沃尔德))外,1933年俄国数学家柯摩哥罗夫 (Kolmogorov) 发表《Foundation of the theory of probability》为统计学理论奠定了逻辑基础。
 
  四、信念统计学与经典统计学、贝叶斯统计学的争论,需要继续研究统计推断的科学化问题

  对于经典统计学存在的不足,费雪很早就意识到了这一点。为了解决这一问题,他另辟蹊径,重新建立了自己的统计推断体系,即信念统计推断。凭借着费雪的崇高威望,一开始他的信念推断思想还是受到统计学界的重视的。可是由于费雪本人没有给出信念推断中的核心概念———似然率、信念概率、信念分布、信念水平等范畴明确的界定;并且信念推断对总体参数统计量精确分布的推导要求比较严格,尤其是对多参数的统计推断问题,信念推断方法可能存在更为严重的复杂性,远不如经典统计学来得那么简单易行;所以越来越多的统计学家便放弃了费雪信念推断统计的研究。
 
  不过即使如此,仍然有一部分费雪的追随者继续从事着信念推断统计学的完善和修补工作,在这方面比较有代表性的人包括福雷泽(D S Fraser) 、威尔金森( G Wilkinson) 、塞登费尔德( T Seidenfeld) 等。
 
  费雪信念统计思想认为,概率虽然在统计学中占有很重要的地位,但是把统计学完全建立在概率论的基础上,同统计推断方法的主旨有一定的冲突,首先概率论尽管是研究随机现象的数学方法,但它基本上仍然想仿照演绎数学的做法,沿袭着从总体到样本的推理方式,然而统计学的实质是由样本到总体的归纳推断,因此,传统的概率语言便不再合适,取而代之的比较好的表述就是数学似然率。那么至于什么是似然率,费雪并没有解释清楚,后来有的统计学家经过仔细推敲后认为,费雪所说的似然率可能就是从样本资料中提炼出来的概率。
 
  同内曼的估计理论相比,费雪的信念推断统计把样本看成是固定不变的,主张总体参数是随机变化的,强调所谓统计推断就是由一次具体的调查结果去对总体进行有效的认识。正因为如此,在费雪的信念统计推断中,把提高样本对总体的代表性当作了一项重要的任务,把如何充分地利用样本信息当作了统计量构造好坏的一个重要标准。在参数假设检验方面,费雪信念统计推断也采用了不同于经典统计学的表述方法;费雪认为,统计假设检验的根本目的,在于做出拒绝的判断,而不是为了接受某个假设。他认为经典统计学假设检验的显著性水平是事先就给定的,正确的做法应该要由样本事实和研究人员的信念来确定,而这样的信念是有着客观的心理基础的,并且比事先对假设命题任何精确的概率描述可能更好。

  所以,费雪的信念推断统计思想对显著性水平的认识,也有别于经典统计学。
 
  费雪信念统计学对贝叶斯统计学始终耿耿于怀,竭力否认贝叶斯统计学利用先验概率的理由和做法,费雪之所以提出信念概率,在很大程度不能不说与取代贝叶斯的先验概率有关。在费雪看来,先验概率带有随意性,不如基于样本观察的信度来得可靠和客观。
 
  小 结

  第一次争论的贡献在于,明确了统计学方法论的特征以及它的研究对象,
  描述统计学与推断统计学的争论,进一步巩固和丰富了现代统计学的整体体系。应该说,这两次争论基本上取得了定论性的结论。

  可是经典统计学、贝叶斯统计学、信念统计学之间的争论,仍然处于一种胶着状态,每一种理论都有自身的长处和不足,很难断言哪一种统计思想就一定能取代另一种统计思想。
 
  尽管费雪生前没有能完善自己的信念统计学体系,但不能因此而全盘否认其中蕴涵的独特的统计推断思想的某些光辉之处。实际上,信念统计学与贝叶斯统计学确实存在着相通的地方,比如它们都把总体参数看成是一个可以变化的量,都把统计似然方法当作主要的统计推断手段,尤其让人感到有趣的地方是,依据不同的统计推断思想,它们导出来的结论,在一定的场合下没有什么大的差别。

  经典统计学虽然存在着自身难以克服的缺陷,但是它容易理解,并且使用起来也相当简单。统计学发展到今天,其方法论的特征基本上是推断性质的,推断是现代统计学的主流。

  为了使统计推断的思想更加科学,统计认识更加客观,应该博采众家之长,相互吸取优秀的成分,最终完善统计推断的科学体系。
 
(作者:黎实  来源:西南财经大学统计学院)