伯努利大数定律由什么推导？伯努利试验及大数定律
伯努利大数定律由什么推导？伯努利试验及大数定律但是 如果我们研究一副纸牌中的两张牌 一次只能抽一张 并认为黑色纸牌是成功 那么在抽完第一张纸牌后再抽第二张纸牌时 独立性就丧失了。这是因为 如果第一张牌是梅花A（一次成功） 那么它将影响第二次的抽取结果——它使得第二次抽出黑色纸牌的可能性减小 第二次抽出A的可能性也减小 而且绝对不可能还是抽到一张梅花A。当我们做试验时 有一个关键的条件：这些重复的试验必须是相互独立的。独立一词不仅有专业定义 而且还传达了适合我们目标的含义：如果一个事件的结果绝不会对另一个事件的结果产生影响 那么这两个事件就是相互独立的。例如 史密斯生一个儿子与约翰逊生一个女儿是两个相互独立的事件。又例如 投掷一枚一角硬币与投掷一枚一分硬币的结果（正面或反面）也是相互独立的 一枚硬币的结果不会对另一枚硬币的结果产生影响。 伯努利试验是一个有两种结果的简单试验。它的结果是成功或失败 黑或白
作者 | [美]威廉·邓纳姆(Willian Dunham)
翻译 | 冯速
来源 | 节选自《数学那些事：伟大的问题与非凡的人》，人民邮电出版社，2022年3月。[好玩的数学]获授权转载，在此感谢！
首先 伯努利试验不是佛罗伦萨的一道法律程序 而是初等概率论的基础 在我们对不确定世界的理解中起着重要的作用。
伯努利试验是一个有两种结果的简单试验。它的结果是成功或失败 黑或白 开或关。没有中间的立场 没有妥协的余地 没有优柔寡断的安慰。
这样的例子太多了。我们观察从一副纸牌中拿出的一张牌 它或是黑色或是红色。我们接生一个婴儿 这个婴儿或是女孩子或是男孩子。我们经历24小时的一天 或者遇到流星或者遇不到流星。在每一种情况下 很方便设计一种结果为“成功” 另外一种结果为“失败”。例如 选出一张黑色牌、生一个女儿、没有遇到流星都可以标识为成功。然而 从概率的角度看 选择红牌、儿子或者遇到流星为成功也是不会产生差异的。在这种场合下 成功一词没有价值取向的色彩。
单个伯努利试验没有太大的意义。然而 当我们反复进行伯努利试验 并观察这些试验有多少是成功的、多少是失败的 事情就变得很有意义了 这些累计记录包含很多潜在的非常有用的信息。
当我们做试验时 有一个关键的条件：这些重复的试验必须是相互独立的。独立一词不仅有专业定义 而且还传达了适合我们目标的含义：如果一个事件的结果绝不会对另一个事件的结果产生影响 那么这两个事件就是相互独立的。例如 史密斯生一个儿子与约翰逊生一个女儿是两个相互独立的事件。又例如 投掷一枚一角硬币与投掷一枚一分硬币的结果（正面或反面）也是相互独立的 一枚硬币的结果不会对另一枚硬币的结果产生影响。
但是 如果我们研究一副纸牌中的两张牌 一次只能抽一张 并认为黑色纸牌是成功 那么在抽完第一张纸牌后再抽第二张纸牌时 独立性就丧失了。这是因为 如果第一张牌是梅花A（一次成功） 那么它将影响第二次的抽取结果——它使得第二次抽出黑色纸牌的可能性减小 第二次抽出A的可能性也减小 而且绝对不可能还是抽到一张梅花A。
幸运的是 这种独立性的缺失可以通过一个简单的对策加以弥补。在抽取第一张纸牌之后 把它放回到原来的纸牌中 重新洗好 然后再抽。因为我们的第一张纸牌已经重新混入到原来的纸牌中 所以它的身份对第二次抽取已经不再产生影响。在这种意义下 独立事件要求为每一次试验创造一个不留痕迹的平台 从而使得每次试验成功的概率保持相同。
伯努利试验最鲜明的例子出现在博弈游戏中 例如投掷硬币或者骰子。对于硬币来说 每一次投掷显然是独立的 因此在每次投掷时成功的概率（比如说得到正面的概率）是相同的。说一枚硬币是“平衡的” 意思是这个概率正好是1/2。对于一枚均匀的骰子 如果我们指定投出3是成功 那么我们成功的概率总是1/6。
但是 如果我们投掷一枚硬币五次会发生什么呢？在这五次投掷中得到三个正面和两个反面的概率是多少呢？推而广之 如果我们投掷这枚硬币500次 得到247次正面和253次反面的概率是多少呢？这是一个看似噩梦般的问题 但是它的解却出现在早期的概率论杰作之一——雅各布 • 伯努利（Jakob Bernoulli 1654—1705）的《猜度术》之中。
伯努利是瑞士本土人 他的祖父、父亲和岳父都是富裕的药剂师。他抛弃了臼和研棒 去大学研究神学 并于22岁那年获得了学位。然而 尽管他的家族都与医药有关 并且他接受的是布道方面的教育 但他真正感兴趣的却是数学。
从17世纪70年代末开始直到去世 伯努利一直都是世界上最杰出的数学家之一。他是一个天才 却有着令人讨厌的个性 他目空一切 对那些不具天赋的人的努力嗤之以鼻。例如 在研究了我们今天所谓的“伯努利数”（为了纪念他而命名）之后 伯努利找到了对正整数幂求和的一种非常巧妙的捷径。他说“自己用了不到七分半钟”就确定了前1000个正整数的十次幂的和。也就是说 他用了不到十分钟就确定了下面的结果：
这的确是个巨大的和。但是他在一份亲自主笔的评论中自我标榜说他的捷径“清楚地表明布里奥的工作是多么无用……他（布里奥）不过是费了好大劲计算了上面的前六个幂的和 而我用一页纸就完成了全部计算”。这个人对可怜的伊斯梅尔 • 布里奥（Ismael Bullialdus）没有一点同情心 他不仅拥有一名数学家的非凡洞察力 而且也不同寻常地自负。
雅各布 • 伯努利的巅峰时期正是戈特弗里德 • 威廉 • 莱布尼茨发现微积分的时期 雅各布是普及这一丰硕成果的重要人物之一。同任何新发展起来的理论一样 微积分得益于那些紧跟其首创者脚步的人 得益于那些才华不如莱布尼茨的学者 他们的贡献是对这一门学科加以整理 这是必不可少的。雅各布就是这样一位贡献者。
[瑞士 巴塞尔 Birkhäuser Verlag AG出版社许可翻印 这是1969年由弗莱肯施泰因(J.O. Fleckenstein)编辑的《雅各布 • 伯 努利全集 卷1：新星 自然哲学》中的一幅画像]
在这项事业中 他有一位令人不安的同盟者约翰（Johann 1667—1748）——他的弟弟 与他的名字首字母相同 这就是极富才华但爱争吵的伯努利兄弟。事实上 雅各布曾充当他弟弟的数学老师的角色。在之后的岁月里 他也许后悔把约翰教得如此好 因为事实证明这位弟弟是一位与他不相上下的数学家 甚至也许超过了他。兄弟二人为争夺数学霸权展开了激烈竞争。当约翰解决了曾经难倒哥哥的某个问题时 他总是毫不掩饰自己的兴奋 尽管雅各布故意叫约翰为他的“小学生” 暗示约翰只是在效仿他这位导师。这两个伯努利都算不上是高尚的人。
一次著名的冲突起源于悬链线的问题。悬链线是固定在墙上两点的悬链所形成的曲线（见图B-1）。熟悉代数的人也许猜测这条链沿着一条抛物线弧垂悬 这样一个完美的合乎逻辑的猜测早在17世纪初就被伽利略这样的人物想到了。但是这样悬挂的链其实不是抛物线 到了1690年 雅各布 • 伯努利正在为确定这条曲线的真实身份而非常努力地研究着 也就是说 他要给出它的方程。
图 B-1
事实证明 雅各布不能胜任这项任务。当约翰给出答案时 不难想象雅各布惊讶的样子。后来约翰在炫耀他的胜利时说 为了这个解决方案“我全身心地去研究 整晚不休息”。他气人的本领与他的才华一样出色 约翰匆匆忙忙跑到雅各布面前 告诉一直苦思冥想的哥哥问题的答案。雅各布一下子垂头丧气。
但是 雅各布要实施他的“报复”。这一次的战场是所谓的等周问题 说的是从有相同周长的曲线中 区分出哪条曲线围出的面积最大。我们将在第I章中更详细地讨论这个问题 但是现在可以先看一下雅各布 • 伯努利在1697年是如何运用微积分来描述这个问题的。他要对付一个难缠的叫作三阶微分方程的数学对象 这项工作为一个现在称为变分法的新数学分支指出了道路 这一分支有着广泛的研究前景。
弟弟约翰与他的意见不同 并说已经用一个相对简单的二阶微分方程解决了这个等周问题。如同以往伯努利家的情况一样 他们的争吵变成对抗 最终只是因为缺少“弹药”而停止。
约翰·伯努利（卡内基-梅隆大学图书馆惠允）
然而 这次是雅各布笑到了最后 因为弟弟的二阶微分方程是不正确的。遗憾的是 实际上雅各布没有机会大大嘲笑一番 哪怕是微微冷笑 因为在1705年他就去世了 而当时约翰对这个问题的错误解仍然神秘地密封在巴黎学院的办公室。有这样一种推测 约翰已经认识到了自己的错误 并设法把这个错误偷偷地掩藏起来 这样就不用忍受公开的羞辱 让哥哥看笑话。
这些趣事充分展现了他们兄弟之间的不和 因此发生下面的事也就一点都不奇怪了。当时人们都认为约翰是编辑他刚去世的哥哥的论文的最合适的人选 但是雅各布的遗孀却阻止了这件事 因为她担心有报复心的约翰会破坏雅各布留下的数学遗产。霍夫曼（J. E. Hofmann）在《科学家传记大辞典》中对雅各布的个性也许做了最好的描述：“他任性、固执、好斗、有报复心 而且受自卑心的困扰 但是他对自己拥有的才能还是有自信的。因为有这样的个性 所以他必然会同有相同个性的弟弟发生冲突。”的确 雅各布和约翰是因傲慢自大而自毁名声的那种人。
暂且不谈他们兄弟之间的竞争 我们回到前面提到的概率问题：如果投掷一枚均匀的硬币五次 产生三次正面和两次反面的概率是多少呢？在《猜度术》中 雅各布 • 伯努利给出了一般规则：如果我们重复操作n m次独立试验（即n m次伯努利试验） 其中任意一次试验成功的概率是p 而失败的概率是1-p 那么正好得到n次成功和m次失败的概率由下面的公式给出。
为了化简上面这个公式 数学家引入了阶乘的记法：
例如 3!=3×2×1=6，5!=5×4×3×2×1 =120。（注意 阶乘中的感叹号不是要求我们大点声说话。）由于有了这样便利的记法 伯努利结果则化简成：
因此 在投掷一枚均匀的硬币五次之后 得到三个正面的概率就是设n=3，m=2，p=Prob（投出一个正面）=1/2。于是有
同样 为了求投掷一枚骰子15次 正好得到五个4的概率 我们声明得到一个4是“成功” 且指定值：
于是经过15次独立的投掷 得到5个4的概率是
这是几乎不可能发生的事情。
回到早前的一个问题 投掷一枚硬币500次 得到247次正面和253次反面的概率是
这个结果尽管正确 但这个概率太复杂 无法手算得到 而且即使有一个高级的袖珍计算器也无法实现计算500!这样大的数的愿望（对此怀疑的人不妨试一试）。我们将在第N章看到近似求解这种概率的一项技术。但是 即使无法这样直接计算 这个公式在理论上也还是很完美的。它是求任意一系列独立伯努利试验概率的关键技术。
遗憾的是 日常生活中的大多数事件实际上比投掷硬币复杂得多 这几乎是太纯粹的概率状况。确定一个25岁的人能活到70岁以上的概率 或者确定下一个星期二的降雨量超过一英寸（25.4毫米）的概率 或者确定一辆正驶入交叉口 的汽车要右转弯的概率 求解这些问题绝不是一件容易的事。这些事件因为现实世界的纷繁复杂而使人一筹莫展 正如雅各布说的那样：
我要问 列举所有可能的情况 能够确定在人身体不同部位、不同年龄段折磨他的致命疾病的数量吗？或者说 假如能够确定一种疾病比另外一种疾病更具有致命性 如瘟疫比水肿更能致人死亡 或水肿比发烧更能致人死亡 那么基于这样的认识就能够预测未来一代人的生存与死亡之间的关系吗？[6]
这样的概率超出数学的范畴了吗？概率论只能被归类于模拟博弈游戏吗？
伯努利在那本也许是他最伟大的遗产《猜度术》中 针对这个问题给出了非常有力的回答。事实上 他把这个问题称为他的“黄金定理” 并写道：“就其新颖度和其强大的实用性而言 再加上其较大的难度 这一定理因其分量和价值已经成为这一学说之最。”今天所谓的伯努利定理就是通常所说的大数定律 它被认为是概率论的中流砥柱之一。
为了对它的性质有所了解 再次假设我们正在进行独立的伯努利试验 其中每一次试验的成功概率为P。我们知道操作的总试验次数 称其为N 而且还知道结果成功的试验次数 称其为x。于是分数x/N就是我们观察到的成功的次数比例。
例如 如果投掷一枚均匀的硬币100次 产生47次正面 则观察到的正面比例是47/100=0.47。如果再将这枚硬币投掷100次 又产生55次正面 则总的成功比例是
没有什么理由阻止他人再把这枚硬币投掷100次 或者投掷1亿次 只要掷硬币的人不厌其烦。关键的问题是经过长时间的操作 成功的比例 x/N 会发生什么变化呢？
当试验的次数增加时 应该没有人对发现这个比例接近0.5而感到惊讶。一般来说 当 N 变大时 我们会看到 x/N 的值趋向一个固定的数p 这是任何一次单次试验的成功的真概率。所以 这里就显示出这个定理的威力 当成功的概率p未知时 在较大次数的试验当中 成功的比例p应该是的一个较好的估计值。用符号表示 我们应该写成
当N较大时（的意思是“近似等于”）
加上少数几个重要条件 这就成了大数定律。伯努利定理之所以如此著名 并不是因为它道出了一个真理 而是因为很难用严格的论据加以证明。雅各布自己也以他那极具代表性的尖刻语言承认“即使是最笨的人也应该可以本能地理解（大数定律）”。然而 为了给出这个定律的正确的证明 他付出了二十年的努力 给出的证明占据了《猜度术》好几页。事实证明 他的评论“这一原理的科学证明并不是那样简单”是有意轻描淡写的陈述。
我们应该说说前文提到的关于伯努利定理的“重要条件”。因为它本质上是一个概率陈述 所以它应该是随时可能发生的不确定性。我们不能绝对确定投掷一枚硬币1000次产生正面的比例将比仅投掷100次产生正面的比例更接近0.5。完全有可能投掷100次时产生51次正面 而且有可能投掷1000次时只产生486次正面。因此这个“小样本”估测x/N=51/100=0.51实际上应该比“大样本”估测 x/N=486/1000=0.486 更接近投掷正面的真实概率。完全有可能发生这样的事情。
这样说来 如果我们再投掷1000次 那么每一次投掷都产生正面也不是完全没有可能的。有可能产生一个惊人的结果 2000次投掷产生1486次正面 于是估测概率是1486/2000=0.743。在这样的情况下 大数定律似乎已经不好使了。
但事实并非如此。因为雅各布 • 伯努利证明的是 对于任意给定的小容差 比如说0.000 001 估测概率x/N与真实概率p的差是这个小容差或者比它更小的可能性可以接近于1 条件仅仅是增加试验次数。只要做足够多的试验 我们几乎可以肯定 或者使用伯努利曾经使用的词语道义上肯定 我们的估测值x/N与真实概率p之差一定在0.000 001以内。当然 我们不能百分之百确定p与x/N之差小于0.000 001 但是大量的试验可以让我们充分肯定这种推断不至于太离谱。
上述情况 即投掷均匀硬币2000次而掷出正面的概率被估测为0.743 其可能性有可能小于一个人在看本章时遇到流星的概率。另外 即使出现了这样一个不可能的估测值 伯努利仍然非常自信地声称 通过做大量的试验 比如2000次、200万次或更多 这个比例x/N肯定趋向于0.5。
要强调的是 即使对于这样少的限制条件 大数定律仍然是可证明的 这一点很重要。这不同于我们在生活中遇到的其他著名定律 如墨菲定律和万有引力定律。它们要么是被普遍认可的陈词滥调（如墨菲定律） 要么是被高度赞誉的物理模型（如万有引力定律） 都要随时根据证据而被修正。但是大数定律是一个数学定理 而且已经证明在必须遵守的逻辑限制之下 它永远成立。
另外 它有自己的用途。保险公司用于调整精算表格的生存概率就是依据大量类似试验（例如人的存活和死亡）的结果。天气预报员预报的下雨概率也是如此。
或者考虑这样的例子 回到18世纪 求一位妇女生一个男孩而不是女孩的概率。如何能够用某种先验的方式计算出这一概率呢？遗传的复杂因素严重破坏了事先用某种纯理论方法确定生一个男孩的概率状况。于是 我们被迫起用“既成事实”或者事后验证 以伯努利定律为武器进行处理。
在18世纪早期 这个特殊的问题就一直萦绕在英国人约翰 • 阿巴思诺特（John Arbuthnot）的头脑之中。如同其他前人一样 他从人口调查记录中注意到每年出生的男孩比女孩稍微多一些 并认为这种不平衡已经存在“好多年 不仅在伦敦 而且在全世界”。阿巴思诺特试图借助“上帝之佑”来说明这一现象。几年后 雅各布和约翰的侄子尼古拉斯 • 伯努利继承了家族拥有的数学天分 运用大数定律得出结论：生男孩的概率是18/35。换句话说 大量的出生记录显示出一种显著而稳定的趋势 男女比例18比17。伯努利定理“不仅在伦敦 而且在全世界”得到应用。
直到今天 它仍在起作用。一项被称为蒙特卡罗方法的技术在伯努利定理和计算机强大威力的帮助下已经变得非常重要 因为它能够帮助科学家以概率的模式模拟大范围的随机现象。下面就是蒙特卡罗方法的一个相当简单的示例。假设我们希望求得一个不规则形状的湖面的表面积。我们可以沿着湖边走 或者俯拍一张照片 但是湖的弯曲和其表面上的不规则边界使得很难用任何数学公式确定其面积。
假设我们的湖呈图B-2中阴影的形状 我们已经在图上给出了和的坐标。因为我们计划在第L章中重温这个例子 所以选择了一个形状比较规整的湖 是一个以轴和方程为的抛物线为边界的湖。
图B-2
我们将用概率方法估测它的面积。首先 如图所示在的矩形内圈出一个区域。其次 任由计算机在这个矩形内寻找任意多个(x y)点。例如计算机也许能够找出如图所示的两个点A=(3.5 7.3) B=(6.0 13.7)。
现在 我们要问计算机：这些随机的点是落在这个湖内还是落在了湖外？在我们的例子中 这个问题很容易解决。检验点A 我们在抛物线方程中令x=3.5 于是求得对应的值。这表明点(3.5 15.75)在抛物线上。于是比对点A来说 点A的第一个坐标相同 而第二个坐标只有7.3 它落在了抛物线的里面 即在湖内。
类似地 当考虑点B时 我们在抛物线方程中代入它的第一个坐标 得到对应值。因此点(6 12)在抛物线上 所以点B(6 13.7)落在抛物线外面 砸到了干干的地上。计算机只需要几毫秒的时间 就能选择很多随机的点 并确定它们是在湖内还是在湖外。
现在看一下根据蒙特卡罗方法的关键观测：随机选出的点落入湖内的精确概率记为p 它是湖面占据矩形的面积的比例 即
当然 我们只有先知道这个湖的面积（这正是我们要求的未知量）才能计算出这个概率。但是 我们能够根据x/N来估测点落入湖中的概率p 即落入抛物线内部分的比例。利用长期的成功比例来近似真实概率 这本身就是大数定律的直接运用。
对于这个例子 我们的计算机在矩形内选出500个点 而且发现其中有342个点落入湖内。因此 我们估测
经过交叉相乘之后 这个估测值是
因此 在没有借助其他任何东西 只是利用了伯努利大数定律的情况下 我们就得到了湖的面积的粗略的近似值。
我们如何能够得到一个更精确的估测值呢？我们只简单地让计算机在这个矩形内选出5000个点而不是500个点。在这个例子中 它发现其中有3293个点在这个湖内 因此得到
所以也有
当然 我们还可以让计算机选择50 000个随机点 或者500 000个点 或者不惜耗电让它选出任意多个点。那么 我们会更加有信心得到这个抛物线形湖的面积的估测值。
这是一个初等的模拟实例 现实世界中很多更加奇妙的现象都可以利用蒙特卡罗方法加以研究。另外 正如我们将在后面看到的那样 例子中的抛物线的面积实际上可以用积分方法精确地得到。但是这个例子仍然让我们感受到了概率的威力。
自从雅各布 • 伯努利证明他的伟大定理以来已经过了三个多世纪。他原来的论证已经被更加有效地反映这一事物本质的简化版本所取代 这样的情况在数学中很常见。今天的标准证明是根据俄罗斯数学家切比雪夫的一个结果 此人我们在第A章中遇到过。这一方法 以及如期望值、随机变量的标准差等一系列概念使得我们能够把大数定律的证明简化到一页纸上 同时表明伯努利的证明的确很麻烦。然而 以伯努利所不具有的宽容精神 我们将坚决抵制下面这样的念头：仅因为伯努利的证明需要一章篇幅才能讲清 而“我们只需要一页纸就可以完成这项工作” 就把他的工作贴上“无用”的标签。
这就是进步的常态。但是 在全人类的奋斗历程中 我们最好要记住这些前辈。正如今天的音响技术播放出的音乐要远远优越于19世纪留声机播出的刺耳声音 现代概率论也缩短并简化了伯努利的大数定律的证明。尽管一系列的进步已经说明托马斯 • 爱迪生的原创是多么陈旧 但是我们仍对他满怀敬仰之情。同样 我们也应该为伯努利自感骄傲的黄金定理而给予他同样的尊敬。
《数学那些事：伟大的问题与非凡的人》
作者：[美]威廉·邓纳姆（William Dunham）
出版社：人民邮电出版社
出版时间：2022-03
