快捷搜索:  汽车  科技

数据技术和架构:数据分布和复杂系统

数据技术和架构:数据分布和复杂系统在坐标轴上,这是一个头部严重向左靠拢,还拖着长长尾巴的分布形态。这样的数据图形表现就被称为“幂律分布”。如果画一张道·琼斯工业指数月度变化图,聚集在平均线上的点很少,大起大落的情况却很多。道·琼斯工业指数平均每5年就会发生一次降幅达10%以上的情况。20%甚至更高的股市跌幅,仅是20世纪就发生了9次。正态分布和肥尾分布肥尾分布很像正态分布,但肥尾分布的曲线两端下降更慢更长,就像拖着一根又大又长的尾巴,也就意味着相比正态分布,它的极端值发生概率更高。肥尾分布在经济学,政治学,物理学都可以遇到。例如,某个投资策略可能在一年后获得预期收益。假设这个策略符合正态分布,其失败的可能性(负回报)小于百万分之一。但在实践中,它失败的可能性高出许多。

这是连接上一篇的学习笔记。

正态分布

正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。平均数周围的得分在总体上占到大多数,平均数上下1.96个标准差的得分,占到95%的总体。

正态分布最直观的例子是人的身高。以中国为例,大部分成年男子的身高平均值在1.7米左右,极端高和极端矮的情况极为罕见。如果以身高为横坐标,以取得此身高人数或概率为纵坐标,得出来的分布曲线是钟形的——中间部分很高,几乎每个人都在平均身高上下12厘米左右,越往两边,衰减越明显,也就是人数越稀少。

正态分布在日常生活中很常见,除了身高,还有情商、智商,某地河流的水位,某种电子管的使用寿命,在特定生产条件下生长某种农作物的产量等。

数据技术和架构:数据分布和复杂系统(1)

正态分布和肥尾分布

肥尾分布

肥尾分布很像正态分布,但肥尾分布的曲线两端下降更慢更长,就像拖着一根又大又长的尾巴,也就意味着相比正态分布,它的极端值发生概率更高。肥尾分布在经济学,政治学,物理学都可以遇到。

例如,某个投资策略可能在一年后获得预期收益。假设这个策略符合正态分布,其失败的可能性(负回报)小于百万分之一。但在实践中,它失败的可能性高出许多。

如果画一张道·琼斯工业指数月度变化图,聚集在平均线上的点很少,大起大落的情况却很多。道·琼斯工业指数平均每5年就会发生一次降幅达10%以上的情况。20%甚至更高的股市跌幅,仅是20世纪就发生了9次。

幂律分布

在坐标轴上,这是一个头部严重向左靠拢,还拖着长长尾巴的分布形态。这样的数据图形表现就被称为“幂律分布”。

数据技术和架构:数据分布和复杂系统(2)

幂律分布

二八法则、马太效应、Zipf定律等,它们并非严格意义上的理论、法则或定律,都不过是幂律分布衍生出来的通俗定律。

财富、股市、金融市场等,遵循幂律分布。

线性系统

线性linear,指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数为常数的函数。以前的科学基本都是以还原论为基础,线性的看待世界。

复杂性系统-非线性系统

只要有人参与的事情,科学们都有些捉襟见肘,没有一个能正确地分析和预测,因为这些事情无一例外地都呈现出非线性的特性。举个简单的例子:

如果将一块石头向空中扔出去,根据物理规律,我们能够判定石块会沿着一条抛物线的轨迹飞出去,落下来。但是,如果把石头换成一只活生生的小鸟呢?在我们把它扔出去前,你能预知它会飞向哪个方向吗?别说你了,就连科学家们也只能靠猜。小鸟的运行轨迹绝对不会像与它体重相同的石块一样。就连孩童都知道原因——小鸟有生命力,会飞。扔出去的小鸟朝哪飞就是非线性的。所有复杂系统都有着不均衡和非线性的特性。

凡是人参与的事情都是复杂性系统,就连人本身都是系统性系统

应对复杂系统的方法

相信概率,同时也要相信运气。

如果你千算万算还是输给了运气,比如:胜率99%,赔率1%,效用计算后为正,结果那1%发生了,此时你最正确的做法就是——随它去吧!

在复杂系统中如何生存-向火鸡学习风险

风险和概率无关,只和伤害的大小相关。

在投资中,有些机会胜率超高,可能达到99%,但就是那个1%的亏损概率,就能造成极大伤害。时间越长,意外几乎必然会发生,而且很难预测,这就是黑天鹅现象的主旨。其实,我们不怕意外,但怕的是意外的伤害是否会大到无法想象。

第一,永远都要未雨绸缪。

晴天修房是个真理,牢记,牢记!

第二,尽可能去定义任何最坏的情况,并评估会造成的损失。

解决恐惧的办法就是定义恐惧,解决风险的最好办法同样也是定义风险。通过做出各种最坏的假设,你可以把黑天鹅变成灰天鹅,因为只要事前能预估伤害,就可以安排相应的措施。

第三,遭遇极小概率的意外时,让自己有机会从中“得到好处”。

这是《黑天鹅》作者塔勒布另一本书《反脆弱》中提到的概念。你可以把一小部分的资金放在如果极小事件发生就会受益的机会里,虽然大多数情况下,这些资金会亏掉,但因为资金小,所以伤害并不大。可是,一旦发生偶然的意外,你就会得到极大的好处。比如上一篇笔记里说的,买入安全资产或对冲期权

最后附上火鸡的故事

数据技术和架构:数据分布和复杂系统(3)

话说有一只火鸡,它出生在一个美丽的农场。

从它记事起,每天都有一个人按时来喂它可口的食物,风雨无阻。

随着每次喂食,这只火鸡越来越相信,那个每天都来的人类,绝对是因为真爱才来给它喂食。

它的信心也随着喂食次数的增加而增加,安全感也越来越高。

这就像人类对统计的信任一样,样本越多,越笃信未来也会像过去历史一样运行。

直到1000天以后,也就是感恩节前一个星期三的那个下午。

说明:学习中,参考并引用了坤鹏论的文章。

猜您喜欢: