最大似然估计量和最大似然估计值（数据科学之最大似然估计）

最大似然估计量和最大似然估计值（数据科学之最大似然估计）如果上述概念不好理解，某种意义上，似然函数可以认为是条件概率的逆反。（什么？条件概率你不懂？没关系，明天我们就来好好学习条件概率，学习学习贝叶斯公式）L(θ) = L(x1 x2 … xn;θ) = Π P(xi;θ)其中P为分布函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：似然函数定义来点理解的干货，不论是连续型随机变量还是离散型随机变量的似然函数，在实际应用中，根据样本xi的情况，都可以统一表示为：

老铁们：

书接上文，今天和大家一起分享一下最大似然估计，主要由三部分介绍组成：一、似然函数定义；二、最大似然估计定义；三、最大似然估计在机器学习中的应用。似然函数定义是作为最基本的概念引入，最大似然估计是求解似然函数参数的模型方法，最大似然估计在机器学习中有非常重要的意义。

一、似然函数定义

摘自百度百科：在数理统计中，似然函数是一种关于统计模型中的参数的函数，表示模型参数的似然性。

给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：

似然函数定义

来点理解的干货，不论是连续型随机变量还是离散型随机变量的似然函数，在实际应用中，根据样本xi的情况，都可以统一表示为：

L(θ) = L(x1 x2 … xn;θ) = Π P(xi;θ)

其中P为分布函数。

如果上述概念不好理解，某种意义上，似然函数可以认为是条件概率的逆反。（什么？条件概率你不懂？没关系，明天我们就来好好学习条件概率，学习学习贝叶斯公式）

最大似然估计case详解

总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

原理：最大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为最大似然估计。

需要注意的一点，我这里单独提出来，最大似然估计是存在假设的，对于每个样本的xi是需要假设他们之间满足独立同分布的，这也是实际问题中大家使用LR模型时候，效果好不好一定程度上依赖于训练样本是否满足独立同分布。

三、最大似然估计在机器学习中的应用

为什么花了这么大的篇幅给大家介绍最大似然估计的定义和原理，因为它非常重要，别的远的不说，就说工业化程度最高的机器学习模型LR(Logistic Regression)的原理推导，就是基于假设和目标函数构造后，在求解目标函数中使用了最大似然估计，实现了最终的LR模型构建，毫不客气的说，理解了最大似然估计，基本上离你手写LR模型不远了。LR模型的推导过程后面会有单独的篇幅介绍，这里就不详述了。

最大似然估计还有很多其他的应用，这里也不一一详述了，这里有一个很重要的点就在于，最大似然估计作为概率统计中重要概念，使用了先验概率的信息求解参数的数据思路，是一种非常好的思路，类同于方法论，即针对一个实际问题，如果我们可以抽象出来满足最大似然估计条件的问题，可以直接使用该理论解决实际问题。

最后再次提一下机器学习的上帝视角，配合最大似然估计理解：

（1）定义目标

（2）需要预测函数

（3）构造损失函数

（4）基于样本，求解损失函数最小下，模型参数

最大似然估计就是一种求解损失函数最小下，模型参数的方法。

最后附上常见的概率分布表格：

常见概率分布