一、似然

在统计学中，似然性(likelihood)”和“概率”有明确的区分：

概率，用于在已知一些参数的情况下，预测接下来在观测上所得到的结果；

似然性，则是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值。

以高斯分布为例，其可以用参数μ和σ来描述。采样和参数估计是互逆的过程，从分布中采样是已知一些参数，得到观测结果，结果出现的可能性就用“概率”来表示。而在已知猜测结果时，对分布的参数进行估计和猜测，参数估计的可能性就用“似然“来表示。

二、极大似然估计(Maximum Likelihood Estimation, MLE)

在统计学中，最大似然估计（maximum likelihood estimation，MLE），也称极大似然估计，是用来估计一个概率模型的参数的一种方法。最大似然估计在统计学和机器学习中具有重要的价值，常用于根据观测数据推断最可能的模型参数值。

还是以高斯分布为例。我们现在有一组采样数据，我么想要知道它是来自哪一个高斯分布（即估计高斯分布的参数μ和σ），这就可以用MLE来算。

每一个数据被采样的概率都可以写成一个条件概率的形式，表示从参数μ和σ的高斯分布中被采样的可能性大小。由于他们是独立同分布的，所以同时出现的概率（联合概率）体现为概率的连乘。这个连乘最大时所取的μ和σ，就是我们要找的那个高斯分布。

连乘容易引起下溢出，可以用ln来处理。

补充：
1. 最小二乘估计只是极大似然估计在高斯分布下的一种特殊形式（可以数学推导得到）。

参考：

https://www.bilibili.com/video/BV1QM4y167oZ/?spm_id_from=333.337.search-card.all.click&vd_source=2758ef806213f133641bb5da6406140b

周志华《西瓜书》7.2 节

玄机博客

1.本站内容仅供参考，不作为任何法律依据。用户在使用本站内容时，应自行判断其真实性、准确性和完整性，并承担相应风险。

2.本站部分内容来源于互联网，仅用于交流学习研究知识，若侵犯了您的合法权益，请及时邮件或站内私信与本站联系，我们将尽快予以处理。

3.本文采用知识共享署名4.0国际许可协议 [BY-NC-SA] 进行授权

4.根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理，通过安装、显示、传输或者存储软件等方式使用软件的，可以不经软件著作权人许可，不向其支付报酬。”您需知晓本站所有内容资源均来源于网络，仅供用户交流学习与研究使用，版权归属原版权方所有，版权争议与本站无关，用户本人下载后不能用作商业或非法用途，需在24个小时之内从您的电脑中彻底删除上述内容，否则后果均由用户承担责任；如果您访问和下载此文件，表示您同意只将此文件用于参考、学习而非其他用途，否则一切后果请您自行承担，如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。