ch3 参数估计

预备知识与记号

对于某个事物分为两类（a state of nature）${\omega }_1,{\omega }_2$

对于其特征x（feature vector），其类条件概率密度/似然（class-conditional density / likelihood）为$p(x|{\omega }_1),p(x|{\omega }_2)$

$p(x)$称之为证据（evidence probability）

先验概率（prior probability）$p({\omega }_1),p({\omega }_2)$

后验概率（posterior probability）$p({\omega }_1|x),p({\omega }_2|x)$

对于独立同分布的一组变量

$$\mathcal{D}=\{{\mathcal{D}}_{\mathcal{1}},{\mathcal{D}}_{\mathcal{2}},...,{\mathcal{D}}_{\mathcal{n}}\}$$

容易计算先验概率为

$$P({\omega }_j)=\frac{|{\mathcal{D}}_{\mathcal{j}}|}{\sum _{i=1}^n|{\mathcal{D}}_{\mathcal{i}}|}$$

对于类条件概率分布：

1. $p(x|{\omega }_j)$有参数形式
2. $p(x|{\omega }_j)$没有参数形式（下一章内容）

$p(x|{\omega }_j)$有参数形式

比如服从高斯分布

$$p(\mathbf{x}|{\omega }_j)\sim N({\mathit{\mu }}_{\mathit{j}},{\mathbf{\Sigma }}_{\mathbf{j}})$$

目标

$$p(\mathbf{x}|{\omega }_j)\equiv p(\mathbf{x}|{\mathit{\theta }}_j)$$

通过${\mathcal{D}}_{\mathcal{j}}$来估计${\mathit{\theta }}_j$，其中

$${\mathit{\theta }}_j=({\theta }_1,{\theta }_2,...,{\theta }_m{)}^T$$

概率与似然

概率：描述了参数已知时的随机变量的输出结果

似然：用来描述已知随机变量输出结果时，未知参数的可能取值。通过证据，对参数进行推断

最大似然估计：得到最可能的参数的过程。

极大似然估计

从特殊到一般，针对多次实验，用$x_1,x_2,\dots ,x_N$描述实验结果，因为实现之间都是独立的，所以似然函数可以写成

$$L(\mathit{\theta })=\prod _{i=1}^{N}p(x_i|\mathit{\theta })$$

此时我们的目标就是

$$\hat{\mathit{\theta }}={\text{argmax}}_{\mathit{\theta }}L(\mathit{\theta })$$

通常使用对数似然函数

$$LL(\theta )=\log L(\mathit{\theta })=\sum _{i=1}^N\log p(x_i|\mathit{\theta })$$

目标转化为

$$\hat{\mathit{\theta }}={\text{argmax}}_{\mathit{\theta }}LL(\mathit{\theta })$$

因为每个类都是独立的，所以从现在开始省略下标。

极大似然（ML）准则：

$$\mathcal{D}=\{{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n\}$$

根据独立性假设，我们有：

$$p(\mathcal{D}|\mathit{\theta })=p({\mathbf{x}}_1|\mathit{\theta })p({\mathbf{x}}_2|\mathit{\theta })\cdots p({\mathbf{x}}_n|\mathit{\theta })$$

似然函数：

$$L(\mathit{\theta }|\mathcal{D})=p(\mathcal{D}|\mathit{\theta })=\prod _{k=1}^{n}p({\mathbf{x}}_k|\mathit{\theta })$$

极大似然估计：

$$\hat{\mathit{\theta }}=\arg \underset{\theta }{max}L(\theta |D)$$

经常转为对数似然：

$$\hat{\mathit{\theta }}=\arg \underset{\theta }{max}\ln L(\theta |D)$$

计算极值：

$${\mathrm{\nabla }}_{\mathit{\theta }}={(\frac{\partial }{\partial {\theta }_1},\frac{\partial }{\partial {\theta }_2},\cdots ,\frac{\partial }{\partial {\theta }_n})}^T$$$${\mathrm{\nabla }}_{\mathit{\theta }}f=0$$

正态分布的极大似然估计

1. 情况1：均值未知，方差已知
2. 情况2：均值未知，方差未知

情况1：均值未知，方差已知

推导可得到高斯分布的均值的极大似然估计为样本均值。

情况2：均值未知，方差未知

推导可得到高斯分布的均值的极大似然估计为样本均值，方差的极大似然估计为有偏样本方差，$(n-1)/n$倍的样本方差。

贝叶斯估计

每个类独立的前提下，可以得出

$$P(\mathbf{x}|{\omega }_i,\mathcal{D})=P(\mathbf{x}|{\omega }_i,{\mathcal{D}}_i)$$$$P({\omega }_i|\mathcal{D})=P({\omega }_i)$$

问题公式化

$$P({\omega }_i|\mathbf{x},\mathcal{D})=\frac{P(\mathbf{x}|{\omega }_i,{\mathcal{D}}_i)P({\omega }_i)}{\sum _{j=1}^{c}P(\mathbf{x}|{\omega }_j,{\mathcal{D}}_j)P({\omega }_j)}$$

（了解即可，我们这边考试不考）