暂无说说

指数族(The exponential family)

理论基础 jiajun 6个月前 (02-17) 151次浏览 0个评论 扫描二维码

如果一个分布是指数族分布,那么它可以用以下形式表示:

\(p(y ; \eta)=b(y) \exp \left(\eta^{T} T(y)-a(\eta)\right)\)                (1)

这里,\(\eta\)被称为分布的自然参数(也称为规范参数);\(T(y)\)是充分统计量(对于我们所考虑的分布,通常情况下有\(T(y)=y\));\(a(\eta)\)被称为对数划分函数。这一项\(e^{-a(\eta)}\)本质上是起到了正则化常数的作用,确保了分布\(p(y ; \eta)\)的总和或是积分在\(y\)到 1 上。

固定\(T, a\)\(b\),定义一族以\(\eta\)为参数的分布;随着\(\eta\)的变化,我们可以在这个族中得到不同的分布。

现在以 Bernoulli 分布和 Gauss 分布为例,来说明它们属于指数族分布。均值为\(\phi\)的 Bernoulli 分布,可以写成 Bernoulli(\(\phi\)),指定\(y \in\{0,1\}\)的分布,使得\(p(y=1 ; \phi)=\phi ; p(y=0 ; \phi)=1-\phi\)。随着\(\phi\)的变化,可以得到不同均值的 Bernoulli 分布。我们现在来证明这类由变化的\(\phi\)得到的 bernoulli 分布,属于指数族分布。也就是说,固定选择一个\(T, a\)\(b\),使方程(1)完全成为 Bernoulli 分布的一类。

我们可以将 bernoulli 分布写成如下的形式:

\(\begin{aligned} p(y ; \phi) &=\phi^{y}(1-\phi)^{1-y} \\ &=\exp (y \log \phi+(1-y) \log (1-\phi)) \\ &=\exp \left(\left(\log \left(\frac{\phi}{1-\phi}\right)\right) y+\log (1-\phi)\right) \end{aligned}\)

因此,自然参数由\(\eta=\log (\phi /(1-\phi))\)给出。有趣的是,如果把\(\eta\)的这个定义转化为用\(\eta\)来求解\(\phi\),我们可以得到\(\phi=1 /\left(1+e^{-\eta}\right)\),这就是大家熟悉的 sigmoid 函数!当我们将 Logistic 回归作为 GLM 时,这将再次出现。为了完成 Bernoulli 分布作为指数族分布的公式,我们也有

\(\begin{aligned} T(y) &=y \\ a(\eta) &=-\log (1-\phi) \\ &=\log \left(1+e^{\eta}\right) \\ b(y) &=1 \end{aligned}\)

这表明,使用适当的\(T, a\)\(b\),Bernoulli 分布可以写成方程(1)的形式。

现在继续考虑高斯分布。回想一下,当导出线性回归时,\(\sigma^{2}\)的值对我们最终选择\(\theta\)\(h_{\theta}(x)\)没有影响。因此,我们可以为\(\sigma^{2}\)选择任意值,而无需更改任何内容。为了简化下面的推导,我们让\(\sigma^{2}=1\)=1。然后,我们有:

\(\begin{aligned} p(y ; \mu) &=\frac{1}{\sqrt{2 \pi}} \exp \left(-\frac{1}{2}(y-\mu)^{2}\right) \\ &=\frac{1}{\sqrt{2 \pi}} \exp \left(-\frac{1}{2} y^{2}\right) \cdot \exp \left(\mu y-\frac{1}{2} \mu^{2}\right) \end{aligned}\)

因此,我们可以得到 Gaussian 也是指数族,其中:

\(\begin{aligned} \eta &=\mu \\ T(y) &=y \\ a(\eta) &=\mu^{2} / 2 \\ &=\eta^{2} / 2 \\ b(y) &=(1 / \sqrt{2 \pi}) \exp \left(-y^{2} / 2\right) \end{aligned}\)

还有许多其他分布也是指数族的成员。例如,多项式分布,泊松分布, gamma 分布,指数分布,beta 分布, Dirichlet 分布。

 

喜欢 (1)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址