你好,游客 登录 注册 搜索
背景:
阅读新闻

【机器学习中的数学】多项式分布及其共轭分布

[日期:2015-05-13] 来源:CSDN博客  作者:JasonDing1354 [字体: ]

      多项变量(Multinomial Variables)

      二元变量是用来描述只有两种可能值的量,而当我们遇到一种离散变量,其可以有K种可能的状态。我们可以使用一个K维的向量x表示,其中只有一维xk为1,其余为0。对应于xk=1的参数为μk,表示xk发生时的概率。其分布可以看做是伯努利分布的一般化。


      现在我们考虑N个独立的观测D={x1,…,xN},得到其似然函数。如图:

      多项式分布(The Multinomial distribution)

      现在我们考虑k个变量的联合分布,依赖于参数μ和N次观测,这就构成了多项式分布。

      狄利克雷分布(The DIrichlet distribution)

      为了方便起见,如果先验分布和似然函数有类似的结构,这样得到的后验分布就只是指数幂的参数的相加,但形式没有太大变化,这样就使得先验和后验分布有相同的形式,简化了计算。

下面是三个变量的狄利克雷分布的图形,其中左图{αk}=0.1,中图{αk}=1,右图{αk}=10:

      最大后验估计

      转载请注明作者Jason Ding及其出处
      Github主页(http://jasonding1354.github.io/)
      CSDN博客(http://blog.csdn.net/jasonding1354)
      简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (3)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款