自然语言处理期末复习(1)n元模型

自然语言处理 同时被 2 个专栏收录
10 篇文章 1 订阅

一、n元模型

1.语言建模:根据给定的语言样本估计概率P(s)的过程

2.语言模型:根据语言样本估计出的概率分布P称为语言L的语言模型。

3.马尔科夫假设:词wi 的出现只与其前n-1个词有关

4.n元组(n-gram):只需要考虑n个词组成的片段。(n越大,模型需要的参数越多,历史信息越多,模型越准确)

5.如何建立n元模型:确定训练语料、对预料进行分词、句子边界标记,增加两个特殊词。建立n元模型的方法:(1)相对频率法(2)最大似然估计

6.数据稀疏问题:由于训练样本不足而导致所估计的分布不可靠的问题。

7.Zipf 定律: 词频和序号之间的关系: 针对给定的语料库,若某个词w的词频是f,且该词在词频表中的序号为r,则f x r = k 且 k (大致)是一个常数

8.MLE估计值不是理想的参数估计值的解决办法:平滑

二、数据平滑:

① 把在训练语料中出现过的n元组的概率适当减小

② 把减小所得到的概率质量分配给训练语料中没有出现过的n元组

1.Add-one平滑:规定n元组比真实出现次数多一次,

2.加法平滑:训练语料中未出现的n元组的概率不再为0,而是一个大于0的较小的概率值,不是加1,而是加一个小于1的正数

3.留存估计:把训练语料分作两个部分

– 训练语料(training set): 用于初始的频率估计

– 留存语料(held out data): 用于改善最初的频率估计

4.删除估计

如果有很多训练语料的话,可以使用留存估计

如果训练语料不多的话,可以…

– 把训练语料分成两个部分 part 0 和 part 1

– part 0 作为训练语料, part 1 作为留存语料建模

– part 1 作为训练语料, part 0 作为留存语料建模

– 对两个模型加权平均,求得最后的模型

5. Good Turing平滑

把出现n+1次的n元组所拥有的概率质量整体分配给出r次的n元组

①   把出现1次的n元组的概率质量分给出现0次的n元组

②    把出现2次的n元组的概率质量分给出现1次的n元组

组合使用Turing估计值和Good-Turing估计值

低频段尽量使用Turing估计值,高频段使用GoodTuring估计值

6.组合估计:高阶n元组的概率估值参考低阶n元组的概率估值。

组合模型:把不同阶别的n元组模型组合起来。

7.插值平滑:不同阶别的n元模型线形加权组合。

8.Jelinek-Mercer平滑:

简单线形插值平滑,权值λ固定不变,不管高阶模型估计值是否可靠,低阶模型均以同样的权重被加入模型,不合理。

– 若高阶模型可靠,λ应该大

– 若高阶模型不可靠,λ应该小

9.回退模型:在高阶模型可靠时,尽可能使用高阶模型。必要时,使用低阶模型

10.Katz平滑:是一种回退平滑模型。

三、熵

1.熵:设X是取有限个值的随机变量,若其概率分布为p(x),且x∈X,则X的熵定义为: 

通常a=2.

熵描述了随机变量的不确定性,熵描述了随机变量的平均信息量。

2.相对熵:设p(x)是随机变量X的真实分布密度,q(x)是通过统计手段得

到的X近似分布,则二者间相对熵定义为:

相对熵描述同一个随机变量的不同分布的差异,相对熵描述了因为错用分布密度而增加的信息量

3.交叉熵:设随机变量X的分布密度为p(x),q(x)是通过统计手段得

到的X的近似分布,则随机变量X的交叉熵定义为:

  

交叉熵用于比较两个近似的分布,交叉熵小的,是更好的近似分布。

4.三者关系

 


展开阅读全文
  • 0
    点赞
  • 0
    评论
  • 5
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 程序猿惹谁了 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值