1005-统计自然语言处理-Tao 今天看的是有关信息论的一些基本概念。
1.熵，又称自信息，描述了一个随机变量的不确定性，最大熵概念被广泛运用，目的是准确地描述未知现象。
2.联合熵和条件熵，分别与对应的随机事件类型相关。
3.互信息，I(X;Y)=H(X)-H(X|Y)，表示知道Y后X不确定性的减少量。
4.相对熵，又称KL距离，衡量两概率分布的差距，记作D(p||q).
5.交叉熵，衡量模型与真实模型分布间的差异。H(X,q)=H(X)+D(p||q).
1005-平原上的摩西-Tao
《冷枪》描述了一个典型的游戏少年。游戏中的较真带到现实中来就是用烟灰缸把人打一个窟窿。