香农信息论最成功解决了哪些问题?
发布网友
发布时间：2022-04-22 21:43
共2个回答
热心网友
时间：2023-10-05 06:55
香农给出了信息熵（以下简称为“熵”）的定义：香农
H = - ∑ pilogpi
i
这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。
互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：
I(X,Y) = H(X) + H(Y) - H(X,Y)
其中H(X,Y) 是联合熵(Joint Entropy)，其定义为：
H(X,Y) = - ∑ p(x,y)logp(x,y)
x,y
互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
热心网友
时间：2023-10-05 06:55
为信息定义了度量单位
