热点关注

首页 >> 热点关注 >> 热点关注

信息熵越大,信息量到底是越大还是越小?

时间:2023-05-25 10:53:38 点击:70

这些问题我觉得我解释误解了。。。

具体来说我不要把讯息冗余解释成讯息这类了,毕竟对讯息冗余来讲(总之我不要把这些直接当成热力学的熵),其表示的是特定惨案的不稳定性,而讯息的作用便是用于降低这种不稳定性,其中读取的词汇量就等于零该惨案不稳定性降低的大小,也便是熵降低的大小,但是熵这类不是对词汇量的两个对数,而要对惨案不稳定性的两个对数,而熵减才是对词汇量的对数。总之除非某个读取的讯息并没有降低熵,但是说明读取的即使是噪音。

下面我举两个例证给我来直观的解释一下什么是讯息冗余和词汇量

具体来说你需要想一下的你应该怎么样去对数两个属性,例如可靠性你用的是kG,长度你用的是m,但是除非你问你什么是1kg的时侯,毕竟你会很迷茫,因为确实不知道什么样才是1kg。毕竟不是说这些世界上原本就存在1kg,而要你为了方便,例如规定了特定块巨石的可靠性是1kg,而你在对数其他物理可靠性的时侯,就以这块巨石为标准,例如一张凳子的可靠性等于零30块这样巨石的可靠性,但是你就说这张凳子的可靠性我30kg。

同样的由于不稳定性的对数也一样,你必须界定两个标准,从而对不稳定性进行对数。但是这些不稳定性怎么去界定呢?*简单的,你抛三枚金币,其即使形成四种状况(一种正面,一面反面),除非你把抛三枚金币形成等即使性的四种状况确定为不稳定性的两个基本对数职能部门,但是你就可以对其他的不稳定性加以对数。例如小明在做试题的时侯陷入A,B,C,D四种状况,但是这约等于零抛了两次金币,相同的除非你陷入8种不稳定性,但是你就约等于零抛了3次金币。这些时侯你会发现,除非在一次惨案中即使出现n种状况,但是就约等于零抛了以2为底n的对数次金币,即 log2nlog_{2}n 次。现在你把抛三枚金币形成四种等即使性的状况的不稳定性界定为1bit,但是做试题目时侯的不稳定性便是2bit,以此类推。

但是现在又会形成两个问题,那便是由于有的状况下,例如笔者留意到小明A,B,C,D中选择A的即使性为1/2,那这些时侯即使性发生了变化怎么办呢?这种非等即使性的状况下不稳定性又该怎么对数呢?你可以这么想,由于即使性为1/2的等即使性惨案而言,其即使形成的是2种等即使性状况,约等于零抛三枚金币;由于即使性为1/6的等即使性惨案而言,其即使形成的状况是6种等即使性状况,约等于零抛了 log26log_{2}6 次金币。但是把每个即使即使性取倒数就给予了即使形成几种等即使性状况,就可以用等即使性的状况来计算了,*后再对给予的结果求期望,就可以给予*终的对不稳定性的对数,即讯息冗余。在例证中当笔者留意到小明选A的即使性为1/2后,小明做这些试题陷入的不稳定性就等于零 (1/2)∗log2(1/(1/2))+(1/6)∗log2(1/(1/6))+(1/6)∗log2(1/(1/6))+(1/6)∗log2(1/(1/6))(1/2)*log_{2}(1/(1/2)) +(1/6)*log_{2}(1/(1/6)) + (1/6)*log_{2}(1/(1/6)) +(1/6)* log_{2}(1/(1/6)) =1.792bit,但是在这些例证中,笔者留意到了小明A的即使性为1/2的词汇量便是2-1.792 = 0.208bit.

总之这里还有其他的词汇量的职能部门,例如以自然对数e为底或者是以10为底,给予的职能部门也不同,分别是nat和Hart,但是解释都是一样的。

但是讯息冗余这类不是衡量标准词汇量的,而要对特定惨案的不稳定性的衡量标准,词汇量的读取导致熵降低,才是对词汇量的衡量标准。我谨记呀。

  联系人:王律师

   电话:400-888-8888

  传真:010-88888888

  邮箱:admin@zongboyuan.com

  地址:江苏省南京市玄武区玄武湖FB体育16号

Copyright © 2022-2023 FB体育.(中国)APP下载 All Rights Reserved. XML地图 鄂ICP备2022007501号 FB体育.(中国)APP下载