熵是随机变量不确定性的度量，不确定性越大，熵值越大;若随机变量退化成定值，熵为0。
如果没有外界干扰，随机变量总是趋向于无序，在经过足够时间的稳定演化，它应该能够达到的最大程度的熵。
为了准确的估计随机变量的状态，我们一般习惯性最大化熵，认为在所有可能的概率模型(分布)的集合中，熵最大的模型是最好的模型。
换言之，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，其原则是承认已知事物(知识)，且对未知事物不做任何假设，没有任何偏见。
相关推荐HOT
什么是域控制器?
一、域控制器的定义域控制器是指在Windows Server操作系统中部署Active Directory服务的服务器。Active Directory是微软公司开发的目录服务，用...详情>>
2023-10-15 00:10:28
深度学习模型权重h5、weights、ckpt、pth有什么区别?
1.来源框架不同h5格式通常用于Keras和TensorFlow框架，weights用于Darknet框架，ckpt是TensorFlow框架的一种格式，而pth则主要用于PyTorch框架...详情>>
2023-10-15 00:05:17
大数据测试工程师需要具备哪些技能?
一、理解大数据概念大数据测试工程师需要理解大数据的基本概念和原理，如分布式存储、MapReduce、实时计算等。他们还需要了解如何处理大规模的...详情>>
2023-10-14 23:43:03
为什么SpringBoot的 jar 可以直接运行?
一、JAR文件的结构与执行方式Spring Boot的JAR包是Java Archive的缩写，它是一种压缩文件格式，可以将Java项目的类文件、资源文件以及依赖库等...详情>>
2023-10-14 23:01:49
站群服务器是什么?
站群服务器的含义与用途站群服务器主要用于支持站群，即由一组相互链接的网站组成的群体。这些网站通常由同一组织或个人拥有，并且经常会互相链...详情>>
2023-10-14 22:46:12
京公网安备 11010802030320号