信息瓶颈

✍ dations ◷ 2025-08-02 21:21:56 #聚类分析,多变量统计,信息论

信息瓶颈(英语:information bottleneck)是信息论中的一种方法,由纳夫塔利·泰斯比(英语:Naftali Tishby)、费尔南多·佩雷拉(Fernando C. Pereira)与威廉·比亚莱克(英语:William Bialek)于1999年提出。对于一随机变量 X {\displaystyle X} ,假设已知其与观察变量 Y {\displaystyle Y} 之间的联合概率分布 p ( X , Y ) {\displaystyle p(X,Y)} 。此时,当需要概括(聚类) X {\displaystyle X} 时,可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度(数据压缩)。该方法的应用还包括分布聚类(distributional clustering)与降维等。此外,信息瓶颈也被用于分析深度学习的过程。

信息瓶项方法中运用了互信息的概念。假设压缩后的随机变量为 T {\displaystyle T} ,我们试图用 T {\displaystyle T} 代替 X {\displaystyle X} 来预测 Y {\displaystyle Y} 。此时,可使用以下算法得到最优的 T {\displaystyle T}

其中 I ( X ; T ) {\displaystyle I(X;T)} I ( T ; Y ) {\displaystyle I(T;Y)} 分别为 X {\displaystyle X} T {\displaystyle T} 之间、以及 T {\displaystyle T} Y {\displaystyle Y} 之间的互信息,可由 p ( X , Y ) {\displaystyle p(X,Y)} 计算得到。 β {\displaystyle \beta } 则表示拉格朗日乘数。

相关

  • 羰基配合物金属羰基配合物是过渡金属和一氧化碳配基(即羰基,羰的拼音为tāng)形成的配合物。配合物可以是均配物,也就是所有的配基都相同(都是一氧化碳),如四羰基镍(Ni(CO)4),不过大部分的金属羰
  • 贝叶斯概率贝叶斯概率(英语:Bayesian probability)是由贝叶斯理论所提供的一种对概率的解释,它采用将概率定义为某人对一个命题信任的程度的概念。贝叶斯理论同时也建议贝叶斯定理可以用作
  • 巴塞罗那伯爵巴塞罗那伯爵(加泰罗尼亚语:comtes de Barcelona;西班牙语:condes de Barcelona;法语:comtes de Barcelone)是欧洲历史上的一个贵族称号。开始时它是统治巴塞罗那城及周边地区的领
  • 皇明祖训《皇明祖训》,明太祖朱元璋主持编撰训诫子孙的书籍。洪武六年(1373年)时颁布称之为《祖训录》,洪武二十八年(1395年)九月修定后再颁布,改名为《皇明祖训》。全书十三章,现在北京图书
  • 耶弗拉兹公司耶弗拉兹公司 (俄语:Евраз)是一家垂直整合钢铁与矿山的跨国公司。总部位于伦敦,运营于俄罗斯境内,在乌克兰、哈萨克斯坦、意大利、捷克、美国、加拿大、南非也有业务。 2015
  • 音乐节音乐节是一种以音乐为主题的节庆,通常在户外举行,有时会有特定的主题,例如特定的音乐流派(包括摇滚音乐节(英语:Rock festival)、电子音乐节)。古希腊人在德尔斐向太阳神阿波罗举行
  • 音乐类型音乐类型(英语:music genre),或称音乐流派,是对于音乐作品归属的传统性分类。它与音乐形式并不相同,尽管在现实中有时会混用。音乐可以以不同方式分属不同的类型。音乐的艺术本质
  • 历史哲学历史哲学是一个与历史学有关的哲学分支,旨在探讨历史的模式与意义、历史学的性质与方法、历史写作的结构与规律等问题。根据具体研究对象的不同,历史哲学大致可以分为三类:思辨
  • 血污:夜之仪式《血污:夜之仪式》(英语:Bloodstained: Ritual of the Night,港台译作“血咒之城:暗夜仪式”,官方译为“赤痕:夜之仪式”)是一款由Inti Creates与Artplay制作;由505 Games发行的动作
  • 芒果糯米饭芒果糯米饭(泰语:ข้าวเหนียวมะม่วง),是一种传统泰国甜点,主要材料为芒果、糯米与椰奶。2019年1月,泰国政府旅游局(英语:The Tourism Authority of Thailand)举办了“