信息瓶颈

✍ dations ◷ 2025-04-04 11:19:39 #聚类分析,多变量统计,信息论

信息瓶颈(英语:information bottleneck)是信息论中的一种方法,由纳夫塔利·泰斯比(英语:Naftali Tishby)、费尔南多·佩雷拉(Fernando C. Pereira)与威廉·比亚莱克(英语:William Bialek)于1999年提出。对于一随机变量 X {\displaystyle X} ,假设已知其与观察变量 Y {\displaystyle Y} 之间的联合概率分布 p ( X , Y ) {\displaystyle p(X,Y)} 。此时,当需要概括(聚类) X {\displaystyle X} 时,可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度(数据压缩)。该方法的应用还包括分布聚类(distributional clustering)与降维等。此外,信息瓶颈也被用于分析深度学习的过程。

信息瓶项方法中运用了互信息的概念。假设压缩后的随机变量为 T {\displaystyle T} ,我们试图用 T {\displaystyle T} 代替 X {\displaystyle X} 来预测 Y {\displaystyle Y} 。此时,可使用以下算法得到最优的 T {\displaystyle T}

其中 I ( X ; T ) {\displaystyle I(X;T)} I ( T ; Y ) {\displaystyle I(T;Y)} 分别为 X {\displaystyle X} T {\displaystyle T} 之间、以及 T {\displaystyle T} Y {\displaystyle Y} 之间的互信息,可由 p ( X , Y ) {\displaystyle p(X,Y)} 计算得到。 β {\displaystyle \beta } 则表示拉格朗日乘数。

相关

  • 环磷酰胺环磷酰胺(Cyclophosphamide)。为oxazophorines的衍生物。其药物化学机制为:由于环磷酰胺具有减低或停止细胞生长的功能,所以常和其他免疫抑制剂一起用来治疗淋巴瘤 、某些脑癌
  • (Nsub2/subHsub5/sub)sub2/subSOsub4/sub&g在化学中,硫酸(部分文献写作硫酸金井),又称硫酸二或硫酸二肼是一种易溶于水的无机化合物,为与硫酸根组成的盐类,其化学式为(N2H5)2SO4,常温下为固体,可借由氢氧化和硫酸铵的置换反映
  • FAA美国联邦航空管理局(英语:Federal Aviation Administration,缩写:FAA)是美国运输部下属、负责民用航空管理的机构;其管辖范围包括机场的建设与运行、航空交通管制、飞行员及飞机资
  • 圣文森特和格林纳丁斯中华民国-圣文森特和格林纳丁斯关系是指中华民国与圣文森特和格林纳丁斯之间的外交关系。2016年8月,原本与中华民国友好的圣文森反对党新民主党由其党魁尤斯特(Arnhim Eustace)
  • 奥特罗县奥特罗县(英语:Otero County)是美国新墨西哥州南部的一个县,南邻德克萨斯州,面积17,165平方公里。根据2010年人口普查,奥特罗县共有人口63,797人。奥特罗县的县治为阿拉莫戈多。美
  • 溪湖区溪湖区是中国辽宁省本溪市所辖的一个市辖区。溪湖区辖6个街道:河东、河西、彩屯、彩北、竖井、东风,3个镇:火连寨、石桥子、歪头山,1个乡:张其寨。
  • 科学知识社会学科学知识社会学(sociology of scientific knowledge,缩写为SSK)是将科学作为一种社会活动来研究,特别是关于“科学的社会条件和影响,以及科学活动的社会结构和过程。” 科学无知
  • 书信 (文体)书信(Epistle/ᵻˈpɪsəl/)是一种正式的书信格式,中文或翻译为“使徒书信”,通常会使用优雅、正式的文风去书写,收信人可以是个人或团体。古埃及的学校常常会教授撰写“书信”的
  • 帕特里克·奥达帕特里克·奥达(捷克语:Patrik Auda,1989年8月29日-),捷克篮球运动员。他现在效力于波兰篮球联赛球队AZS Koszalin。他也代表捷克国家篮球队参赛。
  • 邮戳邮戳是邮局盖在实寄过的邮件包裹等上的各类戳记,包括普通邮戳、纪念邮戳、宣传邮戳等。是历史的反映。收集邮戳已经成为集邮必不可少的一项内容。现在也出现电子邮戳等新种类