信息瓶颈

✍ dations ◷ 2025-04-02 17:57:27 #聚类分析,多变量统计,信息论

信息瓶颈(英语:information bottleneck)是信息论中的一种方法,由纳夫塔利·泰斯比(英语:Naftali Tishby)、费尔南多·佩雷拉(Fernando C. Pereira)与威廉·比亚莱克(英语:William Bialek)于1999年提出。对于一随机变量 X {\displaystyle X} ,假设已知其与观察变量 Y {\displaystyle Y} 之间的联合概率分布 p ( X , Y ) {\displaystyle p(X,Y)} 。此时,当需要概括(聚类) X {\displaystyle X} 时,可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度(数据压缩)。该方法的应用还包括分布聚类(distributional clustering)与降维等。此外,信息瓶颈也被用于分析深度学习的过程。

信息瓶项方法中运用了互信息的概念。假设压缩后的随机变量为 T {\displaystyle T} ,我们试图用 T {\displaystyle T} 代替 X {\displaystyle X} 来预测 Y {\displaystyle Y} 。此时,可使用以下算法得到最优的 T {\displaystyle T}

其中 I ( X ; T ) {\displaystyle I(X;T)} I ( T ; Y ) {\displaystyle I(T;Y)} 分别为 X {\displaystyle X} T {\displaystyle T} 之间、以及 T {\displaystyle T} Y {\displaystyle Y} 之间的互信息,可由 p ( X , Y ) {\displaystyle p(X,Y)} 计算得到。 β {\displaystyle \beta } 则表示拉格朗日乘数。

相关

  • 信息技术信息技术(英语:Information Technology,缩写:IT)也称信息和通信技术(Information and Communications Technology,ICT),是主要用于管理和处理信息所采用的各种技术总称,主要是应用计算
  • 罗尔斯约翰·罗尔斯(英语:John Rawls,1921年2月21日-2002年11月24日),是一位美国政治哲学家、伦理学家。他毕业于普林斯顿大学哲学博士,曾在哈佛大学担任哲学教授,著有《正义论》(1971)、《
  • 卢 柯卢柯(1965年5月23日-),生于甘肃华池,原籍河南汲县,中国材料科学专家。1985年毕业于南京理工大学金属材料及热处理专业,1990年在中国科学院金属研究所获工学博士学位。2001年7月到20
  • 旗山区旗山区(台湾话:.mw-parser-output .sans-serif{font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Lato,"Helvetica Neue",Helvetica,Arial,sans-serif} Kî-s
  • 热性惊厥热性痉挛(febrile convulsion),又称作又称作发烧性抽搐、热性抽搐、热性惊厥、热性全身痉挛,是一种癫痫性发作(英语:epileptic seizure),伴有体温升高的症状但是并无任何潜在的健康
  • 高阶管理人员高阶管理人员、高级管理人员、执行管理人员、行政管理人员和管理阶层等皆指企业、组织内的高级经理人或高级管理团队。一般而言,他们负起公司例行公务的种种责任,也拥有来自董
  • 洋湖湿地公园洋湖湿地公园位于中国湖南省长沙市岳麓区,是一座公立湿地公园。洋湖湿地公园占地面积0.53平方公里,2010年建立,2011年对外开放参观。洋湖湿地公园的主体地区是洋湖垸,历史上曾经
  • 苏六娘苏六娘,潮剧、潮州歌册与民间故事中的虚构人物,也是著名的剧名。苏六娘是明清之际,广东潮州府的一名美丽的富家千金,因爱上表兄郭继春,却屡遭挫折,最终在婢女“桃花”与老船夫“进
  • 巴托尔菲·奇洛巴托尔菲·奇洛(匈牙利语:Bátorfi Csilla,1969年3月3日-),出生于松博特海伊,匈牙利女子乒乓球运动员。她曾获得9枚欧洲乒乓球锦标赛金牌。她从1988年起连续参加了五届夏季奥运会乒
  • 1820年许昌地震1820年许昌地震,是指发生在1820年8月4日(清嘉庆二十五年六月二十六日),中国河南许州(今许昌)的6级地震。《清宣宗实录》有记载当时的灾情。据《清宣宗实录》记载:城内尚轻,唯东北一