词义消歧

✍ dations ◷ 2025-08-29 00:00:44 #词义消歧
计算机语言学中,词义消歧是一个 自然语言处理和本体论的开放问题。歧义与消歧是自然语言理解中最核心的问题,在词义、句义、篇章含义层次都会出现语言根据上下文语义不同的现象,消歧即指根据上下文确定对象语义的过程。词义消歧即在词语层次上的语义消歧。语义消歧/词义消歧 是自然语言处理任务的一个核心与难点,影响了几乎所有任务的性能,比如搜索引擎、意见挖掘、文本理解与产生、推理等。在语言学长期发展的过程中,语言本身积累了许多一词多义的用法。语言的产生是多方面共同作用的结果。语言的使用是不断变化的,一个词在发展中有许多具体的意思,现在通用的还有一些意思。不同地区可能对一个词有不同 的用法,不同的行业对一个词也会不同,甚至不同群体、不同个人、不同语气都会有自己的特殊的解读意思。语义消歧是一种语言理解的方式,一方面我们要理解通用词语一词多义的含义及应用,另一方面,还要考虑到具体场景,运用相关知识库、语料训练来增加一词多义的性能。迄今为止,丰富多样的技术已经被研究,以词典为基础的方法,使用知识库与知识图谱技术的,监督学习的,无监督的,半监督的,基于词或者词向量的。基于各种资源的、半监督的、同时基于词与词向量的应该是发展的方向。基于词典的语义消歧依赖于词典对语义的区分。粗粒度的一词多义指区分较大的语义,比如水,可能表示自然水,也能指水货;细粒度的一词多义指能区分较小不同的语义。如果词典缺少某一层次/某一些语义的描述,以词典作为词语义的完全描述就会导致问题。这个特点对WSD(词义消歧)与EL(entity linking)同样适用。解决这个问题的办法是,对描述较少的语义聚集自动增量增加聚类。英文里常用的字典包括WordNet, Roget'Thesaurus, BabelNet. 任意语言都可以把常用的字典、词典、网络百科、专业知识库/数据库 作为消歧的词典文件。词性标注与词义消歧是相互关联的两个问题,在人的系统他们同时能到满足。但是目前系统一般并不能让2者公用参数,同时输出。语义理解,包括分词、词性标注、词义消歧、句法解析、语义解析 并不是前馈的,是相互依赖的存在反馈的。词性标注与语义消歧都要依赖上下文来标注,但是词性标注比语义消歧要简单以及成功。原因主要是词性标注的标注集合是确定的,而语义消歧并没有,并且量级要大的多;词性标注的上下文依赖比语义消歧要短。有时候人也不能很地判断一个词属于哪个意思。对于粗粒度的区分肯定比细粒度的高。所以一般选择粗粒度的任务,因为需要使用人的判断作为黄金标准。许多研究者认为要做到词义消歧,需要理解语用学、一些常识。语言学本身就是与知识紧密结合的,肯定需要语言相关的常识帮助解析,就像实体消歧需要实体的相关的知识一样。不同的任务具体词义消歧会不同。比如翻译,不必须显式地输出词义消歧中间结果,他需要最后的句子的同义即可人们一般能在粗粒度的定义上获得一致的看法,当他到更细的粒度,则很难统一。并且即便同个语义,在不同的环境里,也许还会有不同,因为语言表达有无限的可能性,导致语义在细粒度可能会迁移。

相关

  • 阑尾炎阑尾炎,是指由阑尾发炎而引起的急性消化系统疾病。阑尾,是大肠起始段的管状器官。由于其生长位置关系,容易因受到感染、腔隙阻塞等而发炎。一般常说的盲肠炎其实就是指阑尾炎(Ap
  • 血吸虫病血吸虫病(英语:schistosomiasis、bilharzia、snail fever、Katayama fever)又称裂体虫病、曼森氏病,是一个由血吸虫类的寄生虫所导致之疾病,属于WHO所宣布的六大热带医学疾病之一
  • 氧化锌氧化锌是锌的氧化物,难溶于水,可溶于酸和强碱。它是白色固体,故又称锌白。它能通过燃烧锌或焙烧闪锌矿(硫化锌)取得。在自然中,氧化锌是矿物红锌矿的主要成分。人造氧化锌有两种制
  • Pr4f3 6s22, 8, 18, 21, 8, 2蒸气压第一:527 kJ·mol−1 第二:1020 kJ·mol−1 第三:2086 kJ·mol主条目:镨的同位素镨(拼音:pǔ,注音:ㄆㄨˇ,粤拼:pou2)是一种化学元素,它的化学符号是Pr
  • 丙氨酸丙氨酸(Alanine,简写为Ala或A)是一种氨基酸,于1879年首度被分离出来。它含有胺基和羧酸,二者都与中心碳原子相连,中心碳原子也带有甲基侧链。因此,它的IUPAC系统命名为2-氨基丙酸,并
  • 伊红-Y伊红-Y 是的伊红的一种,是一种生物染色剂,呈淡黄色。伊红-Y是荧光素的四溴衍生物,化学式是C20H6Br4Na2O5。常用在苏木精-伊红染色中,另和百里酚共同用于防止水溶液长霉。铁及含
  • PAS染色法PAS染色法(Periodic Acid-Schiff stain)在组织学上,主要用来检测组织中的糖类,过碘酸把糖类相邻两个碳上的羟基氧化成醛基,再用Schiff试剂和醛基反应使呈现紫红色。通常用于霉菌
  • 环杓关节环杓关节(cricoarytenoid articulation 或称 关节(joint)、环杓状关节)是连接环状软骨及杓状软骨的关节。本条目包含来自属于公共领域版本的《格雷氏解剖学》之内容,而其中有些
  • 皮钦语皮钦语(英语:Pidgin,/ˈpɪdʒᵻn/,或pidgin language),又称混杂语言,一种简化版本的自然语言,这种语言来自于两个或两个以上的群体,他们之间没有共同语言,为了彼此沟通而发展出的语言
  • 大司乐大司乐是西周时期的音乐组织,距今约3000多年历史。当时西周贵族重视礼乐,视此成管治国家的器具。“大司乐”作为周朝的音乐机构,掌握着礼乐要职,培养王室和贵族子弟,也有一些是从