文本分割

✍ dations ◷ 2025-07-20 03:27:59 #文本分割

文本分割(Text segmentation)将书面文本分割成有意义单位的过程,如单词、句子或主题。这个术语既适用于人类阅读文本时的心理过程,也适用于在计算机中实现的人工过程,后者属于自然语言处理的领域。一些书面语言有明确的单词分界标记,例如英语的词之间有空格标识,阿拉伯语有独特的首、中、末字母形状,但这种标记不是所有书面语言都有。

分词(Word segmentation)是将一串书面语言分成其组成词的问题。中文分词指的是使用计算机自动对中文文本进行词语的切分,即像英文那样使得中文句子中的词之间有空格以标识。中文分词被认为是中文自然语言处理中的一个最基本的环节。

Unicode联盟已经发表了一个关于文本分割的标准附件。

意图分割(Intent segmentation)是将书面语言分割为关键词(2个或2个以上的词组)的问题。

相关

  • 林耕华林耕华(1938年1月11日-),台湾光电专家,第22届中央研究院院士,原籍福建漳州东山岛。高中就读台南二中,1959年毕业于国立成功大学电机工程学系,1963年获得美国西雅图华盛顿大学电机研
  • 国家工团主义庇隆主义 国家工团主义 民族社会主义 民族无政府主义 民族布尔什维克主义 纳粹党 前沿交叉 官方全国战线 第三位置组织 新力量 国际第三位置 法西斯象征 新法西斯主义 新纳
  • 印第安纳圆周率法案印第安纳圆周率法案(Indiana Pi Bill)是1897年当时的印第安纳州议会第246号法案的一个常用名称,这一法案因试图以法律命令强制规定数学真理而臭名昭著。尽管名为圆周率法案,但实
  • 瓶颈期瓶颈期为事物在变化发展过程中因无法改变自身条件和外部环境的情况下,而产生的一个停滞时期。这个时期或长或短,取决于内外部条件的变化。可适用于组织和组织内的个体,以及可
  • 误差函数在数学中,误差函数(也称之为高斯误差函数)是一个特殊函数(即不是初等函数),其在概率论,统计学以及偏微分方程中都有广泛的应用。它的定义如下:互补误差函数,记为 erfc,在误差函数的基
  • 每日一苹果医生远离我“每日一苹果,医生远离我”(英语:an apple a day keeps the doctor away)是一句提倡进食苹果有益健康的谚语。最先记录相关谚语的文献见于1860年代的威尔士,原文为“Eat an apple on going to bed, and you'll keep the doctor from earning his bread”(睡前一苹果,医生赚不了面包钱),而现在常见的“an apple a day keeps the doctor away”版本见于1922年的印刷品。2
  • 圭峰宗密圭峰宗密禅师(780年-841年),生于唐德宗建中元年,俗姓何,名炯,号宗密,唐代果州西充(今四川西充县)人,法嗣华严四祖清凉澄观。华严宗第五祖。因常住圭峰草堂寺(位于今中国陕西户县),世称圭峰禅师。又称“草堂和尚”。中晚唐荷泽系下的禅门高僧。唐宣宗时,追谥定慧禅师。家富足,少年读儒书,20岁接触佛学。时二十五岁,缘遇荷泽神会系下的道圆禅师,后追随道圆,弃儒入佛。807年(元和2年)28岁进京赴考,途次遂州(今四川遂宁市)大云寺,在道圆门下出家,808年(元和3年)受具足戒。从道圆学习《华严法界观门》,成
  • 阿尔瓦罗·阿尔苏阿尔瓦罗·恩里克·阿尔苏·伊里戈延(Álvaro Enrique Arzú Irigoyen,1946年3月14日-2018年4月27日)生于危地马拉市,危地马拉总统(1996年—2000年)。2004年1月第三次出任危地马拉市长。阿尔苏是控制危地马拉经济命脉的八大家族之一的“阿尔苏家族”的主要成员。1980年,阿尔苏加入全国解放运动,从此步入政坛,后因与该运动领导人政见分歧被开除。后加入全国革新党。1982年作为该党候选人竞选危地拉马拉市长获胜,后因发生军事政变未能就职。1986年─1990年,1991
  • 仲村秀生仲村秀生(1935年3月9日-2014年7月30日)是日本的原男声优、旁白,以前待过81 Produce,之后又待过Production baobab,而现在已引退为自由职业。东京都出身(一说是:长野县)出生。本名是中村秀男(なかむら ひでお)。声音是正统的男中音。代表作有“明日之丈”的(力石彻)、“宇宙战舰大和号”系列的(岛大介)。
  • 旅大事件旅大事件发生于光绪二十四年(1898年),为旅大地区人民反抗俄罗斯帝国侵略的斗争。1897年俄罗斯帝国强占中国旅顺大连(今旅大市),次年1月俄军到貔子窝一带设卡征粮,进行强行勒索,激起当地农民的反抗。俄军武力镇压,杀害100余人。同年3月签订《旅大租地条约》,4 月俄派兵占领金州(今大连市金州区),金州军民猛烈抵抗。俄军被迫退出。11月勘划旅大“租借地”界限时,俄官员把赞子河以东盐滩划入界内,遭到盐民抗阻,但清朝政府压制了盐民的反抗斗争。