文本分割

✍ dations ◷ 2025-10-30 11:38:48 #文本分割

文本分割(Text segmentation)将书面文本分割成有意义单位的过程,如单词、句子或主题。这个术语既适用于人类阅读文本时的心理过程,也适用于在计算机中实现的人工过程,后者属于自然语言处理的领域。一些书面语言有明确的单词分界标记,例如英语的词之间有空格标识,阿拉伯语有独特的首、中、末字母形状,但这种标记不是所有书面语言都有。

分词(Word segmentation)是将一串书面语言分成其组成词的问题。中文分词指的是使用计算机自动对中文文本进行词语的切分,即像英文那样使得中文句子中的词之间有空格以标识。中文分词被认为是中文自然语言处理中的一个最基本的环节。

Unicode联盟已经发表了一个关于文本分割的标准附件。

意图分割(Intent segmentation)是将书面语言分割为关键词(2个或2个以上的词组)的问题。

相关

  • 多元化多元或多元主义(英语:pluralism)在社会科学和政治哲学中,指不同种族、民族、宗教或社会群体在一个共同文明体或共同社会的框架下,持续并自主地参与及发展自有传统文化或利益并且
  • 穆罕默德·礼萨·巴列维穆罕默德-礼萨沙·巴列维(波斯语:محمد رضا شاه پهلوی‎;1919年10月26日-1980年7月27日)是伊朗的沙阿,1941年9月16日即位,1979年2月11日被伊朗伊斯兰革命推翻。他是
  • 朱丹溪朱丹溪(1281年-1358年),名震亨,字彦修。因世居丹溪,故人称朱丹溪,或尊称为丹溪翁。元代义乌(今浙江省义乌市)人。与刘完素、张从正、李杲等人并称金元四大医学家,为“滋阴派”的创始人
  • 马来亚印度国民大会党马来西亚印度国民大会党(简称国大党,英语:Malaysia India Congress,淡米尔语:மலேசியா இந்தியா காங்கிரெஸ்,缩写MIC)是马来西亚政党,也是在野政党联盟国民阵
  • ATC代码 (D03)(Antifungals for dermatological use)(Emollients and protectives)(Preparations for treatment of wounds and ulcers)(Antipruritics, including antihistamines, anesthetics,
  • 巴洛克文学巴洛克文学是17世纪意大利唯一有影响的文学流派,文风华丽浮夸,强调运动和变化,侧重表现幻想,因而特别有装饰美和形式美。巴洛克作家致力于描绘一种“乌托邦”式的世界,其作品中充
  • 贾夫纳贾夫纳是斯里兰卡的城市,也是北部省的首府,位于该国北部,面积20.2平方公里,受热带雨林气候影响,每年平均降雨量1,270毫米,2012年人口88,138。坐标:9°40′N 80°00′E / 9.667°N 8
  • King (游戏公司)King Digital Entertainment plc,简称King,原名King.com,全名为Midasplayer International Holding,是一间休闲社交游戏公司,主要于Facebook开发应用游戏程式,以及博弈游戏,并是Fac
  • 首都消失‘首都消失’(しゅとしょうしつ)是日本SF作家小松左京的小说,也是以此为原作的电影。小说在北海道新闻、中日新闻(东京新闻)、西日本新闻连载(1983年12月~1984年12月)获得。第6回日