异常检测

✍ dations ◷ 2024-11-05 20:31:39 #异常检测
在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。 通常异常项目会转变成银行欺诈(英语:bank fraud)、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。有三大类异常检测方法。 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。异常检测技术用于各种领域,如入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等。它通常用于在预处理中删除从数据集的异常数据。在监督式学习中,去除异常数据的数据集往往会在统计上显著提升准确性。文献中提出了几种异常检测方法。一些热门方法有:不同方法的性能在很大程度上取决于数据集和参数,比较许多数据集和参数时,各种方法与其他方法相比的系统优势不大。多萝西·丹宁(英语:Dorothy E. Denning)教授在1986年提出了入侵检测系统(IDS)的异常检测方法。入侵检测系统的异常检测通常是通过阈值和统计完成的,但也可以用软计算和归纳学习。 在1999年提出的统计类型包括检测用户、工作站、网络、远程主机与用户组的配置文件,以及基于频率、均值、方差、协方差和标准差的程序。 在入侵检测系统中,与异常检测模式相对应的还有误用检测(英语:misuse detection)模式。

相关

  • 持续性植物状态神经科神经科 ICD10 =持续性植物状态(英语:Persistent vegetative state,缩写为 PVS),是指大脑已经完全或大半失去功能,亦即已经失去意识,但尚存活的人。这类病患俗称为植
  • 三体染色体三倍体症,又名三体综合征,是一种因为遗传基因失调而引起的染色体倍性现象,以致身体细胞分裂时,某一对染色体得到了三条,而不是正常的两条。三体综合征在不同的基因对出现,会
  • 升部在西文字体排印学中,升部(英语:Ascender)是指一个字体的字母中向上超过主线笔画的部分,也就是比x字高还要高的部分,是字体设计中一个重要的组成部分。升部,和降部笔画可以增强单词
  • 队列研究世代研究(英语:cohort study 或 panel study),又译为队列研究、群组研究、定群研究、追踪研究、梯次研究等,是在医学、社会科学、精算学、生态学等领域中使用的一种纵向研究(英语:l
  • 透翅目透翅目(Diaphanopterodea或Paramegasecoptera)是古生代中等至大型已灭绝的一目昆虫,包括一些早期的飞行昆虫。它们是古网翅总目下的一类专化昆虫,翅膀像新翅下纲般演化出可以折
  • 海外领地属地(英语:Dependent Territory或Dependent Area或Dependency)是附属于主权国家之下,但拥有部分独立管治权力的地区。虽然没有完整主权,但是其政治地位异于管治国主体的其他领土,
  • 田 波田波(1931年12月25日-2019年12月15日),男,山东桓台人。中国病毒学家。中国科学院院士。1931年12月生于山东省桓台县夏庄。高中时代先后就读于南京国立中央大学附属中学和青岛市立
  • 最大似然法在统计学中,最大似然估计(英语:maximum likelihood estimation,缩写为MLE),也称极大似然估计、最大概似估计,是用来估计一个概率模型的参数的一种方法。下边的讨论要求读者熟悉概率
  • 新思想运动妇女神学是一个建立在几个不同宗教,包括:佛教、基督教、犹太教及新思想运动等的运动,旨在使用女性主义角度去反思宗教的传统、实践、经文以及神学。有些妇女神学的目的是为了提
  • 代议民主制代议民主制(英语:representative democracy),又称间接民主制(英语:indirect democracy),与直接民主制相反,是由公民以选举形式选出立法机关的成员(议员),并代表其在议会中行使权力(称为代