超参数 (机器学习)

✍ dations ◷ 2025-04-02 18:39:57 #超参数 (机器学习)

在机器学习中,超参数(英语:Hyperparameter)是事先给定的,用来控制学习过程的参数。而其他参数(例如节点权重)的值是通过训练得出的。

超参数可分为模型超参数(Model Hyperparameters)和算法超参数(Algorithm Hyperparameters)。模型超参数主要用于模型选择,其无助于学习训练集特征;而算法超参数理论上对模型的性能没有影响,而会影响学习的速度和质量。一个典型的模型超参数是神经网络的拓扑结构及大小;而学习率和批量大小(Batch size)、小批量大小(Mini-Batch size)则是典型的算法超参数。

不同的模型训练算法需要用到不同的超参数,一些简单的算法(如普通最小二乘回归)不需要超参数。给定超参数,训练算法会从数据中学习参数。例如,LASSO算法在普通最小二乘回归中加入正则化超参数,在通过训练算法估计参数之前,必须先设置这个超参数。

对模型的训练和测试所需的时间可能取决于其超参数的选择。

一个超参数通常是实数或是整数,因此存在混合型的优化问题。一些超参数的选取依赖于其他参数的值(例如神经网络每个隐藏层的大小可以与层的数量相关)。

超参数通常并不能使用梯度类算法(例如梯度下降、LBFGS)来学习;这些梯度类算法通常用于学习其它参数。这些用于描述模型的超参数通常不能用一般的优化方法学习,然而它们仍然会影响损失函数。例如支持向量机中错误的容忍度超参数。

部分超参数不能从训练数据中学习,因为对部分超参数的学习过程通常会过分增加模型容量,并使损失函数趋于不希望的小值(即过拟合),而不是正确映射数据的结构。例如,如果我们将拟合回归模型的多项式方程的度数作为一个可训练参数,多项式的度数会增加到模型可以完全拟合数据,此时训练误差极低,但泛化性能差。

性能变化往往归因于个别几个超参数。算法、超参数或相互作用超参数的可调性用于衡量对其调整可以获得多少性能的标准。对于LSTM来说,学习率和网络大小是关键的超参数,而批量(Batching)和动量(Momentum)则对其性能没有显著影响。

部分研究主张小批量大小(Mini-Batch size)应该为数千,而其他研究表明,小批量大小在2到32之间的性能最好。

学习中存在的随机性表明经验性的超参数选取并不一定反应其真实性能。如果方法对超参数、随机数种子、甚至算法的不同实现方式的简单变化不具有稳健性,则在不进行简化和稳健化前,不能被集成到关键任务的控制系统中。

强化学习算法不仅需要在大量的随机种子上测量它们的性能,还需要测试对超参数选择的敏感性。由于变异性,仅用少量的随机种子进行的评估并不能充分反应出性能。部分强化学习方法(例如Deep Deterministic Policy Gradient,DDPG)对超参数的选择比其他算法更敏感。

超参数优化找到一个超参数的元组(Tuple),产生一个最佳模型,使得给定测试数据集的损失函数最小。目标函数接收超参数的元组,并返回对应的损失。

除超参数的调整外,机器学习还涉及到参数和结果的存储和组织,并确保它们是可重复的。

相关

  • 原罪原罪,或称原罪论,是部分基督教具基本教义派的神学家提倡的神学理论,其他的亚伯拉罕宗教如犹太教与回教则无原罪一说。原罪的定义上一般而言是指希伯来圣经记载的第一个男人亚当
  • 甲仙化石馆甲仙化石馆位于台湾高雄市甲仙区和安里,是甲仙的观光景点之一,成立于1994年2月19日。化石馆于1994年2月19日正式启用,筹办者兼首位馆长为曾德明,他是化石收集者,有些当地所发现的
  • 福井谦一福井谦一(日语:福井 謙一/ふくい けんいち Fukui Ken'ichi ?,1918年10月4日-1998年1月9日)日本理论化学家,美国科学院外籍院士,欧洲艺术科学文学院院士。文化勋章、勋一等旭日大绶
  • 河野太郎河野太郎(1963年1月10日-),日本政治人物,自由民主党众议院议员(7期)。父亲是前副总理及外务大臣河野洋平。前众议院议员河野一郎为祖父,前参议院议长河野谦三为大叔公。1981年考进庆
  • 阿南迪巴伊·乔希阿南迪巴伊·戈帕尔拉沃·乔希(马拉提语:आनंदीबाई गोपाळराव जोशी,转写:,英国化名 Anandibai Joshee,1865年3月31日-1887年2月26日)是印度最早的女性医生之一。
  • 龚辉龚辉,字实卿,号笑斋,明朝政治人物,浙江余姚县(今属浙江省余姚市)鹿亭石潭村人。嘉靖二年(1523年)进士。历任工部侍郎、广西按察使、湖广左布政使,提督南赣军务,总督漕运、凤阳巡抚等官
  • 1979年热带风暴艾琳娜热带风暴艾琳娜(英语:Tropical Storm Elena)是1979年大西洋飓风季中沿得克萨斯州海岸线移动的一场弱热带风暴,也是该季第六场获命名的风暴,于8月29日经路易斯安那州南面的东风波发展而成。气旋总体向西北偏西移动,经小幅强化于9月1日以热带风暴标准下限强度登陆马塔戈达岛,然后在陆地上空迅速消散。艾琳娜沿途产生中等程度降水,间接致使休斯敦两人淹死;风暴造成的破坏程度很轻,损失数额不足1000万美元。气旋引起闪电,在休斯敦一艘油轮上引发火灾,间接导致三人死亡,13人受伤。8月17日,一股东风波
  • 布里斯莱夫·斯渥克尔松布里斯莱夫·斯渥克尔松(?-1169年),斯渥克尔王朝的瑞典国王王位觊觎者,东约特兰国王(1167年-1169年在位)。根据唯一的中世纪来源,他与其兄弟科尔·斯渥克尔松皆是斯渥克尔王朝开创者斯渥克尔一世的儿子约翰·斯渥克尔松(英语:John, Prince of Sweden (12th century))的儿子、卡尔七世的侄子。1167年4月12日,叔父卡尔七世在维辛索被埃里克九世之子克努特一世的支持者弑杀,克努特一世成为国王。卡尔七世死后,布里斯莱夫及科尔·斯渥克尔松一同在东约特兰反对克努特一世的统治
  • 小克鲁瓦站小克鲁瓦站(法语:Gare de Petit-Croix)是法国的一个铁路乘降所,位于法国东北部小镇蒙特勒堡,靠近小克鲁瓦。小克鲁瓦站位于蒙特勒堡的南部,巴黎-米卢斯铁路454.27公里处,距离贝尔福大约12公里。车站大致呈东西走向,开口朝北。小克鲁瓦站是一个设施较为简陋的乘降所,原有的站房已成为私人财产,现无任何人工售票服务及自动售票机,在该站上车的乘客需使用通勤卡或主动购票。以下列车线路在小克鲁瓦站停靠:小克鲁瓦站没有对应的固定长途汽车站,当沿线铁路施工或罢工时,SNCF可能会提供临时大巴车。小克鲁瓦
  • 奥斯汀·克拉普奥斯汀·克拉普(英语:Austin Clapp,1910年11月8日-1971年12月22日),美国男子游泳、水球运动员。他曾代表美国参加1928年和1932年夏季奥林匹克运动会,获得一枚金牌和一枚铜牌。