机器学习——参数与超参数

在机器学习中，优化又可以分为参数优化和超参数优化．模型 𝑓(𝒙;𝜃)中的𝜃 称为模型的参数，可以通过优化算法进行学习．除了可学习的参数 𝜃 之外，还有一类参数是用来定义模型结构或优化策略的，这类参数叫作。或者通过搜索的方法对一组超参数组合进行不断试错调整．。（Hyper-Parameter）．在贝叶斯方法中，超参数的选取一般都是组合优化问题，是机器学习的一个经验性很强的技术，超参数可以

做程序员的第一天

476人浏览 · 2023-08-28 21:41:59

做程序员的第一天 · 2023-08-28 21:41:59 发布

在机器学习中，优化又可以分为参数优化和超参数优化．模型 𝑓(𝒙; 𝜃)中的𝜃 称为模型的参数，可以通过优化算法进行学习．除了可学习的参数 𝜃 之外，还有一类参数是用来定义模型结构或优化策略的，这类参数叫作超参数（Hyper-Parameter）．在贝叶斯方法中，超参数可以理解为参数的参数，即控制模型参数分布的参数．

常见的超参数包括：聚类算法中的类别个数、梯度下降法中的步长、正则化项的系数、神经网络的层数、支持向量机中的核函数等．超参数的选取一般都是组合优化问题，很难通过优化算法来自动学习．因此，超参数优化是机器学习的一个经验性很强的技术，通常是按照人的经验设定，或者通过搜索的方法对一组超参数组合进行不断试错调整．