HSE大学讲解

机器学习模型可以被分为参数化模型、非参数化模型。

参数化模型，例如多项式拟合数据点、神经网络中的多层感知机等。
非参数化模型，如KNN(输入空间的最近数据点，也叫最近邻，将它们的标签取平均作为预测标签从而做回归任务),视频中还讲了权重改进版的KNN（最近邻根据各自据待测点的距离进行加权得到预测标签，关于权重的计算见下一段）。
根据视频，权重的计算要用到各种核函数。（当然，也可以自己设计计算权重的方法，例如，将与距离成反比的值作为权重）

高斯过程

如果一个随机过程f是高斯过程，那么对于在任意时刻采样出来的有限多个数据点x1,x2,…xn,（采样了n个时刻）它们的f过程f(x1),f(x2),f(x3)…f(xn)的联合分布是n维的正态分布。

平稳过程

系集平均统计特征不随时间变化的过程。——《固体力学实验复习题》
高斯过程-youtube视频

Kij可以选择具体的形式，我们叫Kij为核函数。
derivation of main formula讲了如何得到预测点的方差和均值。

贝叶斯优化

acquisition
贝叶斯优化里又一次讲到了exploration and exploitation的思想。这在强化学习当中是见到过的（Q-learning的方法）

20220713

高斯过程暑期学校2020
A Gaussian process is a stochastic process with Gaussian FDDs.