线性回归公式

• 模型公式：$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n+ϵ$，其中$y$是因变量，$x_1,x_2,\cdots ,x_n$是自变量，${\beta }_0,{\beta }_1,\cdots ,{\beta }_n$是模型的参数，$ϵ$是误差项。例如，在简单的一元线性回归（只有一个自变量$x$）中，$y={\beta }_0+{\beta }_{1}x+ϵ$。如果我们要预测房屋价格（$y$）与房屋面积（$x$）的关系，就可以建立这样的模型。
• 最小二乘法参数估计公式：对于一元线性回归，${\hat{\beta }}_1=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}$，${\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}$，其中$\bar{x}$和$\bar{y}$分别是$x$和$y$的样本均值。假设我们有一组数据$(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$，通过这些公式可以计算出${\beta }_0$和${\beta }_1$的估计值${\hat{\beta }}_0$和${\hat{\beta }}_1$，从而得到回归直线。

逻辑回归公式

• 模型公式（二分类）：$p=\frac{1}{1+e^{-z}}$，其中$z={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_n{x}_n$，$p$是事件发生的概率。例如，在判断一封邮件是否为垃圾邮件（二分类问题）时，$x_1,x_2,\cdots ,x_n$可以是邮件中的一些特征（如关键词出现频率等），通过计算得到邮件是垃圾邮件的概率$p$。
• 损失函数（对数损失函数）：$J(\theta )=-\frac{1}{m}{\sum }_{i=1}^m[y_i\log (p_i)+(1-y_i)\log (1-p_i)]$，其中$m$是样本数量，$y_i$是样本$i$的真实标签（0或1），$p_i$是模型预测样本$i$为正类的概率。在模型训练过程中，通过最小化这个损失函数来优化模型参数$\theta =({\beta }_0,{\beta }_1,\cdots ,{\beta }_n)$。

神经网络公式（以简单的前馈神经网络为例）

• 神经元激活公式：对于第$l$层的第$j$个神经元，$a_j^{(l)}=g({\sum }_{i=1}^{n_l-1}{w}_{ij}^{(l)}{a}_i^{(l-1)}+b_j^{(l)})$，其中$g(\cdot )$是激活函数（如Sigmoid函数、ReLU函数等），$w_{ij}^{(l)}$是第$l-1$层的第$i$个神经元到第$l$层的第$j$个神经元的权重，$a_i^{(l-1)}$是第$l-1$层的第$i$个神经元的输出，$b_j^{(l)}$是第$l$层的第$j$个神经元的偏置。例如，在一个简单的三层神经网络（输入层、隐藏层、输出层）中，对于隐藏层的神经元就可以使用这个公式来计算其输出。
• 反向传播公式（以均方误差损失函数为例）：$\frac{\partial J}{\partial w_{ij}^{(l)}}={\delta }_j^{(l)}{a}_i^{(l-1)}$，其中${\delta }_j^{(l)}$是第$l$层的第$j$个神经元的误差项，对于输出层${\delta }_j^{(L)}=(a_j^{(L)}-y_j)g^{\prime }(z_j^{(L)})$，对于隐藏层${\delta }_j^{(l)}=g^{\prime }(z_j^{(l)}){\sum }_{k=1}^{n_{l+1}}{w}_{jk}^{(l+1)}{\delta }_k^{(l+1)}$。这些公式用于在训练神经网络时更新权重，根据误差从输出层反向传播到输入层来调整权重，以减小损失函数的值。

聚类算法公式（以K - Means为例）

• 质心更新公式：${\mu }_k=\frac{1}{|C_k|}{\sum }_{x_i\in C_k}{x}_i$，其中${\mu }_k$是第$k$个聚类的质心，$C_k$是属于第$k$个聚类的样本集合，$x_i$是样本，$|C_k|$是集合$C_k$中的样本数量。例如，在一个二维数据的聚类中，假设有两个聚类（$k=2$），通过这个公式不断更新每个聚类的质心位置。
• 样本到质心距离公式（常用欧几里得距离）：$d(x_i,{\mu }_k)=\sqrt{{\sum }_{j=1}^n(x_{ij}-{\mu }_{kj}{)}^2}$，其中$x_{ij}$是样本$x_i$的第$j$个特征，${\mu }_{kj}$是第$k$个质心的第$j$个特征。在K - Means算法中，根据这个距离来确定样本属于哪个聚类。

主成分分析（PCA）公式

• 协方差矩阵公式：对于数据集$X=[x_1,x_2,\cdots ,x_n]$（$x_i$是样本向量），协方差矩阵$\Sigma =\frac{1}{n-1}{X}^{T}X$。例如，对于一个有$m$个特征的数据集，$\Sigma$是一个$m\times m$的矩阵，其元素${\sigma }_{ij}$表示第$i$个特征和第$j$个特征之间的协方差。
• 特征值和特征向量公式：求解协方差矩阵$\Sigma$的特征值${\lambda }_i$和特征向量$v_i$，满足$\Sigma v_i={\lambda }_i{v}_i$。在PCA中，通过选择特征值较大的特征向量来构建主成分，将高维数据投影到低维空间。例如，选择前$k$个特征值对应的特征向量，将数据从$m$维投影到$k$维空间，投影公式为$y_i=V_k^T{x}_i$，其中$V_k=[v_1,v_2,\cdots ,v_k]$是由$k$个特征向量组成的矩阵。