学习总结

（1）用微分法，要熟练矩阵微分和迹函数的性质。由于微分法使用了迹函数的技巧，那么迹函数对向量矩阵求导这一大类问题，使用微分法是最简单直接的。
（2）有一些场景，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。如果我们可以利用一些常用的简单求导结果，再使用链式求导法则（下个task），则会非常的方便。
（3）本task是求解标量对向量的求导，以及标量对矩阵的求导。注意此处统一规定：使用分母布局（维度和分母一致）。

机器学习算法中一般会使用一种叫混合布局的思路，即如果是向量或者矩阵对标量求导，则使用分子布局为准，如果是标量对向量或者矩阵求导，则以分母布局为准。对于向量对对向量求导，有些分歧，后面统一以分子布局的雅克比矩阵为主。

一、矩阵微分

我们熟悉的标量的微分：
$$df=f^{\prime }(x)dx$$如果是多变量情况：
$$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i={\left(\frac{\partial f}{\partial \mathbf{x}}\right)}^{T}d\mathbf{x}$$
从上面可以发现：标量对向量的求导，和向量的微分，之间存在一个转置的一项。
推广到矩阵微分：
$$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=\mathrm{tr}\left({\left(\frac{\partial f}{\partial \mathbf{X}}\right)}^{T}d\mathbf{X}\right)$$
注意：

• 上面矩阵微分的第二步，用了【迹函数等于主对角线的和】性质：$$\mathrm{tr}\left(A^{T}B\right)=\sum _{i,j}{A}_{ij}{B}_{ij}$$
• 矩阵微分和它的导数也有一个转置的关系，不过在外面套了一个迹函数而已。由于标量的迹函数就是它本身，那么矩阵微分和向量微分可以统一表示，即：$$df=\mathrm{tr}\left({\left(\frac{\partial f}{\partial \mathbf{X}}\right)}^{T}d\mathbf{X}\right)df=\mathrm{tr}\left({\left(\frac{\partial f}{\partial \mathbf{x}}\right)}^{T}d\mathbf{x}\right)$$

二、矩阵微分的性质

• 微分加法：$d(X+Y)=dX+dY,d(X-Y)=dX-dY$
• 微分乘法：$d(XY)=(dX)Y+X(dY)$
• 微分转置：$d\left(X^T\right)=(dX{)}^T$
• 微分的迹：$d\mathrm{tr}(X)=\mathrm{tr}(dX)$
• 微分哈达玛积：$d(X\odot Y)=X\odot dY+dX\odot Y$
• 逐元素求导：$d\sigma (X)={\sigma }^{\prime }(X)\odot dX$
• 逆矩阵微分：$d{X}^{-1}=-X^{-1}(dX)X^{-1}$
• 行列式微分：$d|X|=|X|\mathrm{tr}\left(X^{-1}dX\right)$

三、使用微分法求解矩阵向量求导

3.1 迹函数的技巧

• 标量的迹等于自己：$\mathrm{tr}(x)=x$；转置则迹不变
• 交换律：$\mathrm{tr}(AB)=\mathrm{tr}(BA)$，需要满足$A$、$B^T$同维度
• 加减法：$\mathrm{tr}(X+Y)=\mathrm{tr}(X)+\mathrm{tr}(Y),\mathrm{tr}(X-Y)=\mathrm{tr}(X)-\mathrm{tr}(Y)$
• 矩阵乘法和迹交换：$\mathrm{tr}\left((A\odot B{)}^{T}C\right)=\mathrm{tr}\left(A^T(B\odot C)\right)$，注意A，B，C的维度要相同

3.2 栗子1

看上一次定义法的求导问题：
$$y={\mathbf{a}}^T\mathbf{X}\mathbf{b},\frac{\partial y}{\partial \mathbf{X}}$$
（1）用微分乘法对$f$求微分，得到：$$dy=d{\mathbf{a}}^T\mathbf{X}\mathbf{b}+{\mathbf{a}}^{T}d\mathbf{X}\mathbf{b}+{\mathbf{a}}^T\mathbf{X}d\mathbf{b}={\mathbf{a}}^{T}d\mathbf{X}\mathbf{b}$$
（2）两边套上迹函数，其中第一步到第二步用到了3.1迹函数的性质1，第三步到第四步用到了性质2（交换律）：
$$dy=\mathrm{tr}(dy)=\mathrm{tr}\left({\mathbf{a}}^{T}d\mathbf{X}\mathbf{b}\right)=\mathrm{tr}\left(\mathbf{b}{\mathbf{a}}^{T}d\mathbf{X}\right)$$
（3）根据我们矩阵导数和微分的定义，迹函数里面在$dX$左边的部分$\mathbf{b}{\mathbf{a}}^T$，加上一个转置即为我们要求的导数，即：
$$\frac{\partial f}{\partial \mathbf{X}}={\left({\mathbf{b}\mathbf{a}}^T\right)}^T=a{b}^T$$

小结：以上就是微分法的基本流程，先求微分再做迹函数变换，最后得到求导结果。比起定义法，我们现在不需要去对矩阵中的单个标量进行求导了。

3.3 栗子2

$$y={\mathbf{a}}^T\exp (\mathbf{X}\mathbf{b}),\frac{\partial y}{\partial \mathbf{X}}$$
$$\begin{gathered} dy=\mathrm{tr}(dy) \\ =\mathrm{tr}\left({\mathbf{a}}^T\mathrm{dexp}(\mathbf{X}\mathbf{b})\right) \\ =\mathrm{tr}\left({\mathbf{a}}^T(\exp (\mathbf{X}\mathbf{b})\odot d(\mathbf{X}\mathbf{b}))\right) \\ =\mathrm{tr}\left((\mathbf{a}\odot \exp (\mathbf{X}\mathbf{b}){)}^{T}d\mathbf{X}\mathbf{b}\right) \\ =\mathrm{tr}\left(\mathbf{b}(\mathbf{a}\odot \exp (\mathbf{X}\mathbf{b}){)}^{T}d\mathbf{X}\right) \end{gathered}$$
第三到第四步，用了迹函数的矩阵乘法和迹交换（性质4）。求导结果为：
$$\frac{\partial y}{\partial \mathbf{X}}=(\mathbf{a}\odot \exp (\mathbf{X}\mathbf{b}))b^T$$

四、迹函数对向量矩阵求导

常见的迹函数的求导过程：
（1）直接根据矩阵微分的定义：
$$\frac{\partial tr(AB)}{\partial A}=B^T,\frac{\partial tr(AB)}{\partial B}=A^T$$
（2）
$$\frac{\partial tr\left(W^{T}AW\right)}{\partial W}$$
$$\begin{array}{c}d\left(\mathrm{tr}\left(W^{T}AW\right)\right)=\mathrm{tr}\left(d{W}^{T}AW+W^{T}AdW\right)\\ =\mathrm{tr}\left(d{W}^{T}AW\right)+\mathrm{tr}\left(W^{T}AdW\right)\\ =\mathrm{tr}\left((dW{)}^{T}AW\right)+\mathrm{tr}\left(W^{T}AdW\right)\\ =\mathrm{tr}\left(W^T{A}^{T}dW\right)\\ +\mathrm{tr}\left(W^{T}AdW\right)=\mathrm{tr}\left(W^T\left(A+A^T\right)dW\right)\end{array}$$
得到：
$$\frac{\partial \mathrm{tr}\left(W^{T}AW\right)}{\partial W}=\left(A+A^T\right)W$$
（3）复杂的迹函数求导：
$$\frac{\partial tr\left(B^T{X}^{T}CXB\right)}{\partial X}$$
$$\begin{array}{c}d\left(\mathrm{tr}\left(B^T{X}^{T}CXB\right)\right)\\ =\mathrm{tr}\left(B^{T}d{X}^{T}CXB\right)+\mathrm{tr}\left(B^T{X}^{T}CdXB\right)\\ =\mathrm{tr}\left((dX{)}^{T}CXB{B}^T\right)+\mathrm{tr}\left(B{B}^T{X}^{T}CdX\right)\\ =\mathrm{tr}\left(B{B}^T{X}^T{C}^{T}dX\right)+\mathrm{tr}\left(B{B}^T{X}^{T}CdX\right)\\ =\mathrm{tr}\left(\left(B{B}^T{X}^T{C}^T+B{B}^T{X}^{T}C\right)dX\right)\end{array}$$
得到：
$$\frac{\partial \mathrm{tr}\left(B^T{X}^{T}CXB\right)}{\partial X}=\left(C+C^T\right)XB{B}^T$$

Reference

（1）https://www.cnblogs.com/pinard/p/10791506.html
（2）矩阵求导知识点总结：https://www.cnblogs.com/gyhhaha/p/11782212.html
（3）wiki百科：https://en.wikipedia.org/wiki/Matrix_calculus
（4）矩阵求导与矩阵微分—中科院博士大佬
（5）矩阵求导术（上）