矩阵求导
矩阵求导在深度学习中的应用
矩阵求导在深度学习中的应用在深度学习中，我们需要优化模型的训练过程，而优化过程离不开梯度的计算。
而矩阵求导作为一种常用的求解梯度的方法，在深度学习中也具有着非常重要的应用。
一、矩阵求导的基本原理矩阵求导是一种对矩阵中每一个元素求导的方法，它可以将高维矩阵中的每一个元素看作是单独的数，对其进行求导。
对于一个函数f(X)，我们求它对矩阵X的导数可以表示为：∂f(X) / ∂X = [∂f(X) / ∂x1, ∂f(X) / ∂x2, …, ∂f(X) / ∂xn]其中xi表示矩阵X中的每一个元素。
这样，我们就将一个函数对矩阵的导数化简为对每一个元素的求导。
二、矩阵求导在神经网络中的应用在神经网络中，损失函数是我们需要最小化的目标函数，而模型的参数就是我们要优化的目标。
因此，我们需要计算损失函数对模型参数的导数，才能进行模型参数的优化。
由于神经网络中的参数通常都是矩阵形式，因此我们需要运用矩阵求导的方法来求解损失函数对参数的导数。
以简单的线性回归模型为例，我们假设输入的数据为X，输出的预测值为y，模型的参数为W和b，损失函数为L，我们需要求解L对W和b的导数。
- 对W的求导L对W的导数可以表示为：∂L / ∂W = ∂L / ∂y * ∂y / ∂W因为y = X·W + b，所以有∂y / ∂W = X，因此：∂L / ∂W = ∂L / ∂y * X- 对b的求导同样的，L对b的求导可以表示为：∂L / ∂b = ∂L / ∂y * ∂y / ∂b因为∂y / ∂b = 1，所以：∂L / ∂b = ∂L / ∂y通过这样对模型参数进行求导，我们就可以得到损失函数对参数的梯度，从而进行优化。
三、矩阵求导的实现方法矩阵求导在实现上比较困难，尤其是在高维矩阵中。
然而，深度学习框架如TensorFlow、PyTorch等已经为我们解决了这些实现问题，可以方便地计算矩阵的导数。
以PyTorch为例，我们可以通过调用backward()方法，对损失函数进行自动求导。
矩阵求导
1. 矩阵Y对标量x求导：相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了Y = [y(ij)] --> dY/dx = [dy(ji)/dx]2. 标量y对列向量X求导：注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量y = f(x1,x2,..,xn) --> dy/dX = (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)T3. 行向量Y T对列向量X求导：注意1×M向量对N×1向量求导后是N×M矩阵。
将Y的每一列对X求偏导，将各列构成一个矩阵。
重要结论：dX T/dX = Id(AX)T/dX = A T4. 列向量Y对行向量X T求导：转化为行向量Y T对列向量X的导数，然后转置。
注意M×1向量对1×N向量求导结果为M×N矩阵。
dY/dX T = (dY T/dX)T5. 向量积对列向量X求导运算法则：注意与标量求导有点不同。
d(UV T)/dX = (dU/dX)V T + U(dV T/dX)d(U T V)/dX = (dU T/dX)V + (dV T/dX)U重要结论：d(X T A)/dX = (dX T/dX)A + (dA/dX)X T = IA + 0X T = Ad(AX)/dX T = (d(X T A T)/dX)T = (A T)T = Ad(X T AX)/dX = (dX T/dX)AX + (d(AX)T/dX)X = AX + A T X6. 矩阵Y对列向量X求导：将Y对X的每一个分量求偏导，构成一个超向量。
注意该向量的每一个元素都是一个矩阵。
7. 矩阵积对列向量求导法则：d(uV)/dX = (du/dX)V + u(dV/dX)d(UV)/dX = (dU/dX)V + U(dV/dX)重要结论：d(X T A)/dX = (dX T/dX)A + X T(dA/dX) = IA + X T0 = A8. 标量y对矩阵X的导数：类似标量y对列向量X的导数，把y对每个X的元素求偏导，不用转置。
常用的矩阵求导公式推导过程
常用的矩阵求导公式推导过程矩阵求导是矩阵微积分中的重要内容，常用于优化算法、机器学习和控制理论等领域。
下面我将从多个角度全面完整地回答你关于常用的矩阵求导公式的推导过程。
1. 标量对向量的导数：假设有标量函数 f(x) 和向量 x = [x1, x2, ..., xn]，则f(x) 对 x 的导数为：∂f/∂x = [∂f/∂x1, ∂f/∂x2, ..., ∂f/∂xn]2. 向量对向量的导数：假设有向量函数 f(x) 和向量 x = [x1, x2, ..., xn]，则f(x) 对 x 的导数为：∂f/∂x = [∂f/∂x1, ∂f/∂x2, ..., ∂f/∂xn]，其中∂f/∂xi 是一个行向量。
3. 标量对矩阵的导数：假设有标量函数 f(X) 和矩阵 X，其中 X = [xij]，则 f(X) 对 X 的导数为：∂f/∂X = [∂f/∂x11, ∂f/∂x12, ..., ∂f/∂x1m;∂f/∂x21, ∂f/∂x22, ..., ∂f/∂x2m;...∂f/∂xn1, ∂f/∂xn2, ..., ∂f/∂xnm]4. 矩阵对矩阵的导数：假设有矩阵函数 F(X) 和矩阵 X，其中 F(X) = [fij(X)]，则 F(X) 对 X 的导数为：∂F/∂X = [∂f11/∂X, ∂f12/∂X, ..., ∂f1m/∂X;∂f21/∂X, ∂f22/∂X, ..., ∂f2m/∂X;...∂fn1/∂X, ∂fn2/∂X, ..., ∂fnm/∂X]，其中∂fij/∂X 是一个与 X 维度相同的矩阵。
5. 矩阵对向量的导数：假设有矩阵函数 F(x) 和向量 x = [x1, x2, ..., xn]，则F(x) 对 x 的导数为：∂F/∂x = [∂f11/∂x, ∂f12/∂x, ..., ∂f1n/∂x;∂f21/∂x, ∂f22/∂x, ..., ∂f2n/∂x;...∂fm1/∂x, ∂fm2/∂x, ..., ∂fmn/∂x]，其中∂fij/∂x 是一个与 x 维度相同的矩阵。
矩阵求导公式
转载]矩阵求导公式【转】(2011-11-15 11:03:34)转载▼标签：转载原文地址：矩阵求导公式【转】作者：三寅今天推导公式，发现居然有对矩阵的求导，狂汗--完全不会。
不过还好网上有人总结了。
吼吼，赶紧搬过来收藏备份。
基本公式：Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A'1. 矩阵Y对标量x求导：相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了Y = [y(ij)] --> dY/dx = [dy(ji)/dx]2. 标量y对列向量X求导：注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量y = f(x1,x2,..,xn) --> dy/dX = (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'3. 行向量Y'对列向量X求导：注意1×M向量对N×1向量求导后是N×M矩阵。
将Y的每一列对X求偏导，将各列构成一个矩阵。
重要结论：dX'/dX = Id(AX)'/dX = A'4. 列向量Y对行向量X’求导：转化为行向量Y’对列向量X的导数，然后转置。
注意M×1向量对1×N向量求导结果为M×N矩阵。
dY/dX' = (dY'/dX)'5. 向量积对列向量X求导运算法则：注意与标量求导有点不同。
d(UV')/dX = (dU/dX)V' + U(dV'/dX)d(U'V)/dX = (dU'/dX)V + (dV'/dX)U'重要结论：d(X'A)/dX = (dX'/dX)A + (dA/dX)X' = IA + 0X' = Ad(AX)/dX' = (d(X'A')/dX)' = (A')' = Ad(X'AX)/dX = (dX'/dX)AX + (d(AX)'/dX)X = AX + A'X6. 矩阵Y对列向量X求导：将Y对X的每一个分量求偏导，构成一个超向量。
矩阵求导在自然中的应用
矩阵求导在自然中的应用矩阵求导在数学中是一项重要的技能，它被用于许多领域，特别是在线性代数、机器学习和最优化问题中。
但事实上，它在自然中也有广泛的应用。
一、矩阵求导在物理中的应用在物理学中，矩阵求导通常被用来描述物理系统的运动和演化。
例如，在量子力学中，施密特正交化算法可以被用于寻找特定系统的基函数。
在这个过程中，需要求取矩阵的导数来计算特定的相干态。
在电子结构理论中，Hartree-Fock方程的求解也涉及到了矩阵的求导。
二、矩阵求导在生物学中的应用在生物学中，矩阵求导可以用来分析基因表达数据。
矩阵求导可以有效地测量基因转录水平的变化，并进一步研究基因调控网络的复杂性。
此外，矩阵求导还被用于研究生物系统中的跨越性现象和非线性动力学。
例如，在生态学中，它可以用于建立物种相互作用的矩阵模型。
三、矩阵求导在经济学中的应用在经济学中，矩阵求导可以用来研究市场的供求模型和生产函数。
在最优化问题中，它可以用来确定最佳产量和最佳定价策略。
此外，矩阵求导还可用于建立多种金融模型，例如Black-Scholes模型，它是一种通用的期权定价模型。
四、矩阵求导在计算机视觉中的应用在计算机视觉中，矩阵求导可以用于图像和视频分析。
它可以用来计算一张图片或一段视频中的运动、方向、变化和形状等特征。
例如，在人脸识别和目标跟踪中，可以用矩阵求导来判断目标的位置和速度。
五、矩阵求导在机器学习中的应用矩阵求导在机器学习中也是重要的方法。
如反向传播算法，它是一种用于训练神经网络的算法。
它的基本原理就涉及到矩阵求导。
此外，在无监督学习和自适应控制中，矩阵求导也是必要的技能。
六、矩阵求导的未来发展矩阵求导在自然中的应用，正是因为其在学科领域中作为基础工具的应用于科学问题，吸引越来越多的学者进行研究，发现这个领域还存在许多未知的问题和新的挑战。
总结在自然中，矩阵求导已经被证明是一项非常有用的技能。
从物理学到生物学，从经济学到计算机视觉，无处不体现着这个技能。
矩阵求导的向量化处理
矩阵求导的向量化处理矩阵求导是一种在数学和计算机科学领域中广泛应用的技术。
它被用于处理包含多个变量和函数的复杂方程和模型，并为我们提供了一种有效的方式来求解它们的导数。
在本文中，我们将着重探讨如何将矩阵求导进行向量化处理，以提高效率和减少计算时间。
在了解矩阵求导的向量化处理之前，我们需要了解基础知识。
矩阵求导是一种关于矩阵微积分的技术，用于计算矩阵函数的导数。
矩阵函数是一种将矩阵映射到矩阵的函数，例如，向量的内积可以表示为一个函数 f(X) = X'X，其中 X 可能是二维或三维的矩阵。
矩阵求导用于计算这种函数关于 X 的导数，即∂f(X)/∂X，通常称为雅可比矩阵。
矩阵求导有多种方法，其中的一种常用的方法称为分块矩阵求导。
该方法将矩阵划分成多个子块，然后对每个子块进行求导。
但是，这种方法在计算大型矩阵时需要大量的计算和存储空间，导致计算时间很长，且容易出现内存不足的情况。
此外，当矩阵形状改变时，需要手动更改分块矩阵求导中每个子块的尺寸和坐标位置，这也增加了代码的复杂性。
为了解决这些问题，可以使用矩阵求导的向量化处理技术。
这种技术的基本思想是将矩阵转换为向量，并将矩阵函数表示为向量函数，然后使用向量求导的规则来求出雅可比矩阵。
在这种方法中，我们首先将矩阵 X 展开为一个行向量 x，通过将矩阵在行或列方向上连接来实现。
接下来，我们将矩阵函数 f(X) 变成一个标量函数 f(x)，并使用向量求导规则来计算导数。
最后，我们将得到一个行向量，其每个元素表示 f(X) 的一个分量关于 x 的一个分量的导数。
然后，通过对这个向量进行重组和转置，我们就可以得到雅可比矩阵了。
相比于分块矩阵求导，矩阵求导的向量化处理具有如下的优点：1.减少计算时间：向量化技术避免了对矩阵进行分块，使得计算时间更加快速，提高了计算效率。
2.更灵活：向量化方法不要求矩阵具有特定的形状和尺寸，因此可以适用于多种不同的矩阵形式。
矩阵向量求导法则
矩阵向量求导法则
矩阵向量求导法则是一组规则，用于计算矩阵和向量之间的导数。
以下列出了常见的矩阵向量求导法则：
1. 标量对向量求导：
\frac{d}{dx}(c^{T}x) = c
其中，c是一个常数向量，x是一个列向量。
2. 向量对标量求导：
\frac{d}{dx}(x^{T}c) = c^{T}
其中，c是一个常数向量，x是一个列向量。
3. 向量对向量求导：
\frac{d}{dx}(x^{T}Ax) = (A+A^{T})x
其中，A是一个矩阵，x是一个列向量。
4. 向量对矩阵求导：
\frac{d}{dA}(x^{T}Ax) =
(x^{T}+x)(\frac{dA}{dA}+\frac{dA^{T}}{dA}) = 2x^{T}A
其中，A是一个矩阵，x是一个列向量。
5. 标量对矩阵求导：
\frac{d}{dA}(c^{T}Ax) = c^{T}x^{T}
其中，c是一个常数向量，A是一个矩阵，x是一个列向量。
6. 向量对向量求导（链式法则）：
\frac{d}{dx}(f(g(x))) = (\frac{df}{dy})^{T}\frac{dg}{dx}
其中，f(\cdot)和g(\cdot)是两个函数，y=g(x)，\frac{df}{dy}是
f(\cdot)对y的导数。
多元函数 矩阵 求导
多元函数矩阵求导
多元函数的矩阵求导是微积分中的一个重要内容，它涉及到矩
阵的偏导数和梯度等概念。
首先，我们来看多元函数的梯度。
对于
一个多元函数，如果其自变量是一个n维向量，因变量是一个标量，那么这个函数的梯度就是一个n维向量，其中每个分量分别是函数
对自变量的偏导数。
假设有一个多元函数f(x1, x2, ..., xn)，那
么它的梯度可以表示为∇f = [∂f/∂x1, ∂f/∂x2, ...,
∂f/∂xn]。
这里∂f/∂xi表示函数f对自变量xi的偏导数。
接下来我们来看矩阵的求导。
对于一个矩阵函数F(X)，其中X
是一个矩阵，我们可以对其进行求导。
如果F(X)的每个元素都是关
于X的函数，那么F(X)的导数就是一个与X同型的矩阵，其中每个
元素是对应元素的偏导数。
具体来说，如果F(X)是一个m×n的矩
阵函数，那么它的导数就是一个m×n的矩阵，其中第i行第j列的
元素是∂Fij/∂Xkl，其中k是第i行，l是第j列。
在实际应用中，多元函数的矩阵求导常常用于优化问题、机器
学习和深度学习等领域。
通过对多元函数的梯度和矩阵的导数进行
求解和分析，可以帮助我们理解函数的变化规律，并且为优化算法
的设计提供重要的数学基础。
在深度学习中，梯度下降法等优化算
法的实现也离不开对多元函数的矩阵求导。
总之，多元函数的矩阵求导是一项重要且复杂的数学工作，它在实际问题中有着广泛的应用，并且对于理解和解决实际问题具有重要意义。
希望我的回答能够帮助你更好地理解这一内容。
矩阵求导定义
矩阵求导定义矩阵求导定义矩阵求导是一种非常有用的数学工具，它可以帮助人们在各种数学问题中更加快速和方便地解决问题。
矩阵求导的定义可以简单地表示为：对于一个矩阵函数f(x)，其导数矩阵df(x)/dx可以表示为：df(x)/dx = lim(h→0) [f(x+h)-f(x)]/h其中，x表示一个行向量，h表示一个标量，df(x)/dx是一个矩阵，f(x+h)和f(x)都是和x大小相同的矩阵。
矩阵求导的基本规则在矩阵求导的过程中，有一些基本规则需要遵守，这些规则包括：①线性性：若f(x)和g(x)是两个矩阵函数，a和b分别为标量，则有：d[a*f(x)+b*g(x)]/dx = a*df(x)/dx + b*dg(x)/dx②乘法规则：若f(x)和g(x)是两个矩阵函数，则有：d[f(x)*g(x)]/dx = df(x)/dx*g(x) + f(x)*dg(x)/dx③转置规则：若f(x)是一个矩阵函数，则有：d[f(x)']/dx = (df(x)/dx)'④逆矩阵规则：若f(x)是一个可逆的矩阵函数，则有：d[f(x)^-1]/dx = -f(x)^-1*(df(x)/dx)*f(x)^-1应用实例矩阵求导可以在各种数学问题中得到应用，以下是一些实例：1、矩阵优化问题：矩阵求导可以在矩阵优化问题中得到广泛应用，例如，在机器学习模型的训练过程中，使用梯度下降算法优化损失函数，需要对损失函数求导得到梯度。
2、协方差矩阵的求导：在数据分析领域中，协方差矩阵常常被用来描述不同变量之间的关系。
矩阵求导可以在计算协方差矩阵的导数时得到应用。
3、矩阵微积分学：矩阵微积分学是一门关于矩阵导数和积分的学科，矩阵求导是其中非常重要的一部分。
结语矩阵求导是一个非常有用的数学工具，它可以帮助人们在各种数学问题中更加快速和方便地解决问题。
在应用矩阵求导的过程中，需要遵守基本规则，同时还需要理解它的应用实例。
矩阵求导(本质、原理与推导)详解
矩阵求导(本质、原理与推导)详解1.引言矩阵求导是数学分析中重要的一部分，广泛应用于机器学习、数据挖掘和优化问题中。
本文将介绍矩阵求导的本质、原理以及推导过程，为读者提供一个比较全面的了解。
2.矩阵的本质及相关概念在矩阵求导前，我们需要先了解矩阵的本质及相关概念。
矩阵是一个按照规律排列的方阵，其中每个元素通常是实数或者复数。
以$n$行$m$列的矩阵$A$为例，可以表示为：$$A=\begin{bmatrix}a_{1,1}&a_{1,2}&\cdots&a_{1,m}\\a_{2,1}&a_{2,2}&\cdots&a_{2,m}\\\vdots&\vdots&\ddots&\vdots\\a_{n,1}&a_{n,2}&\cdots&a_{n,m}\\\end{bmatrix}$$其中$a_{i,j}$表示矩阵$A$中第$i$行第$j$列的元素。
矩阵还有一些相关的概念，如矩阵的转置、逆矩阵、伴随矩阵等等，这里不一一赘述。
3.标量函数对向量、矩阵的导数在开始矩阵求导之前，我们需要先了解标量函数对向量或矩阵的导数。
设矩阵$A$是一个$m\times n$的矩阵，$x$是一个$n \times1$的向量，函数$f(x)$将$x$映射为一个标量。
我们定义$f(x)$对$x$的导数为：$$\frac{\partial f(x)}{\partial x}=\begin{bmatrix}\frac{\partial f(x)}{\partial x_1}&\frac{\partial f(x)}{\partial x_2}&\cdots&\frac{\partial f(x)}{\partial x_n}\end{bmatrix}$$其中每一项$\frac{\partial f(x)}{\partial x_i}$表示$f(x)$对$x_i$的偏导数。
矩阵求导的神经网络算法
矩阵求导的神经网络算法在神经网络中，矩阵求导是非常重要的算法之一。
它能够帮助我们求得代价函数在所有参数上的梯度，从而在训练神经网络时进行反向传播优化。
本文将从矩阵求导的定义、优化问题以及实现细节三个方面介绍矩阵求导在神经网络中的应用。
1. 矩阵求导的定义矩阵求导是矩阵微积分中的一种重要运算。
我们知道，在单变量微积分中，求解函数的导数（即斜率）是一个非常重要的概念，而在多变量微积分中，导数则需要被扩展为矩阵形式。
具体而言，对于一个向量函数$f(\boldsymbol x)=[f_1(\boldsymbolx),f_2(\boldsymbol x),...,f_n(\boldsymbol x)]^T$，其中$\boldsymbolx=[x_1,x_2,...,x_m]^T$，我们可以定义该函数对向量$\boldsymbolx$的偏导数矩阵为：$$J_{\boldsymbol{x}}(f(\boldsymbol{x}))=\begin{bmatrix}\frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2} & ... & \frac{\partial f_1}{\partial x_m} \\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2} & ... & \frac{\partial f_2}{\partialx_m} \\ ... & ... & ... & ... \\ \frac{\partial f_n}{\partial x_1} &\frac{\partial f_n}{\partial x_2} & ... & \frac{\partial f_n}{\partial x_m} \end{bmatrix}$$其中，每个元素$\frac{\partial f_i}{\partial x_j}$表示函数$f_i$在$x_j$处的偏导数。
矩阵求导法则的解析与应用
矩阵求导法则的解析与应用矩阵求导法则是矩阵微积分中的基本概念，它在众多领域中都有广泛的应用，尤其是在优化算法、机器学习和信号处理等领域中。
本文将深入探讨矩阵求导法则的解析和应用，并分享对这一主题的观点和理解。
一、矩阵求导法则的基本概念1. 矩阵求导的定义和目的在矩阵微积分中，矩阵求导是指对矩阵中的每个元素进行求导运算。
其目的是为了描述矩阵变量函数在某一点的变化率，从而可以进一步分析函数在该点的性质和优化问题的解。
2. 矩阵对标量的导数当矩阵中的元素都是标量时，矩阵对标量的导数就是普通的微积分中的导数。
它遵循标量的求导法则，如常数因子法则、求和法则和链式法则等。
3. 矩阵对向量的导数当矩阵中的元素是向量时，矩阵对向量的导数运算更为复杂。
需要使用矩阵求导法则来进行推导和计算。
常见的矩阵求导法则包括向量对向量的导数、向量对标量的导数、标量对向量的导数等。
二、矩阵求导法则的应用1. 优化算法中的应用在优化算法中，矩阵求导法则被广泛应用于求解最优化问题。
梯度下降算法通过计算函数的梯度（即矩阵对向量的导数）来寻找函数的最小值。
矩阵求导法则为梯度下降算法提供了有效的计算方式，提高了算法的收敛速度和性能。
2. 机器学习中的应用在机器学习中，矩阵求导法则用于对损失函数进行求导，以便于参数的优化和模型的训练。
反向传播算法中就需要对损失函数对参数矩阵的导数进行计算和更新。
矩阵求导法则的正确应用可以简化计算过程，提高训练效率和模型的准确性。
3. 信号处理中的应用在信号处理领域，矩阵求导法则被广泛应用于信号的滤波和特征提取等任务中。
基于最小均方误差准则的线性滤波器设计中，需要对损失函数对滤波器系数矩阵的导数进行计算。
矩阵求导法则为滤波器设计提供了理论基础和数值计算方法。
三、个人观点和理解作为一名文章写手，在撰写这篇文章的过程中，我对矩阵求导法则的重要性有了更深入的认识和理解。
矩阵求导法则不仅对于理解优化算法、机器学习和信号处理等领域的核心概念至关重要，而且在实际应用中也发挥着重要的作用。
矩阵求导（工具书）
矩阵求导（⼯具书）⼀、基本概念与性质记号规范请参考：1. 迹对称矩阵\(A\)的迹定义为：\[Tr(A) = \sum_{i=1}^nA_i^i \tag{1.1} \]2. 迹的运算(1)\[Tr(A) = \sum_{i=1}^n\lambda_{i} \tag{1.2.1} \]其中\(\lambda_i\)为矩阵\(A\)的第\(i\)个特征值(2)\[Tr(A) = Tr(A^T) \tag{1.2.2} \](3)\[Tr(AB) = \sum_{i=1}^n\left(\sum_{j=1}^nA_i^jB_j^i\right) = \sum_{j=1}^n\left(\sum_{i=1}^nB_j^iA_i^j\right) = Tr(BA) \tag{1.2.3} \] (4)\[Tr(A + B) = Tr(A) + Tr(B) \tag{1.2.4} \](5)\[Tr(\mathbf{x}\mathbf{x}^T) = \sum_{i=1}^n\mathbf{x}_i\cdot \mathbf{x}_i = \mathbf{x}^T\mathbf{x} \tag{1.2.5} \]3. ⾏列式对称矩阵\(A\)的⾏列式定义为：\[\det (A) = \sum_{\sigma \in S_n}(-1)^{\mathrm{sgn}(\sigma)}\prod_{i=1}^n A_i^{\sigma(i)} \tag{1.3.1} \]其中\(S_n\)是集合\(\{1, 2, \cdots, n\}\)上置换的全体，即集合\(\{1, 2, \cdots, n\}\)到⾃⾝的⼀⼀映射（双射）的全体；例如：\(\{2, 3, 1\}\)是\(\{1, 3, 2\}\)的置换，且满⾜\(\sigma(1) = 2, \sigma(2) = 3, \sigma(3) = 1\)其中\({\rm sgn} (\sigma)\)表⽰的是置换\(\sigma\)中逆序对（即\(\sigma(i) > \sigma(j)，1 \leq i \leq j \leq n\)）的数量；例如：\({\rm sgn}(\{2, 3, 1\}) = 2\)对于有\(n\)个元素的集合⽽⾔，其置换的个数有\(n!\)个4. ⾏列式的计算(1)\[\det (A) = \prod_{i=1}^n \lambda_i \tag{1.4.1} \]其中\(S_n\)是集合\(\{1, 2, \cdots, n\}\)上置换的全体，即集合\(\{1, 2, \cdots, n\}\)到⾃⾝的⼀⼀映射（双射）的全体；(2)\[\det(A) \overset{按⾏展开}{=} \sum_{j=1}^n(-1)^{i + j}A_i^{j}\det\left([A]_i^{j}\right) \overset{按列展开}{=} \sum_{i=1}^n(-1)^{i + j}A_i^{j}\det\left([A]_i^{j}\right) \tag{1.3.2} \](3)\[\det(kA) = k^n\det(A) \tag{1.3.3} \](4)\[\det(A^T) = \det(A) \tag{1.3.4} \](5)\[\det(AB) = \det(A)\det(B) \tag{1.3.5} \](6)\[\det(A^{-1}) = \frac{1}{\det(A)} \tag{1.3.6} \](7)\[\begin{align} \det(I + \mathbf{u} \mathbf{v}^T) &= 1 + \mathbf{u}^T\mathbf{v} \tag{1.3.7} \end{align} \](8)\[\mathrm{adj}(A) = \det(A)\cdot A^{-1} \tag{1.3.8} \]⼆、向量与矩阵的运算结论1. 矩阵相乘(1)\[\begin{align} A\cdot B &= \left((AB)_i^j\right)_{m\times n} \\ &= \left(\sum_k A_i^kB_k^j\right)_{m\times n} \end{align} \tag{2.1.1} \] (2)\[\begin{align} (A\cdot B)\cdot C &= \left(\sum_k(AB)_i^kC_k^j\right)_{m\times n}\\ &= \left(\sum_k\left(\sum_tA_i^tB_t^k\right)C_k^j \right)_{m\times n} \end{align} \tag{2.1.2} \](3)\[A\cdot [E_i^j] = \left(0, \cdots \underbrace{A^i}_{第j列},\cdots ,0 \right) \tag{2.1.3} = [A^i]^j \](4)\[[E_i^j]\cdot A = \left(\begin{array}{cc} &0\\ &\vdots\\ 第i⾏\left\{\right. &A_j\\ &\vdots \\ &0 \end{array} \right) = [A_j]_i \tag{2.1.4} \]三、向量、矩阵求导1. 求导布局分⼦布局：求导结果的第⼀维度以分⼦为主分母布局：求导结果的第⼀维度以分母为主例如：\(m\)维列向量\(\mathbf{y}\)对于\(\mathbf{x}\)求导，若分⼦布局（雅可⽐矩阵）：\[\frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \left( \begin{matrix} \frac{\partial\mathbf{y}_1}{\partial\mathbf{x}_1} &\cdots&\frac{\partial\mathbf{y}_1}{\partial\mathbf{x}_n} \\ \vdots&\ddots &\vdots \\ \frac{\partial\mathbf{y}_m}{\partial\mathbf{x}_1} &\cdots &\frac{\partial\mathbf{y}_m}{\partial\mathbf{x}_n} \end{matrix} \right) \\ \]分母布局（梯度矩阵）：\[\frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \left( \begin{matrix} \frac{\partial\mathbf{y}_1}{\partial\mathbf{x}_1} &\cdots&\frac{\partial\mathbf{y}_m}{\partial\mathbf{x}_1} \\ \vdots &\ddots &\vdots \\ \frac{\partial\mathbf{y}_1}{\partial\mathbf{x}_n} &\cdots &\frac{\partial\mathbf{y}_m}{\partial\mathbf{x}_n} \end{matrix} \right) \\ \]注：以下所有求导结果均以分⼦布局为基础（若分⼦为标量，则为分母布局）2. 求偏微分法则\[\partial C = 0 (C为常（矩阵、向量、标量）) \tag{3.2.1} \]\[\partial A^T = (\partial A)^T \tag{3.2.2} \]\[\partial (A + B) = \partial A + \partial B \tag{3.2.3} \]\[\partial (AB) = \partial A\cdot B + A\cdot \partial B \tag{3.2.4} \]\[\partial (A\odot B) = \partial A\odot B + A\odot \partial B \tag{3.2.5} \]\[\partial( A\otimes B) = \partial A\otimes B +A\otimes \partial B \tag{3.2.6} \]\[\partial ({A^{-1}}) = -A^{-1}\cdot \partial A\cdot A^{-1} \tag{3.2.7} \]\[\partial\ Tr(A) = Tr(\partial A) \tag{3.2.8} \]\[\partial \mathrm{det}A = Tr(\mathrm{adj}A \cdot \partial A) = \mathrm{detA}\cdot Tr(A^{-1} \partial A) \tag{3.2.9} \]链式求导法则：\[\partial g\circ f(A) = \sum_k\sum_t \frac{\partial g\circ f(A)}{\partial f(A)_k^t}\cdot \partial f(A)_k^t = Tr\left(\left(\frac{\partial g\circ f(A)}{\partial f(A)}\right)^T\cdot \partial f(A)\right) \tag{3.2.10} \]3. 向量求导(1)\[\frac{\partial \mathbf{x}}{\partial x} = \left( \begin{array}{cc} \frac{\mathrm{d}\mathbf{x}_1}{\mathrm{d}x} \\ \vdots\\\frac{\mathrm{d}\mathbf{x}_m}{\mathrm{d}x} \end{array} \right) \tag{3.3.1} \](2)\[\frac{\partial \mathbf{x}^T}{\partial x} = \left(\frac{\partial \mathbf{x}}{\partial x}\right)^T \tag{3.3.2} \](3)\[\frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \frac{\partial \mathbf{y}}{\partial \mathbf{x^T}} = \left( \begin{matrix} \frac{\partial\mathbf{y}_1} {\partial\mathbf{x}_1} &\cdots &\frac{\partial\mathbf{y}_1}{\partial\mathbf{x}_n} \\ \vdots &\ddots &\vdots \\ \frac{\partial\mathbf{y}_m}{\partial\mathbf{x}_1} &\cdots &\frac{\partial\mathbf{y}_m}{\partial\mathbf{x}_n} \end{matrix} \right) \tag{3.3.3}\](4)\[\frac{\partial \mathbf{y}^T}{\partial \mathbf{x}} =\frac{\partial \mathbf{y}^T}{\partial \mathbf{x}^T} = \left( \frac{\partial \mathbf{y}}{\partial\mathbf{x}} \right)^T \tag{3.3.4} \](5)\[\frac{\partial \mathbf{x}^T\mathbf{y}}{\partial\mathbf{x}} = \left(\begin{array}{cc} \mathbf{y}_1 \\ \vdots \\ \mathbf{y}_n \end{array} \right) =\mathbf{y} \tag{3.3.5} \](6)\[\frac{\partial \mathbf{x}^T\mathbf{y}}{\partial \mathbf{x}^T} = \left( \frac{\partial \mathbf{x}^T\mathbf{y}}{\partial \mathbf{x}} \right)^T \tag{3.3.6} \](7)\[\frac{\partial A\mathbf{x}}{\partial\mathbf{x}} = \frac{\partial A\mathbf{x}}{\partial\mathbf{x}^T} = \left( \begin{array}{cc} A_{1}^1 &\cdots&A_{1}^m \\ \vdots & \ddots &\vdots \\ A_{n}^1 &\cdots &A_{n}^m \\ \end{array} \right) = A \tag{3.3.7}\](8)\[\frac{\partial \mathbf{x}^TA\mathbf{x}}{\partial \mathbf{x}} = \frac{\partial \mathbf{x}^TA\mathbf{x}}{\partial \mathbf{x}^T} = (A +A^T)\mathbf{x} \tag{3.3.8} \]4. 矩阵求导(1)\[\frac{\partial \mathbf{x}^TA\mathbf{y}}{\partial A} = \mathbf{x}\mathbf{y}^T \tag{3.4.1} \](2)\[\frac{\partial \mathbf{x}^TA^T\mathbf{y}}{\partial A} = \mathbf{y}\mathbf{x}^T \tag{3.4.2} \](3)\[\frac{\partial \mathbf{x}^TA^TA\mathbf{y}}{\partial A} = A(\mathbf{y}\mathbf{x}^T + \mathbf{x}\mathbf{y}^T ) \tag{3.4.3} \]展开证明(4)\[\frac{\partial A^TBA}{\partial B_{i}^{j}} = A_i^TA_j \tag{3.4.4} \]展开证明(5)\[\frac{\partial A^TBA}{\partial A_{i}^j} = [E_j^i]\cdot (BA) + (A^TB)\cdot [E_i^j] \tag{3.4.5} \]展开证明可简记为：\(\frac{\partial A^TBA}{\partial A_i^j} = \frac{\partial A^T}{\partial A_i^j}\cdot BA + A^TB\cdot \frac{\partial A}{\partial A_i^j}\) (6)\[\frac{\partial \mathbf{y}^TA^TBA\mathbf{z}}{\partial A} = B^TA\mathbf{y}\mathbf{z}^T + BA\mathbf{z}\mathbf{y}^T \tag{3.4.6} \]展开证明(7)\[\frac{\partial }{\partial A}(A\mathbf{x} + \mathbf{y})^TD(A\mathbf{x} + \mathbf{y}) = (D + D^T)(A\mathbf{x} + \mathbf{y})\mathbf{x}^T \tag{3.4.7} \]展开证明5. ⾏列式求导(1)\[\frac{\partial \det(Y)}{\partial x} = \det(Y)\cdot Tr(Y^{-1}\frac{\partial Y}{\partial x}) \]展开证明(2)\[\frac{\partial \det(A)}{\partial A} = \det(A)\cdot \left(A^{-1}\right)^T \tag{3.5.2} \]展开证明(3)\[\frac{\partial \det(X^TAX)}{\partial X} = \det(X^TAX)\cdot\left(AX(X^TAX)^{-1} + A^TX(X^TA^TX)^{-1} \right) \tag{3.5.3} \]展开证明(4)\[\frac{\partial \ln \det(X^TX)}{\partial X}= 2(X^{L+})^T \tag{3.5.4} \]展开证明6. 矩阵逆的求导(1)\[\frac{\partial Y^{-1}}{\partial x} = -Y^{-1}\frac{\partial Y}{\partial x}Y^{-1} \tag{3.6.1} \]展开证明(2)\[\frac{\partial \mathbf{a}^TX^{-1}\mathbf{b}}{\partial X} = X^{-T}\mathbf{a}\mathbf{b}^TX^{-T} \tag{3.6.2} \]展开证明(3)\[\frac{\partial \det(X^{-1})}{\partial X} = \det(X^{-1})(X^{-1})^T \tag{3.6.3} \]展开证明(4)\[\frac{\partial Tr(AX^{-1}B)}{\partial X} = \left(X^{-1}BAX^{-1}\right)^{T} \tag{3.6.4} \]展开证明(5)\[\begin{align} \frac{\partial Tr\left((X+A)^{-1}\right) }{\partial X} &\overset{由3.6.4}{=}((X+A)^{-1}(X+A)^{-1})^T \end{align} \tag{3.6.5} \] 7. 迹的求导(1)\[\frac{\partial Tr(X)}{\partial X} = I \tag{3.7.1} \]展开证明(2)\[\frac{\partial Tr(XA)}{\partial X} = A^T \tag{3.7.2} \]展开证明(3)\[\frac{\partial Tr(AXB)}{\partial X} = A^TB^T \tag{3.7.3} \]展开证明(4)\[\frac{\partial Tr(A \otimes X)}{\partial X} = Tr(A)I \tag{3.7.4} \]展开证明。
矩阵求导 维度
矩阵求导维度
矩阵求导是矩阵微积分学中的一个重要分支。
在求解矩阵导数时，维度是一个非常关键的概念。
矩阵的维度指的是该矩阵的行数和列数，通常用 m×n 表示。
在矩阵求导中，我们需要注意以下几个维度相关的概念：
1. 向量的维度：向量是一个只有一列的矩阵，其维度通常用 n
×1 表示，其中 n 表示向量的长度。
2. 矩阵的维度：矩阵的维度用 m×n 表示，其中 m 表示矩阵的行数，n 表示矩阵的列数。
3. 标量的维度：标量是一个只有一个元素的矩阵，其维度为 1
×1。
在进行矩阵求导时，我们需要根据维度的规律来进行计算。
具体来说，对于矩阵或向量中的每个元素，我们需要按照规则进行求导。
例如，若矩阵 A 的维度为 m×n，则对于其中的每个元素 a_ij，我
们需要分别求出其偏导数 a_ij/x，其中 x 表示自变量。
最终得到的结果将形成一个和矩阵 A 维度相同的导数矩阵。
总之，维度是矩阵求导中的一个重要概念，对于正确求解导数具有至关重要的作用。
- 1 -。
常用矩阵导数公式
常⽤矩阵导数公式1 矩阵\(Y=f(x)\)对标量x求导矩阵Y是⼀个\(m\times n\)的矩阵，对标量x求导，相当于矩阵中每个元素对x求导\[\frac{dY}{dx}=\begin{bmatrix}\dfrac{df_{11}(x)}{dx} & \ldots & \dfrac{df_{1n}(x)}{dx} \\ \vdots & \ddots &\vdots \\ \dfrac{df_{m1}(x)}{dx} & \ldots & \dfrac{df_{mn}(x)}{dx} \end{bmatrix}\]2 标量y=f(x)对矩阵X求导注意与上⾯不同，这次括号内是求偏导，\(X\)是是⼀个\(m\times n\)的矩阵，函数\(y=f(x)\)对矩阵\(X\)中的每个元素求偏导，对\(m\times n\)矩阵求导后还是\(m\times n\)矩阵\[\frac{dy}{dX} = \begin{bmatrix}\dfrac{\partial f}{\partial x_{11}} & \ldots & \dfrac{\partial f}{\partial x_{1n}}\\ \vdots & \ddots & \vdots\\\dfrac{\partial f}{\partial x_{m1}} & \ldots & \dfrac{\partial f}{\partial x_{mn}}\end{bmatrix}\]3 函数矩阵Y对矩阵X求导矩阵\(Y=F(x)\)对每⼀个\(X\)的元素求导，构成⼀个超级矩阵\[F(x)=\begin{bmatrix}f_{11}(x) & \ldots & f_{1n}(x)\\ \vdots & \ddots &\vdots \\ f_{m1}(x) & \ldots & f_{mn}(x) \end{bmatrix}\]\[X=\begin{bmatrix}x_{11} & \ldots & x_{1s}\\ \vdots & \ddots &\vdots \\ x_{r1} & \ldots & x_{rs}\end{bmatrix}\]\[\frac{dF}{dX} = \begin{bmatrix}\dfrac{\partial F}{\partial x_{11}} & \ldots & \dfrac{\partial F}{\partial x_{1s}}\\ \vdots & \ddots & \vdots\\\dfrac{\partial F}{\partial x_{r1}} & \ldots & \dfrac{\partial F}{\partial x_{rs}}\end{bmatrix}\]其中\[\frac{\partial F}{\partial x_{ij}} = \begin{bmatrix}\dfrac{\partial f_{11}}{\partial x_{ij}} & \ldots & \dfrac{\partial f_{1n}}{\partial x_{ij}}\\ \vdots & \ddots & \vdots \\\dfrac{\partial f_{m1}}{\partial x_{ij}} & \ldots & \dfrac{\partial f_{mn}}{\partial x_{ij}}\end{bmatrix}\]4 向量导数若\(m\times 1\)向量函数\(y=[y_1,y_2,…,y_m]^T\),其中，\(y_1,y_2,…,y_m\)是向量的标量函数。
f范数矩阵求导
f范数矩阵求导
矩阵求导是线性代数中的一个重要概念，通常用于机器学习和优
化问题。
在这篇文章中，我们将会详细介绍如何求解矩阵的f范数求导。
首先，我们需要了解什么是矩阵的f范数。
矩阵的f范数就是其
所有元素平方和的根号，即 ||A||F = sqrt(sum(sum(A.^2)))，其中A 为一个矩阵。
接下来我们开始推导矩阵的f范数的导数。
考虑一个矩阵A，其
中a_ij表示A中的第i行第j列的元素。
根据矩阵的f范数定义，我
们可以得到：||A||F^2 = sum(sum(a_ij^2))。
那么矩阵的f范数对其
元素a_ij的导数就是：d||A||F^2 / da_ij = 2 * a_ij。
上述导数对每个元素都适用，我们可以将其表示为一个矩阵的形式。
设B为与A同维度的矩阵，其中b_ij表示B中的第i行第j列的
元素，则矩阵B的每个元素都是矩阵A中相应位置的元素的导数。
即：dB_ij / da_kl = delta_i^k * delta_j^l * 2，其中delta_a^b为Kronecker delta符号，若a=b则值为1，否则为0。
当然，在实际求解中，我们需要利用数学知识进行简化。
通过求
解矩阵的范数导数，我们可以将其应用于许多应用领域，例如图像处理、信号处理以及机器学习等。
希望本篇文章能够帮助您更好地理解
矩阵求导的相关知识。
矩阵的导数运算法则
矩阵的导数运算法则你有没有想过，矩阵其实就像一个庞大的数据工厂，成千上万的数据从不同的地方进进出出。
每一行、每一列，都是它的一部分，互相协作、互相配合。
这时候，问题来了：如果你要研究矩阵的变化，怎么知道它的各个部分是怎么跟随变化的？别担心，矩阵的导数运算法则就像是给你提供了一张超级详细的地图，告诉你如何“剖析”这些数据、如何在变化中寻找规律。
听起来有点复杂，但这也就像是你在厨房里做饭，配料和步骤都很简单，只要掌握了，就能轻松搞定！矩阵导数的概念，乍一看可能有点让人抓狂。
它其实就是对矩阵中的每个元素做导数，就好像你在做微积分一样，但这里不是对一个函数求导，而是对每个“数据点”做分析。
想象你正在操控一台很大的显示器，上面是一个个数据的方阵。
你要做的，就是看看这些数据如何随着某个参数的变化而变化。
是不是挺有意思的？说到矩阵的导数运算，我们最常用的运算规则有几个。
比如说，当你想求一个矩阵相对于另一个矩阵的导数时，你得记住，它们之间的关系就像是两个好朋友，互相牵着手，哪怕有点距离，它们也总是保持着某种固定的比例。
矩阵之间的加减法就很简单，像加法，直接对每个元素求导；而乘法的话，就得小心了，这时候有个“链式法则”得帮你忙。
没错，就是你常听到的链式法则，它就像是你在做连环套，先从外面开始算，再逐个递进。
很有意思是不是？例如你有两个矩阵A和B，想要求它们的乘积C的导数。
你不能直接乱来，而是得分步骤来。
首先求A的导数，再求B的导数，然后再按顺序结合，保证每一部分都没有漏掉。
这就像你做一个大拼图，得一步步拼，不能心急。
你在运算时要小心，千万别搞错了顺序，位置不同，结果也会大不同！再说说矩阵的转置，可能有些同学觉得它很简单，它背后有个很重要的“巧妙之处”。
矩阵的转置，就是把矩阵的行和列互换。
如果你要求一个转置矩阵的导数，你会发现，这个过程其实并不麻烦。
说白了，转置操作就像是给你带了一副镜子，直接在镜子里看数据，行和列一对调，你就能轻松搞定它。
矩阵求导在教育学中的应用
矩阵求导在教育学中的应用矩阵求导是一项高深的数学工具，它可以在各种学科领域中被用到。
在教育学中，矩阵求导也有着广泛的应用。
本文将介绍矩阵求导在教育学中的应用，并探讨其对教育学研究的启示。
一、矩阵求导在学习心理学中的应用学习心理学是研究人类学习过程的学科。
在学习心理学中，我们经常需要研究不同变量之间的关系。
这些变量可以是学习材料的难度、学习者的能力等。
我们可以用矩阵的形式表达这些变量，从而方便地进行相关分析。
当我们需要研究多个变量时，我们可以用多元函数的形式来描述它们的关系。
这时，我们需要对这些多元函数求导。
而多元函数的求导可以用矩阵求导的方式来进行计算。
矩阵求导可以帮助我们计算出多元函数相对于各自变量的偏导数，进而研究它们之间的逻辑关系。
例如，我们可以用矩阵的形式来表示学习材料的难度和学习者的能力。
如果我们想知道学习材料的难度对学习成绩的影响，我们可以用多元函数的形式来描述它们之间的关系。
然后，我们就可以用矩阵求导的方法来计算得出不同变量之间的相关系数，以更深入研究它们之间的影响关系。
二、矩阵求导在教育政策分析中的应用教育政策分析是研究教育政策的形成、实施和影响的学科。
在教育政策分析中，我们需要研究不同政策因素之间的相互作用。
这些政策因素可以是政策目标、政策措施等。
我们可以用矩阵的形式表达这些政策因素，从而方便地进行相关分析。
当我们需要研究多个政策因素时，我们可以用多元函数的形式来描述它们的关系。
这时，我们需要对这些多元函数求导。
而多元函数的求导可以用矩阵求导的方式来进行计算。
矩阵求导可以帮助我们计算出多元函数相对于各自变量的偏导数，进而研究它们之间的逻辑关系。
例如，我们可以用矩阵的形式来表示教育政策目标和政策措施。
如果我们想知道政策措施对政策目标的达成有何影响，我们可以用多元函数的形式来描述它们之间的关系。
然后，我们就可以用矩阵求导的方法来计算得出不同变量之间的相关系数，以更深入研究它们之间的影响关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
矩阵求导
在网上看到有人贴了如下求导公式：
Y = A * X --> DY/DX = A'
Y = X * A --> DY/DX = A
Y = A' * X * B --> DY/DX = A * B'
Y = A' * X' * B --> DY/DX = B * A'
于是把以前学过的矩阵求导部分整理一下：
1. 矩阵Y对标量x求导：
相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了
Y = [y(ij)] --> dY/dx = [dy(ji)/dx]
2. 标量y对列向量X求导：
注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量y = f(x1,x2,..,xn) --> dy/dX = (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'
3. 行向量Y'对列向量X求导：
注意1×M向量对N×1向量求导后是N×M矩阵。
将Y的每一列对X求偏导，将各列构成一个矩阵。
重要结论：
dX'/dX = I
d(AX)'/dX = A'
4. 列向量Y对行向量X’求导：
转化为行向量Y’对列向量X的导数，然后转置。
注意M×1向量对1×N向量求导结果为M×N矩阵。
dY/dX' = (dY'/dX)'
5. 向量积对列向量X求导运算法则：
注意与标量求导有点不同。
d(UV')/dX = (dU/dX)V' + U(dV'/dX)
d(U'V)/dX = (dU'/dX)V + (dV'/dX)U'
重要结论：
d(X'A)/dX = (dX'/dX)A + (dA/dX)X' = IA + 0X' = A
d(AX)/dX' = (d(X'A')/dX)' = (A')' = A
d(X'AX)/dX = (dX'/dX)AX + (d(AX)'/dX)X = AX + A'X
6. 矩阵Y对列向量X求导：
将Y对X的每一个分量求偏导，构成一个超向量。
注意该向量的每一个元素都是一个矩阵。
7. 矩阵积对列向量求导法则：
d(uV)/dX = (du/dX)V + u(dV/dX)
d(UV)/dX = (dU/dX)V + U(dV/dX)
重要结论：
d(X'A)/dX = (dX'/dX)A + X'(dA/dX) = IA + X'0 = A
8. 标量y对矩阵X的导数：
类似标量y对列向量X的导数，
把y对每个X的元素求偏导，不用转置。
dy/dX = [ Dy/Dx(ij) ]
重要结论：
y = U'XV = ΣΣu(i)x(ij)v(j) 于是dy/dX = [u(i)v(j)] = UV' y = U'X'XU 则dy/dX = 2XUU'
y = (XU-V)'(XU-V) 则dy/dX = d(U'X'XU - 2V'XU + V'V)/dX = 2XUU' - 2VU' + 0 = 2(XU-V)U' 9. 矩阵Y对矩阵X的导数：。