乘法口诀中的矩阵相当于和做乘法

这篇文章主要是我在学习的过程中突然开始思考神经网络相关的几个基本问​​题（写的时候模型结构越来越复杂，分包效果越来越好，还记得为什么开始吗？ ？）。 读者也可以看一下。 您能否自由地回答：

什么是链式法则？

什么是矩阵？

什么用途？

梯度的定义是什么？

方向导数和梯度之间有什么关系？

神经网络中张量反向传播有哪些特点？

哪些属性可确保神经网络中高效的梯度计算？

我将神经网络数学基础的总结整理成一个网站。 当然，网站也会逐步添加我之前写的推送内容：

它将持续更新。 欢迎大家star或者提交issue/~谢谢。

本来想用一篇文章来推送更新，但考虑到大家时间有限，不可能一下子看完，所以我个人认为还是挑出最常用的章节来更新。 本文公式较多，布局尽量简单。

完整内容请查看网站~

1.矩阵乘以列向量求

可以看成是一个函数，对输入进行变换得到输出，那么矩阵

所以

因为如果 else 为 0，则有

2. 3. 如果一个向量等于它本身，求

因为所以

因此，将其放入链式法则中进行矩阵乘法时不会改变其他矩阵。

4. 对向量中的每个元素进行变换，找到

因为如此

所以它是一个和

矩阵与矩阵相乘意味着每个元素都经过幅度变换，因此链式法则中的矩阵乘法相当于将和相乘。

5.、询问

我们开始引入更复杂的情况，因为神经网络通常包含对链式法则的多个引用。 这里我们假设我们已经知道并直接找到它。

假设神经网络的损失函数是一个标量，我们要计算的是损失函数相对于参数的梯度。 我们可以想象神经网络的函数的输入是形状参数，输出是标量。 结合上一章的知识，我们可以知道，形状和Rate是一样的。

根据链式法则，我们需要找到。 这个三维张量不方便表示求导公式，而且非常复杂，所以我们只先看推导。

所以只是有时它是非零的

所以

所以得到

6.7.

假设到达之前神经网络的输出为 ， 为类别数，则

所以

结论

我原本对矩阵求导有点担心。 熟悉了上面的公式后，我发现神经网络反向传播的推导并不是那么遥不可及。 希望对大家有帮助。

- 超过-

过去问题的精彩阅读