大海

小结矩阵求解过程中的基础知识

• 标量、向量和矩阵
• 矩阵乘法/积
• 转置、共扼、共扼转置
• 矩阵的迹
• 向量化和矩阵化

最近推导神经网络的前向传播和反向传播过程，经常会遇到有关导数、微分和梯度的内容，对它们的概念进行一次小结

• 导数
• 微分
• 偏导数
• 全微分
• 方向导数
• 梯度

输入批量数据到神经网络，进行前向传播和反向传播的推导

输入单个数据到神经网络，进行前向传播和反向传播的推导

介绍激活函数及其特性

• Sigmoid
• Tanh
• ReLU
• Leaky ReLU
• Maxout

神经网络是卷积神经网络的基础，其包含的层架构、激活函数、反向传播、正则化等等内容都可以应用于卷积神经网络

MNIST是手写数字数据库，共有60000张训练图像和10000张测试图像，分别表示数字0-9

利用softmax回归模型进行mnist分类

使用pytorch实现softmax回归，首先使用基本数学运算函数实现，然后逐步使用各种封装函数和优化包进行替换

超参数如下：

• batch_size = 8
• lambda = 2e-4
• alpha = 2e-4

使用数据库

• Iris Species

在机器学习和深度学习中，通常需要把目标函数设置或者假定为凸函数（Convex Function），这样能够满足局部最小值就是全局最小值的特点，方便进行梯度计算

在数据处理过程中经常使用函数式命令，确实能够方便和快捷的实现功能，下面小结一下python实现函数式编程

python提供了lambda、map、filter、reduce和sorted等基础函数进行函数式编程