大海

SIMPLE THE COMPLEX

论文Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift将批量归一化方法作用于卷积神经网络,通过校正每层输入数据的数据分布,从而达到更快的训练目的。在文章最后,添加批量归一化层到GoogLeNet网络,得到了更好的检测效果

阅读全文 »

学习论文Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift,里面提出了批量归一化(Batch Normalization,简称BN)方法,一方面能够大幅提高训练速度,另一方面也能够实现更好的模型精度

阅读全文 »

文章Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition提出空间金字塔池化(spatial pyramid pooling)的概念,避免了固定大小的图像输入,能够有效提高子窗口的识别精度;同时通过共用特征图的方式,极大的提高了检测速度

阅读全文 »

什么是感受野?

The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by). —— Dang Ha The Hien
在卷积神经网络中,感受野的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。 ——博客园
在机器视觉领域的深度神经网络中有一个概念叫做感受野,用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。 ——蓝荣祎

卷积层滤波器的神经元和前一层输出数据体的局部神经元一一连接,其空间尺寸称为感受野(receptive field)大小

  • 局部感受野大小:针对上一层输出数据体的空间尺寸
  • 理论感受野大小:针对原始输入图像的局部空间尺寸
阅读全文 »

刚开始学习神经网络的时候就接触到了过拟合和欠拟合的概念,包括各种提高模型泛化能力的方法。随着学习内容的增多,反而往往会忽视掉最初的理论

最近在训练目标检测算法时发现模型在训练集上能够得到很好的提高,但是在验证集上没有进步,这就是欠拟合的表现。小结一下关于过拟合与欠拟合的内容

阅读全文 »