大家好啊，我是董董灿。

像素

像素局部性

色彩分量RGB

怎么做

如何取数据

总结一下

One More Thing

如果让你设计一个可以识别图像的神经网络，你会怎么做？

我之前问过自己这个问题，思来想去，我的答案是。我可能不知道如何下手。

突然有一天，当我把Resnet50这个网络的所有算法都写完一遍之后，我突然觉得，只要深入了解了这些算法的原理，或许这个网络我也能设计出来（后知后觉的大话而已）。

于是，我有了一个大胆的想法。接下来，我会花15-25篇文章的内容，从头开始，拆解一个图像识别网络是怎么工作的，以及背景知识，更重要的是，每一步算法的原理。

你可能会想，看懂这些需要什么知识呢？其实不需要太深奥的数学知识。我尽可能把每一步写的通俗易懂，这个过程中我会搜集一些资料，也是一个不断完善自己知识体系的过程。

第一个网络，就从玩烂的、作为各大AI芯片厂商性能标杆的Resnet50开始。个人水平有限，文中如有错误，欢迎留言指正。

希望能写满25篇吧。

像素

要实现图像识别，最离不开的，就是像素。

其实我们都知道，图像是由像素组成的。

实际上，神经网络计算，算的就是像素之间的关系，以及这些关系背后可能隐藏的图片信息。

相机摄像头像素2000万，拍出来的照片肯定比像素1000万的要清晰。
我们更容易看到图片中的物体是什么？

这是为什么？因为像素越多，像素之间的关系（色彩，轮廓）越丰富，我们所能看到的信息就越多，自然而然获取到的信息就多。

（一张1080p的图片，我们可以更容易辨别出图像中的物体是山还是水。这是因为更多的像素会给眼睛更丰富的图片细节）

但是，你有没有发现。

当我们去看一张图片时，我们绝对不是盯着某一个像素或某几个像素看，而是看了整个图像的大部分区域，或者说，大部分像素！

因为只有看到了大部分的图片，才能知道图中是座山。

正所谓，聚沙成山！

绝不是少了一粒沙，山就不是山，多了一粒沙，就变成了山。

上图哆啦A梦，虽然不是很清晰，像素点数也很少，但一眼望去，依然可以分清是哆啦A梦，甚至，用手捂住一半的图像，依然可以。

像素局部性

这是因为人们对于图像信息的识别，是建立在对像素局部性分析的基础上的。

所谓局部性，通俗点说，就是眼睛或大脑会将相邻的像素或大片的像素连接起来分析，从而组合成嘴巴，然后是耳朵，最后是哆啦A梦。

神经网络识别图片大致就是这样的原理。它模拟的，就是人们看到图片之后的信息处理过程。

当我们盯着一个图片看时，我们首先会获取到图片的细节特征。

比如哆啦A梦红色的大嘴巴。

但是如果仅仅盯着大嘴巴，又反而让人有一种“只缘身在此山中”的感觉。

因此还需要看一下图像的轮廓。

于是，眼睛看图片大致有以下两个过程：

瞳孔放大，盯着某一处细节（如大嘴巴）看
瞳孔缩小，模糊的看一张图片的大致轮廓

两个过程获取的信息叠加。

Bingo，看清楚了，是哆啦A梦！

那么神经网络是否可以模拟这种瞳孔放大、缩小的方式呢？

很幸运，可以！

(卷积：convolution）

卷积核的设计，就可以很直观的模拟这种获取图片信息的方法。

人们通过调整卷积核的大小，来达到瞳孔张开、缩小的目的。

并且大量的实验和论文表明，卷积这一针对图像局部性识别的算法，可以非常有效的模拟人眼识别物体的过程。

关于卷积算法以及卷积核的设计，后面会专门写几篇文章来聊聊。因为卷积这一算法，在图像处理领域，实在是，太重要了啊！

色彩分量RGB

回到像素这一话题。

你有没有想过，为什么一张图片会是彩色的。

学过摄影的小明同学可能这时会回答：因为图片是由RGB三种颜色来表示的，每个像素实际是不同的R/G/B分量的叠加，混合起来，就表示成了不同的颜色。

回答正确。

（三张分别表示R/G/B分量的图片，合成一张彩色图片）

我们人眼可以很直观的看到红色和蓝色，可以察觉到一张图片的色彩和轮廓。

那么，如果让计算机来处理图片，他又是如何知道色彩和轮廓的呢？

其实对于计算机来说，一张图片只是一堆数据，计算机是无法知道这堆数据代表的是什么。

这就需要人为的给这堆数据一种表示方法，让计算机知道，哦，这1/3的数据是红色分量，这1/3的是蓝色分量

这些数据（像素）组合起来，可能代表的是个“帽子”。

怎么做

数据在计算机的存储中，最常见的存储方式是连续存储的。

比如C语言，定义一个数组，那么数组在内存中的位置是连续的。

int data[10] = {0,1,2,3,4,5,6,7,8,9};

内存怎么理解，它就是一排连着的门牌号的公寓宿舍。

门牌号为101里面住着的，是data的第一个数据0。门牌号102里面住着的，是data的第二个数据1，...，以此类推。

(女贞路4号）

只不过，在计算机存储器中，没有门牌号，有的都是地址。

这个时候，计算机根本就不关心数据是啥，计算机用到的时候，就把数据从内存对应的地址中取出来用。

如何取数据

这就需要人们为数据存储设计一种格式，告诉计算机，这堆数据大概是什么样的。只有这样，通过这种人为约定的方式，计算机才能正确的取到R分量或者B分量。

对于一张图片来说，最常见的两个参数是长和宽，一般用H（height) 和 W(width) 来表示，那么RGB三个分量，看作是3个通道（channel)，一般用 C 来表示。

如此一来，一张长宽分别是224像素*224像素的RGB图像，就可以用 HWC = [224, 224, 3]来表示。两张类似的图片就用 NHWC = [2, 224, 224, 3]表示，其中N代表图片张数。

（一张图片的抽象数据表示）

友好的数据表示方法，可以减少大量的计算复杂度。

虽然这样表示不太利于人们的直观理解，但是计算机处理这种数据是十分方便的。

在目前主流的深度学习框架中，对于图片的数据格式，基本都支持了NHWC或NCHW这种数据摆放格式。

说到底，都是为了更高效地进行图片数据的处理和运算。

总结一下

今天就先开个头，从像素说起，说到了像素具有局部连接性的，人眼识别图像也是通过获取像素的局部连接性信息来完成的。

幸运的是，卷积这一算法，可以很好的模拟这一过程。

最后，为了使计算机更高效的处理图片数据，引出NHWC的图片数据表示方法，

所以，之后我们说图片，不仅仅局限于图片的长和宽，还多了一个维度信息，那就是channel。

下一篇会继续，聊聊图像的色彩空间。为什么有了RGB，还需要YUV？什么时候用RGB, 什么时候用YUV？以及图像压缩对于深度学习来说，意味着什么？

One More Thing

熟悉OpenCV或者计算机视觉的同学，可能对于上面的RGB分量中的女神很熟悉。没错，在很多的教程中，这位女神不止一次的出场。

这位女士名叫 Lena。

电气电子工程师学会图像处理汇刊（IEEE Transactions on Image Processing）主编曾在1996年1月出版的一期中解释道，Lena的流行，因为她是一张好的测试图片，其中包含了很多细节，平滑区域，阴影和纹理。
当然，另外一个原因就是漂亮美女的图片自然受到男性居多的研究领域的欢迎。

图像识别（二）| 图像的色彩空间_董董灿是个攻城狮的博客-CSDN博客目录RGB数值表示和图片大小计算YUVYUV编码的用途总结一下One More Thing上一篇文章从像素开始，聊到了 RGB 这一常见的色彩空间模型。之所以还想继续聊聊 RGB 以及另一种色彩空间模型-YUV ，不是说想要去学摄影，需要调节色度、曝光和饱和度。而是在图像处理的深度学习任务中，RGB以及YUV总是会时不时的出现一下，让枯燥无味且高度抽象的算法，突然之间，变得具体一些，光鲜一些。Red，Green，Blue（RGB）是我们最常见的图像表示方法。这个非常好理解，三原色的融合，几乎可以构造出所有需https://blog.csdn.net/dongtuoc/article/details/125237102?spm=1001.2014.3001.5502欢迎阅读。

更多信息，请查看专栏

https://blog.csdn.net/dongtuoc/category_11863193.htmlhttps://blog.csdn.net/dongtuoc/category_11863193.html码字不易，如果你喜欢，请关注董董灿是个攻城狮或点赞关注。
近期开通个人微信公众号：董董灿的微信自述分享人工智能科技文章，欢迎关注。