总目录(持续更新中)
- (零)前言
- (一)视觉系统的全貌
- (二)光线如何被眼睛检测到?
- 眼球
- 视网膜
- 色觉的来源
- 视网膜是严重贫富不均的
- 视网膜能提取图像的轮廓信息
- 视网膜是倒置的
- (三)视觉信号如何传入大脑?
- 外侧膝状体
- 视交叉上核
- 上丘
- (四)视觉信号在大脑中被重组、扭曲全过程!
- 视交叉“拆分”视野
- 外侧膝状体“重组”视野
- 视野在大脑内部的样子
- (五)视觉信号在大脑中的第一站:外侧膝状体
- 视觉信号中继站
- 视觉特征检测功能涌现
- 大细胞和小细胞两个通道
- 参与调节机体认知状态
- (六)“虚拟视觉”第一步:理解初级视觉皮层
- 感受野(receptive field)
- 大脑皮层的分层结构
- 给光、撤光反应(ON/OFF response)
- 方位选择性(orientation selectivity)
- “正弦光栅”与空间频率、时间频率(sinusoidal grating、spatial frequency、temporal frequency)
- 眼优势(ocular dominance)
- 皮层功能柱(cortical functional column)
- (七)视觉信号在大脑中的第三站:高级视觉皮层们
(零)前言
近期打算和小伙伴一起,创作一个专栏,专门讲解人类最重要的感觉系统:视觉系统。
本人在视觉神经科学的科研一线浸润多年,具备扎实深入的专业知识,也有丰富的科普文章写作经历,希望用专业而简明易懂的文字,配合可爱活泼的插图,帮助大家了解“我如何看到世界”这一重要问题。
除了目前在目录中已经占坑的题目,更多专题内容正在创作中,敬请期待!
(剧透:“脸盲”、“汉字顺序不影响阅读”、“虚拟视觉”、“大脑的欺骗”、“视觉错觉”、“潜意识与意识”等题目已经在酝酿中!)
如果想继续深入浅出了解“视觉”,请收藏本文章,我将在文章内不断更新内容。
(最新更新:(六)“虚拟视觉”第一步:理解初级视觉皮层,2020.4.22)
如果想了解专业的神经生物学科普内容,请关注知乎:殷尚墨羽
如果想了解更多有趣的神经生物学科研生活,请关注微信公众号:复尚神经屋(微信ID:FDU_Neuron)
如果想了解更多生物学相关教学视频,请关注bilibili:殷尚墨羽的个人空间
放一张我和实验室老朋友们的合影:
2020.4.1
于复旦大学生命科学学院
(一)视觉系统的全貌
视觉系统是人类最为重要的感觉系统(没有之一),人的大脑皮层有三分之一的面积都和视觉有关。人从外界接受的信息中,视觉占据绝大多数,并且能够有力影响人们的认知、决策、情感乃至于潜意识活动(具体内容,请期待后续更新)。
从这个角度来看,把人称为“视觉动物”也不为过。
因此,我希望结合自身在视觉神经生物学一线的科研背景,结合最新的学界成果,与优秀的插图作家 @高林夏 一起,讲解大家最为关心的“视觉”问题:
1. 【基础】人类如何“看到”世界?
2. 【基础】视觉信息如何被大脑处理?
3. 【进阶】视觉系统如何欺骗我们(比如视错觉)
4. 【进阶】视觉相关的学习与记忆
5. 【进阶】视觉和大脑高级功能的关系(认知、意识等)
为了解答上述问题,我们首先需要了解“视觉系统长什么样子”。
话不多说,先上图(请耐心看完噢)。
视觉系统全局图(by 高林夏):
众所周知,人要看到东西,首先要有光,之后要有眼睛。为了处理眼睛看到的内容,需要一个脑子。具体来讲,人想要看到一个东西(指的是“人意识到自己看到了东西”),需要经历如下的“三级跳”过程:
1. 光线进入眼睛
2. 眼睛把光线携带的信息转化成电信号,传给大脑
3. 大脑对视觉信号进行处理,变成视觉体验,并影响人的行为和思想
然而,上述过程还是太简略了,我们用专业的术语,详细描述一下:
-
光(本质是电磁波)携带着外部世界的结构信息,经过一系列折光系统(如晶状体、玻璃体等),投射在眼球底部的视网膜上。
-
视网膜上的光感受器细胞,将光信号转换为电信号(光电转换),传递给视网膜的其他细胞(比如双极细胞、水平细胞、无长突细胞等),进行初步的信息整合加工。
-
视网膜的各种细胞最终将整合好的信号,传递给视网膜神经节细胞,由它将视觉信息通过视神经,传递进入大脑。
-
视觉信息进入大脑后,先进入位于丘脑的一个小小的核团——外侧膝状体。在那里,视觉信息被进一步整合加工,关键的视觉信息被提取出来,无用的信息被舍弃或扣留在低级脑区。经过加工后的关键视觉信息,通过名为“视放射”的神经纤维束,传递到初级视觉皮层。
-
初级视觉皮层进一步提取视觉信息中的关键特征(比如朝向信息、运动信息、色彩信息等),向高级的视觉皮层传递。
-
高级视觉皮层有好多个区域,它们各司其职,有的专门负责检测运动,有的专门负责检测形状,有的专门负责识别人脸……它们通过等级森严的协同分工,共同完成了对视觉信号的处理,并将最终结果传递给其他脑区,从而影响人的行为和思想。
-
但故事没有结束,高级脑区还能反过来,影响初级脑区,调节初级脑区的敏感性和偏好性(甚至能调节眼球的细微转动轨迹),从而更加精细地控制信息流的入口,帮助大脑更加精细地认识外在世界。
到此为止,一个完整而专业的视觉系统框架就搭建完成了。
上述的框架至关重要,如果想要理解人类的视觉,就必须对其心里有数。
我后续更新的文章,就会对上述每一条的细节,用深入浅出和形象插图的方式,帮助大家理解。
2020.4.3
于复旦大学生命科学学院
(二)光线如何被眼睛检测到?
在第一篇文章中,我们已经了解了视觉信息被大脑处理的全过程。现在,我们把目光投向一切的起点——眼睛。
实际上,人们提起“视觉”,首先想到的几乎都是“眼睛”。但其实眼睛只负责“视”的最初步骤,“觉”的部分主要由大脑来完成。“视”与“觉”不可分离,要讲“视觉”,眼睛和大脑也不能割裂开来讲解。
(更进一步:许多神经科学家们把眼睛视作大脑的一部分——“外围脑”。支持这一观点的证据有很多,也许会在将来专门撰文讲述)
我们首先复习第一篇文章里,关于眼睛部分的文字:
- 光(本质是电磁波)携带着外部世界的结构信息,经过一系列折光系统(如晶状体、玻璃体等),投射在眼球底部的视网膜上。
- 视网膜上的光感受器细胞,将光信号转换为电信号(光电转换),传递给视网膜的其他细胞(比如双极细胞、水平细胞、无长突细胞等),进行初步的信息整合加工。
- 视网膜的各种细胞最终将整合好的信号,传递给视网膜神经节细胞,由它将视觉信息通过视神经,传递进入大脑。
我国的近视率一直在上升,人们从小就接触各种视力健康方面的知识,所以我相信许多人都已经对眼球的结构有所了解。这一部分我将简要带过,着重讲视觉信息处理的部分。
眼球
眼球可以简单分为三个部分:
- 支持系统(负责固定眼球的形状,为其他部件提供稳定结实的依靠,同时提供眼球所需的营养。例如巩膜——也就是“眼白”)
- 折光系统(负责将外界射入的光偏折到需要的角度,从而在视网膜上成像。例如晶状体、玻璃体)
- 感光系统(负责将光携带的外部世界信号,转换为大脑可以识别的电信号,并进行初步的整合处理。例如视网膜)
我们平时戴眼镜,主要是为了辅助眼球折光系统的工作,确保在视网膜上清晰成像。而如果我们关注“视觉”,那就要着重讲第三点:眼球的感光系统——视网膜。
视网膜
视网膜是分层的(大脑皮层也是分层的),每一层都有不同的细胞,负责不同的功能。
严格来讲,视网膜可以分为10层,分别是:
- 色素上皮层(为视网膜提供营养)
- 感受器细胞层(分布着密集的光感受器细胞的外段和内段,是光电转换的地点)
- 外界膜
- 外核层(由光感受器细胞核构成)
- 外丛层(由感受器细胞、双极细胞、水平细胞形成突触网)
- 内核层(由双极细胞、水平细胞和无长突细胞核构成)
- 内丛层(由双极细胞、无长突细胞和神经节细胞形成突触网)
- 神经节细胞层(由神经节细胞构成)
- 视神经纤维层(由神经节细胞的轴突构成,是视觉信号向大脑传递的出发点)
- 内界膜
但上述分层过于细致,为了便于理解,我们简单将视网膜的结构分为四个部分:
- 提供营养的基底膜
- 光感受器,将光信号转换为电信号,传给中间神经细胞
- 中间神经细胞,初步整合视觉信号,传给神经节细胞
- 神经节细胞,负责把视觉信号传入大脑
这样一来,我们就对视网膜的构造和功能有了基本的概念。
当然,其中的细节也是极其丰富的,限于篇幅,我们了解几个最为关键的方面即可:
色觉的来源
视网膜的光感受器细胞可以大致分为两类:视杆细胞、视锥细胞。它们的形状有明显区别(见下图),同时功能上也很不一样。
视杆细胞对光极为敏感,非常微弱的光就可以激活它。因此,它是我们能在黑暗环境中看清东西的原因。但人眼中的视杆细胞只有一种类型,所以单靠它无法获得颜色信息,我们在黑暗中很难分辨物体的颜色,原因就在于此。
而视锥细胞不同,它虽然对光不太敏感,但是种类比视杆细胞多——**在人眼中,有三种视锥细胞,它们分别喜爱红光、绿光和蓝光。三种视锥细胞对同一束光的反应强度有所区别,就可以共同编码“颜色”**的信息了。
我们日常使用的RGB三原色系统,可以通过红绿蓝三种颜色的不同组合,获得无数种颜色。这就和视锥细胞编码色彩的原理相同。
视网膜是严重贫富不均的
视网膜就像一张膜,但并不是均匀的膜。它的中央区域细胞最为密集,但周边区域细胞比较稀疏——有点像大型城市的人口密度分布。因此人类对视野中央的东西看得最清楚(分辨率最高),而视野边缘的东西就看不清楚(分辨率比较低),需要转动眼球才能看清。
放一张我用windows自带“画图”软件制作的灵魂手绘图,方便大家理解“中央密集,周边稀疏”的含义:
视网膜能提取图像的轮廓信息
视网膜对视觉信息做了初步的整合处理,可以从中提取出“轮廓信息”。这是中间神经细胞们的功劳,它们构成的兴奋-抑制神经网络,赋予神经节细胞识别轮廓的能力。专业点说,就是让神经节细胞对感受野(这个细胞负责的视野区域)内部视觉信号的处理方式上,产生了中心-周边拮抗的同心圆结构。
其实,目前非常非常热门的**“深度学习”、“卷积神经网络”中,就广泛借鉴了神经节细胞的这种能力。神经节细胞的同心圆拮抗感受野,对应了卷积神经网络里边的“双高斯差卷积核”(也有人用“拉普拉斯算子”来对应它,比如David Marr),它可以对原始输入图像做卷积运算**,从而提取出原始图像中“亮度变化最快”的区域——通常是图像的轮廓。
下图:一个“中心-周边拮抗同心圆”结构的卷积核案例
下图:上图中的“中心-周边拮抗同心圆”结构的卷积核提取图像轮廓信息前后对比
来源:Computer Vision I - Introduction to Computer Vision课程资料,Robert Collins (Penn State University)
关于“中心-周边拮抗的感受野”这一话题,我以后会专门撰文讲解——它对于我们提取外部世界的“结构信息”至关重要。只有提取了外部世界的结构信息,我们才能把物体和背景区分开,否则,世界在我们眼中就是一片“未分化的混沌”。
视网膜是倒置的
如果你仔细看了视网膜的分层结构图,就会发现——光线进入眼球,先通过密密麻麻的细胞群,再照射在光感受器细胞上面。换句话说,光感受器细胞上方,悬了一层厚厚的毛玻璃。这会影响到信号质量吗?当然会!
但是,人类(以及其他高等哺乳动物)为何偏偏选择了这样一种看起来极不合理的构造呢?要知道,低等动物章鱼的视网膜,看起来都要更合理一些——章鱼的视网膜和人的视网膜正好相反,光最先照在感受器细胞上(见下图)。
上图中,1 = 视网膜;2 = 神经纤维;3 = 视神经;4 = 人类的盲点,由视神经穿过视网膜造成
原因至少有两点:
-
高等哺乳动物的视觉系统比较发达,光感受器细胞数量极其巨大,而光电转换的耗能是非常高的。为了能够提供充足的能量,光感受器细胞层必须紧贴着供能的基底层(色素上皮层)——否则将无法支持如此多的光感受器细胞存活。
-
“进化是一个修补匠”,它只能在原有的基础上修修补补,具有很高的路径依赖性。因此,高等哺乳动物的共同祖先的微小变化,就会决定未来后代们的进化走向。也许正是“倒置视网膜”的小小差错,让视网膜成功滋养了大量的细胞,从而使得视觉系统的地位愈发重要,最终让人类成为了“视觉动物”(而非“听觉动物”、“触觉动物”、“嗅觉动物”)呢?
我们已经知道视觉信息如何在视网膜内部进行处理了,下一篇文章,我们聊一聊:视觉信号如何传入大脑?信号在大脑中处理的方式,才真正决定了我们如何“看到”世界。
敬请关注!
2020.4.4
于复旦大学生命科学学院
(三)视觉信号如何传入大脑?
上一篇文章中,我们聊了“眼睛”在视觉中发挥的作用。
这一次,我们谈一谈视觉信号离开眼睛以后,如何进入大脑,以及具体去了大脑的哪些地方。
首先看图:
视觉信号沿着视神经(也就是神经节细胞的轴突)离开眼球以后,首先会到达视交叉(optic chiasma)。
视交叉是一个神奇的地方,它像是一个物流分选站,将来自两只眼睛的信号重新拆分组装:
- 左眼的右侧视野,和右眼的右侧视野,被打包在一起,传入左侧大脑
- 左眼的左侧视野,和右眼的左侧视野,被打包在一起,传入右侧大脑
提示:请仔细看上图中“视交叉”的位置。
放一张大脑解剖图,看一下真实人脑中的“视交叉”长什么样子(下图中浅色“X”结构的中央位置就是视交叉):
图片来源:https://www.neurosurgicalatlas.com/neuroanatomy/ventral-surface-of-brain-showing-the-optic-chiasm-hypothalamus-and-circle-o
总结:我们的双侧视野,被传入了对侧的大脑。(巧合的是,我们的四肢也是对侧大脑支配的)
随后相当久的时间(长达一百毫秒)内,视觉信号基本上只在半侧大脑里边活动了。它们离开视交叉之后,首先要去三个重要的地方,一个是位于丘脑的“外侧膝状体”(lateral geniculate nucleus),一个是在视交叉上方的“视交叉上核”(suprachiasmatic nucleus),还有一个是位于中脑四叠体的“上丘”(superior colliculus)。
外侧膝状体
外侧膝状体将负责视觉信息的进一步处理。视觉信息在这里被再次拆分、扭曲、组装、打包,通过视放射(optic radiation)传递到初级视觉皮层。我们称之为“视觉的第一通路”,它是我们熟悉的视觉功能的来源。(既然有“第一通路”,当然还会有“第二通路”,我们可以之后专文介绍)
提供一张我认为很清晰的视放射和外侧膝状体的大脑解剖图:
(考虑到部分读者也许对大脑解剖接触有限,为了避免不必要的视觉冲击,图就不放在正文里了。感兴趣的朋友可以点开网址链接查看)https://www.neurosurgicalatlas.com/neuroanatomy/basal-view-of-the-neural-visual-pathways
(图中LatGeBo=外侧膝状体;OptRad=视放射;OpCh=视交叉;OptTr=视束)
视交叉上核
文献出处:《Suprachiasmatic Nucleus: Cell Autonomy and Network Properties》
链接:https://www.annualreviews.org/doi/10.1146/annurev-physiol-021909-135919
视交叉上核与生物节律密切相关(上方动态图就展示了它周期性表达生物节律相关蛋白的现象)。生物节律,也叫做“生物钟”,影响到我们的自然作息。目前在年轻人中普遍流行的熬夜、爆肝,也许和生物节律的紊乱或延后有关。这种生物钟紊乱,目前已经比较明确和视觉相关——而且是以一种神奇的方式。
生物钟紊乱在日常生活中非常普遍,并且受到了大家的关注。许多商家也都利用这个问题,营销它们的产品(例如各种“防蓝光”产品)。但是如果询问商家客服(由于客服通常并非神经科学专业人士),得到的回答总觉得不够信服。
鉴于上述原因,以及这个信号通路的神奇性质,我将专文讲解这一话题,敬请期待。
上丘
上图中“Sup.Coll.”指的就是上丘。
完整图链接:https://www.neurosurgicalatlas.com/neuroanatomy/lateral-view-of-the-midbrain-and-pons
上丘是和眼动相关的重要脑区,参与到由光、声音等外界因素引起的眼动反射活动。眼动也是近期神经科学领域的热点研究对象之一,因为越来越多的迹象表明:眼动可以帮助我们高效检测“纷繁复杂、变幻莫测”的外部世界;眼动的模式,直接影响到人们提取视觉信息的效果,还和自闭症、社交障碍等疾病有一些联系。
我之后计划通过题为《汉字的序顺影不响阅读?眼动和视觉信息整合》的文章,详细聊一聊它。
我们把目光拉回到视觉系统的“第一通路”。视觉信息从外侧膝状体传入初级视觉皮层之后,在这里进行了更加细致的特征提取和分类整合。初级视觉皮层可以检测图像的朝向信息、颜色、运动方向、视野中位置等信息,已经比视网膜和外侧膝状体更进一步了。目前初级视觉皮层也是研究的热点脑区,它被认为和“视觉体验”直接相关。我将在之后专门撰文讲解初级视觉皮层和“视觉体验”的关系。
初级视觉皮层将视觉信息分发给多个更高级的脑区,由这些高级脑区进行分工细致的后续处理。这些高级脑区又会和更多脑区联系,从而影响人的行为和思想。
到此为止,我们就梳理完成了视觉信号进入大脑的全过程。
但这并不是终点。其实,大脑里负责视觉的各个区域之间,包括从高级到低级,都存在着丰富而复杂的信号反馈。如果把视觉信号传入大脑的过程,视作“自下而上”的汇报,那么高级皮层的反馈,就像是“自上而下”的指示。
视觉信息流就在这样“上上下下”的反复传递中,建立起我们用视觉认知外部世界的基本功能。
在这个复杂而有序的过程中,原始的外界输入信号其实已经被重组、扭曲得不成样子了。
我们下一篇文章,就简单聊一聊:原始的视觉输入图像,在脑子里被如何重组和扭曲。敬请期待!
2020.4.8
于复旦大学生命科学学院
(四)视觉信号在大脑中被重组、扭曲全过程!
如果从事视觉神经生物学研究久一点,就会发现:愈是深入进去,就要面临愈发抽象的现象。
例如,我们的眼睛日常看到的画面,似乎是一个平面(其实准确来说是一个球面,球心在眼睛这里)。这个平面基本符合欧几里得几何学,在各个方向上都是均匀的。
但是,在大脑内部,我们眼前的视野是如何表征的呢?换句话说,假设我们可以打开人的大脑,直接观察和视觉相关的脑区活动,我们眼前的世界在大脑里的投影,长什么样子?
这里就要提及一个专业术语:视网膜拓扑投射图。
简单来说,视网膜拓扑投射图就是指:视野在特定大脑区域里被扭曲成的样子。
在科学研究中,我们近似把视野空间当作一个平面图像,同时也把视网膜接受的视觉信号,看成是视野的投影(由于光线经过了“晶状体”这个凸透镜,视网膜图像是视野图像的翻转)。
视网膜上的平面图像,在逐级上传到大脑的过程中,会经历多次扭曲和重组。我们接下来一个一个说:
视交叉“拆分”视野
如果你还记得上一篇文章(视觉信号如何传入大脑?)里所讲的“视交叉”的作用,那么你就知道,视觉信息经过视交叉以后,每侧大脑都只获得了半侧视野的信息。因此视网膜图像到达视交叉之后,就被“砍掉”了一半,只剩下左侧或右侧的半张图像(见上图)。
外侧膝状体“重组”视野
经过视交叉削减后的半张视网膜图像,到达外侧膝状体之后,会被用一种神奇的方式,重新组织起来。
外侧膝状体很有意思,它是分层的结构,每一层的细胞都有不同的作用。人的外侧膝状体分为六层,从下到上分别命名为第1、2、3、4、5、6层。外侧膝状体的神奇之处在于:
同侧眼睛发来的信号,由2、3、5层细胞接收;对侧眼睛发来的信号,由1、4、6层细胞接收。
下图是一张形象的示意图,请注意双眼信号被拆分的情况:
换句话说,如果我用一个电极,从上往下扎下去,按照顺序,我会先记录到对侧眼传来的信号,然后是同侧眼,然后又是对侧眼、同侧眼、同侧眼、对侧眼。
这里大家要记住,不论是对侧眼还是同侧眼,传来的都只是对侧视野的图像。这里容易搞混,需要多多体会一下。
接下来还有更神奇的:
外侧膝状体的每一层,都与对侧视野相应的半个视网膜之间,形成了对应的视网膜投射图。换句话说,视网膜图像上相邻的点,在外侧膝状体里形成的图像上,依然是相邻的。当一根电极从外侧膝状体的某一层穿到另一层时,记录到的信号对应的视野位置基本不变,但是来源却从一只眼变成了另一只眼。
不过,外侧膝状体的形状比较扭曲,所以虽然视网膜图像和外膝体图像上的点是空间位置一一对应的,但是图像整体发生了扭曲变形。所以,科学家们在这种投射关系的名称 里加入了两个字——“拓扑”。
所谓拓扑,就是指:只考虑物体间的位置关系而不考虑它们的形状和大小。
如此一来,想必你能理解上面提到的“视网膜拓扑投射图”的意思了。
那么接下来,我们就正式看一看:我们看到的世界,在大脑里被扭曲成什么样子?
视野在大脑内部的样子
下图中,左侧是视野范围(坐标使用“视角”,单位是“度”),右侧是猴外侧膝状体的立体图。颜色表示不同视野区域在外侧膝状体中的对应位置。这样,视野在外膝体中被扭曲的情况就一目了然了!(再次感谢 @高林夏 同学精湛的绘图技术)
参考此文献数据所作:Malpeli, & Joseph, G. . (1975). The representation of the visual field in the lateral geniculate nucleus of macaca mulatta. Journal of Comparative Neurology, 161(4), 569.
初级视觉皮层也有视网膜拓扑投射图,像这个样子:
参考此文献数据所作:Larsson, J. , & Heeger, D. J. . (2006). Two retinotopic visual areas in human lateral occipital cortex. Journal of Neuroscience, 26(51), 13128-13142.
视网膜拓扑投射图是初级视觉脑区的非常基本的性质,它说明:在比较初级的视觉信息处理阶段,大脑是很在意视野里每一个点的具体位置的。
而且,从上面的两张图中可以得出一个重要的规律:越靠近视野中央的位置,视觉系统分配了越多的资源(脑区面积)。
这是一个严重“贫富不均”的设定,就好比一个位于权力中央的人,获得了几倍甚至几十倍于权力边缘人群的资源。但这种结构,能够极大提升视觉系统处理中央视野信息的能力和效率,再配合高速的眼动和有效的“脑补”,就可以很好地完成“用视觉认识世界”的基本任务。
其实“视觉系统的策略”是一个很重要的话题,我在以后会专门撰文来讲解。
言归正传。视网膜拓扑投射图在科学研究中还有一个重要用途,那就是:只要知道物体出现在视野的哪个位置,就能大致计算出它激活了哪个位置的脑区。反过来也一样:如果在特定位置的脑区记录到了神经细胞激活,就能反推回去,判断物体在视野中的位置。甚至还可以建立起外侧膝状体和初级视觉皮层之间的图像对应关系。
例如:2017年5月24日发表在《Journal of Neuroscience》的文章《Intracellular, In Vivo, Dynamics of Thalamocortical Synapses in Visual Cortex》中,研究者巧妙设计了实验,从茫茫大海一般的神经细胞群体中,找到了外侧膝状体某个特定细胞直接连接到的初级视觉皮层细胞。
来源文献:Sedigh-Sarvestani, M., Vigeland, L., Fernandez-Lamo, I., Taylor, M. M., Palmer, L. A., & Contreras, D. (2017). Intracellular, in vivo, dynamics of thalamocortical synapses in visual cortex. Journal of Neuroscience, 37(21), 5250-5262.
他们的做法是:首先通过学界经典方法,在实验动物的外侧膝状体扎入一根电极,找到其中某个细胞负责的视野区域,然后查阅文献,找到负责同一视野区域的皮层细胞所在位置,在该处扎入另一个电极。同时记录两根电极的信号,通过数据分析处理,找到确切的配对细胞。
让我们回到一开始的问题:假设我们可以打开人的大脑,直接观察和视觉相关的脑区活动,我们眼前的世界在大脑里的投影,长什么样子?
现在的你,已经心里有数了吧!
下一篇文章,我们将真正探讨“视觉信息处理”在大脑中的细节(先讲外侧膝状体),敬请期待!
2020.4.13
于复旦大学生命科学学院
(五)视觉信号在大脑中的第一站:外侧膝状体
在上一篇文章(视觉信号在大脑中被重组、扭曲全过程!)中,我们一起欣赏了视觉输入图像在大脑的各个层次扭曲、重组的现象,初窥了大脑进行视觉信息处理的复杂程度。这次,我们将连续通过三篇文章,从底层到高层,逐渐深入视觉系统最为关键的领域,也是最迷人、最令人捉摸不透的领域。
这三篇文章分别是:
- 《视觉信号在大脑中的第一站:外侧膝状体》
- 《视觉信号在大脑中的第二站:初级视觉皮层》
- 《视觉信号在大脑中的第三站:高级视觉皮层们》
在这三篇文章中,我有几个目标和野心:
- 尽可能全面而简洁地描述目前人类对视觉系统的认识
- 用最前沿的科研成果,反驳目前人工神经网络一再重蹈的误区
- 从神经科学角度,提出一些对“视觉认知”乃至“人工神经网络”的思考与展望
话不多说,我们进入视觉信号在大脑中的第一站——外侧膝状体(Lateral Geniculate Nucleus)。
来源文献:Malpeli, & Joseph, G. . (1975). The representation of the visual field in the lateral geniculate nucleus of macaca mulatta. Journal of Comparative Neurology, 161(4), 569.
外侧膝状体是位于丘脑的一个小小的神经核团,直径只有几个毫米。它叫这个名字,是因为它位于“膝状体”的外侧。而“膝状体”顾名思义,就是“长得像膝盖的东西”(神经生物学的命名就是这么直截了当)。
放一张人的外侧膝状体切面图(深色是细胞聚集位置,空白表示细胞密度低,即“层间区”):
来源文献:Briggs, F. , & Usrey, W. M. . (2011). Corticogeniculate feedback and visual processing in the primate. Journal of Physiology, 589.
既然有“外侧膝状体”,那当然也有“内侧膝状体”——内侧膝状体是我们听觉信号的中继站,而外侧膝状体是视觉信号的中继站,不要搞混啦。
相信大家对“外侧膝状体”这个名词并不陌生,因为在之前的几篇文章中,我多次提及过它。
而我对这个豆子一般大小的神经核团(nucleus)有着很特殊的感情,那是因为:它是我人生中第一个科研课题的对象,是我真正进入视觉神经生物学研究一线之后,第一个需要从内而外仔细琢磨透彻的大脑区域。可以说,外侧膝状体是我研究视觉系统的起点,也是我最为熟悉的视觉脑区之一。
因此,我对于“向大家介绍外侧膝状体”这一任务,至少从专业性上,还是比较有信心的。
如果尽可能简明地概括外侧膝状体的作用,那就是:
- 外侧膝状体是视觉信号传入大脑皮层的重要中继站
- 在外侧膝状体,一些视觉特征检测功能开始“涌现”,并成为初级视觉皮层高度特化的特征检测功能的“种子”
- 外侧膝状体通过与多个皮层下核团联系,参与调节机体整体的认知状态
如果身为读者的你,正好从事人工神经网络相关工作,或者从事神经生物学其他方向研究,那不妨请你把上述文字与之前在课本里、各种网上教程里学到的外侧膝状体的功能做个比较。也许你会发现一些区别。
目前似乎大多数人工神经网络教材和版本较老的神经生物学教材,都忽略了外侧膝状体在视觉特征检测中发挥的关键作用,把它看作视网膜神经节细胞的翻版——但实际上并非如此。
目前已经有大量的研究工作证实,外侧膝状体细胞可以编码朝向信息(orientation)、运动方向信息(direction)和速度信息(speed),而且极有可能是皮层类似功能的“种子”(具体内容很快就会讲到)。
科研成果从一线工作者向其他学科领域传播是有滞后性的,而且不同学科吸收神经科学成果的时候,也会有所偏好。但这并不是忽视科学事实的理由,我们在具体应用建模时可以按需简化,但至少应当明晰科学事实。
言归正传。我们来聊一聊:外侧膝状体是怎样发挥上述的3条关键作用的?
视觉信号中继站
首先,让我们复习一下外侧膝状体在视觉系统中的位置:
视觉信号沿着视神经,从视网膜出发,经过视交叉的拆分重组后,到达双侧大脑内部的外侧膝状体。
外侧膝状体的内部是分层的结构,每一层都只接受一只眼睛的信号输入。(上一篇文章《视觉信号在大脑中被重组、扭曲全过程!》已经初步讲解过)但对于一个外侧膝状体而言,不论接受哪只眼睛的信号,都是来自对侧视野的。例如:左脑内的外侧膝状体,只接受双眼传来的右侧视野的信息;右脑内的外侧膝状体,只接受双眼传来的左侧视野的信息。(见下图)
如果你还记得“视网膜拓扑投射图”这个概念,那么理解外侧膝状体的视觉信息整合方式就比较容易(如果忘记了,请回到上一篇文章再理解一下)。
让我们做一个形象的比喻:
我们把外侧膝状体的每一层,都当作一张世界地图,来自左眼的信号,我们当作是用红色笔画的;来自右眼的信号,我们当作是用蓝色笔画的。
接下来我们只讨论左脑外侧膝状体(右脑的可以类推)。
人脑的外侧膝状体有6层,相当于把6张世界地图叠在一起。要注意的是,从下往上第1、4、6层是蓝色笔画的(来自对侧眼,即右眼),第2、3、5层是红色笔画的(来自同侧眼,即左眼)。
现在我要把这六张地图的信息整合起来,交给初级视觉皮层,需要怎么做呢?
外侧膝状体的做法是:拿出一个打孔器,从“新西兰”的正上方按下去,把6层地图的“新西兰”一次性取出来,打包在一起,贴上一个标签“新西兰”。
随后,外侧膝状体把地图的每个角落,都按照相同的方法打孔、打包、贴上标签,并且按照空间相对位置来摆放。随后,这些保留原有空间相对位置关系,并且被打包好的地图碎片,被一次性交给了初级视觉皮层。
初级视觉皮层拿到了这些包装好的地图碎片以后,把它们按照原有的空间相对位置关系摆好,但只从每个包裹里抽取1个碎片,作为包裹里6个碎片的代表。这样,初级视觉皮层就获得了一张新的世界地图。按照同样的方法,它从右脑的外侧膝状体也获得了一张世界地图。
在上面的例子里,“世界地图”对应的就是视野;打孔器的大小,对应的是“感受野”的大小,也就是每个细胞负责的视野区域。其实初级视觉皮层在抽取地图碎片的时候,并非随机乱抽(事实上也并不是真的“抽取”——这只是为了便于理解而使用的比喻),而是遵守了一个神奇的规律,我们在下一篇文章会专门讲解。
视觉特征检测功能涌现
外侧膝状体已经可以初步检测视觉图形的空间朝向信息(orientation,学界也翻译为“方位”)、运动方向(direction)和运动速度信息(speed)了。这相比于视网膜,已经前进了一大步,因为在比较高级的哺乳动物中,视网膜绝大多数细胞是不具备上述功能的。
至于为什么会突然出现这样的功能,学界数十年来一直存在争论。目前已经有实验数据证明的结论有几点:
- 外侧膝状体细胞能够检测空间朝向信息,可能是因为它的细胞树突野的分布模式是拉长的、有朝向的。
- 大约有70%的外侧膝状体细胞具有空间朝向检测能力,并且偏好相近朝向的细胞,在空间上也聚集成团,已经具有了一定的功能组织模式。
- 大约有1/3的外侧膝状体细胞具有运动方向检测能力,并且这种能力不是来自于皮层,而是来源于皮层下的早期发育结构。
因此,外侧膝状体不能仅仅被看作是神经节细胞的翻版,而应当被认为是视觉信息在皮层下的重要处理站,甚至有可能为初级视觉皮层的特征检测功能提供了最初的“种子”。
来源文献:Xu, X., Ichida, J., Shostak, Y., Bonds, A. B., & Casagrande, V. A. (2002). Are primate lateral geniculate nucleus (LGN) cells really sensitive to orientation or direction?. Visual neuroscience, 19(1), 97-108.
图中箭头表示:大于该值(0.08)则为有“显著敏感性”
在这里,需要提到一位中国的神经科学家——复旦大学的寿天德教授。他在20世纪80、90年代针对外侧膝状体的研究工作,改变了学界对外侧膝状体的简单认识,修正了视觉神经生物学奠基者、诺贝尔奖获得者Hubel和Wissel的理论,具有国际影响。
大细胞和小细胞两个通道
外侧膝状体内部分为6层,其中第1、2层和3、4、5、6层分属两类——大细胞层和小细胞层。所谓大细胞,指的是这类细胞的感受野尺寸比较大。同理,小细胞的感受野比较小。
大细胞和小细胞分别对不同类型的视觉信号敏感——大细胞喜欢“运动信息”,对运动的方向、速度信息很敏感,但是对物体的精细结构不敏感;小细胞喜欢“形状信息”,对物体的精细结构敏感,但对运动信息不敏感。
这样一来,大、小细胞就将输入的视觉信号分为两类,各自打包向皮层传输,从而实现了“双通道并行”的模式。这种并行模式,使得后续视觉皮层检测多种视觉特征信息变得更加容易。
参与调节机体认知状态
外侧膝状体和许多皮层下的神经核团具有联系,这些神经核团,有的和警觉态相关(背侧中缝核、蓝斑),有的和情绪相关(杏仁核),有的和眼动相关(上丘)。它们都参与了机体的认知状态的整体调节,影响到视觉信息底层输入与筛选的程度。
例如,假如你此刻昏昏沉沉,那么你有很大概率忽视了身边飘过的一根绒毛。但如果你喝了咖啡,又刚吵过架,那么眼前任何蛛丝马迹都逃不过你的火眼金睛。机体整体的认知状态,可以影响到比较底层的神经核团,从而在源头控制视觉信息的输入。
关于这个话题,还可以引申开去,不仅和我们的日常行为息息相关,还能够为人工神经网络的设计提供一点思路。限于篇幅,我将在未来专门撰文介绍。
让我们回到最初的地方,重温一下外侧膝状体的三个知识点:
- 外侧膝状体是视觉信号传入大脑皮层的重要中继站
- 在外侧膝状体,一些视觉特征检测功能开始“涌现”,并成为初级视觉皮层高度特化的特征检测功能的“种子”
- 外侧膝状体通过与多个皮层下核团联系,参与调节机体整体的认知状态
下一篇文章,我们将要讲解视觉系统的“大明星”——初级视觉皮层。它是理解“视觉”的关键,也是半个多世纪以来,无数神经科学家奋力挖掘的宝藏。
可以说,在神经科学的发展历史中,对初级视觉皮层的研究已经成为了经典的范例——每一位打算入门神经科学领域的年轻学生(无论将来从事什么研究),都绕不开它。
敬请期待!
2020.4.17
于复旦大学
(六)“虚拟视觉”第一步:理解初级视觉皮层
在上一篇文章中(视觉信号在大脑中的第一站:外侧膝状体),我们比较详细介绍了外侧膝状体的一些情况。现在,我们要真正见到视觉系统的“大明星”——初级视觉皮层(primary visual cortex,也叫V1)了!
来源文献:Tootell, R. B., Hadjikhani, N. K., Vanduffel, W., Liu, A. K., Mendola, J. D., Sereno, M. I., & Dale, A. M. (1998). Functional analysis of primary visual cortex (V1) in humans. Proceedings of the National Academy of Sciences, 95(3), 811-817.
图中V1即指初级视觉皮层
“初级视觉皮层是理解视觉的关键”这句话,我认为并不过分。自从视觉研究的奠基人之二——Hubel和Wissel——在20世纪50-60年代系统研究了初级视觉皮层的信息处理机制以来,初级视觉皮层就一直为全世界的神经科学家们提供源源不断的新知识——这一境况持续了半个多世纪,而人类对它的认识似乎还远未终结,可见它蕴含的奥秘是多么丰富!
同时,初级视觉皮层的早期研究,大大促进了人类对大脑工作机制的理解。例如“皮层功能柱”、“大脑发育关键期”、“视觉特征提取”、“信号的分级处理”等概念和思想,在初级视觉皮层的研究中不断被提及,也影响到神经科学领域的其他研究之中。以至于数十年来,每一位立志投身于神经生物学研究的年轻人,都要在课堂与教科书中,一遍遍重温初级视觉皮层的早期研究史。
不过,本篇文章的目的并非介绍科学史,而是科普“人类目前怎样理解初级视觉皮层的功能”。为了便于大家理解接下来的内容,我们需要以几个基本概念为线索,逐渐揭开初级视觉皮层的面纱:
感受野(receptive field)
简单来讲,感受野就是一个感觉细胞能够感受到的原始刺激输入的区域总和。
例如,一个皮肤触觉细胞的感受野,就是它负责的皮肤表面区域之和;一个视觉细胞的感受野,就是它负责的视野区域之和。形象来讲,视觉细胞的感受野,就是这个细胞能“看到”的视野区域。视觉细胞只对感受野内的视觉刺激有明显反应,而感受野以外的区域,无法引起这个细胞的明显反应。
大部分视觉细胞的感受野都是有结构的——感受野内不同的区域,对光的反应有所区别。对于比较低层级的视觉细胞来说,“细胞感受野的形状”和“细胞检测视觉特征的能力”息息相关。
大脑皮层的分层结构
图片来源:《神经科学原理》第5版
大脑皮层一共分为6层,从浅到深依次编号为第1、2、3、4、5、6层。每一层的功能都有所区别。
通常来讲,第1层主要是神经纤维网,细胞密度比较低,主要接收其他皮层区域自上而下的“反馈”连接。
第2、3层细胞密度比较高,主要参与向大脑皮层各区域的、由低向高的“前馈”连接。
第4层主要接收大脑其他区域(除了皮层,也包括皮层下区域,如丘脑、下丘脑、中脑、基底神经节等)投射上来的信号。
第5层除了参与皮层各区域之间的远程连接以外,也向皮层下区域投射信号。
第6层既可以接收其他皮层区域的“反馈”,也可以向丘脑发送“反馈”信号。
不过不同的皮层区域功能差别较大,各层的分工也有一些区别,我们在这里主要关注初级视觉皮层。
对于初级视觉皮层来说,视觉信号在其中的传递大致遵守如下顺序(简略版):
- 外侧膝状体将视觉信号传入初级视觉皮层的第4层(也有少量传至第1、6层)
- 初级视觉皮层第4层的细胞,向第2、3层传递强烈的信号(同时也弱弱地向第5、6层传递信号)
- 第2、3层细胞向第5层传递信号,同时第5层又把信号传回第2、3层(网络逐渐复杂了起来)
- 第2、3层向其他脑区传递了强烈的视觉信号,从此,经过2、3层处理的视觉信号离开了初级视觉皮层,到达更高级的皮层区域
- 第6层向外侧膝状体传递了自上而下的“反馈”信号
给光、撤光反应(ON/OFF response)
来源网址:https://gifer.com/en/H90l
所谓“给光”(ON),就是用光照亮某个区域;“撤光”(OFF)就是反过来,让某个区域变暗。
如果用一束光照亮一个细胞感受野,导致这个细胞被激活,我们就称这个细胞是“给光细胞”。如果让一个细胞的感受野中央区域变暗,导致这个细胞被激活,我们就称这个细胞是“撤光细胞”。(对于感受野有中心-周边结构的细胞来说,还可以分得更细:比如“给光中心细胞”、“撤光中心细胞”等等)
简单来说,“给光细胞”(ON细胞)更喜欢光明,而“撤光细胞”(OFF细胞)更喜欢黑暗。
这个知识点,在我们后续理解初级视觉皮层的功能组织方式的时候至关重要。
方位选择性(orientation selectivity)
所谓方位,也叫做“空间朝向”(orientation),指的是一条短线的倾斜角度(范围是0-180°,见下图)。
初级视觉皮层细胞有一种重要的性质,就是“方位选择性”。换句话说,绝大部分初级视觉皮层细胞,都有一个“最喜欢的方位”(preferred orientation,中文习惯翻译成“最优方位”)。
给一个初级视觉皮层细胞看不同方位的短棒,当短棒的方位等于这个细胞的最优方位时,细胞的反应就达到最强。如果短棒的方位逐渐偏离最优方位,细胞的反应就越来越弱。如果短棒的方位和最优方位垂直,那么此时细胞的反应就达到最低点。
这样一来,我们就可以通过观察细胞的反应强弱变化,来得知这个细胞最喜欢哪个方位了。
初级视觉皮层细胞的上述性质,被称为“方位选择性”。类似的,还存在“运动方向选择性”、“空间频率/时间频率选择性”(很快会讲到)、“颜色选择性”等等。
这些选择性,本质上使得初级视觉皮层具备了检测并编码各种视觉特征的能力。
“正弦光栅”与空间频率、时间频率(sinusoidal grating、spatial frequency、temporal frequency)
正弦光栅示意图
“空间频率”和“时间频率”是用来描述“视觉图像在空间上和时间上变化快慢”的定量指标。
根据傅里叶分析的思想,任何一个连续变化的波形,都可以分解为正弦/余弦函数叠加的形式。因此,任何一种复杂的亮度变化过程,也都可以分解为最最基本的正弦/余弦结构的叠加。
所以,视觉科学家们把“正弦光栅”作为常用的简单二维图形刺激,来研究最基本的视觉信息处理机制。
“正弦光栅”就是一个亮度按照正弦波周期性变化的图像。把“正弦光栅”匀速向一个方向移动,每一个点的亮度也会按照正弦周期性变化,这样子就得到了在空间上和时间上都符合正弦函数变化的二维图像。(正弦和余弦可以通过平移来互相转换,学界习惯用“正弦”来称呼这样的视觉图像)
以移动的正弦光栅为例,“空间频率”就是单位距离内的正弦周期数量(单位距离通常取1°视角);而“时间频率”是对于画面中某一个点而言,一秒之内,这个点的亮度变化经过的正弦周期数量。
这样一来,我们就可以用定量的方法,来分析复杂图像最最基本的性质了。
眼优势(ocular dominance)
人脑初级视觉皮层的细胞眼优势分布图。黑色/非黑色条带显示了不同眼睛支配的视觉皮层
来源文献:Horton, J. C. , & Hedley-Whyte, E. T. . (1984). Mapping of cytochrome oxidase patches and ocular dominance columns in human visual cortex. Philosophical Transactions of the Royal Society B Biological Sciences, 304(1119), 255-272.
如果你还记得双眼的信息是如何传入外侧膝状体,又是如何由外侧膝状体整合传入初级视觉皮层的(详情见上一篇文章:视觉信号在大脑中的第一站:外侧膝状体),那么就知道:在上一篇文章的“世界地图”例子最后,留了一个未解答的问题——初级视觉皮层在抽取地图碎片的时候,并非随机乱抽,而是遵守了一个神奇的规律。
这个规律导致,每个初级视觉皮层细胞,要么更喜欢左眼的信号(左眼优势),要么更喜欢右眼的信号(右眼优势)。这也产生了初级视觉皮层的另一个性质:眼优势。灵长类动物(包括人类)的初级视觉皮层细胞大都是具有眼优势性质的(见上图),而猫科动物没有。小鼠这种眼睛长在头两侧的动物,也具有眼优势性质。
皮层功能柱(cortical functional column)
我们大脑的结构遵循了一个重要而深刻的规律:功能相似的细胞倾向于聚集在一起。
换句话说,就是“物以类聚,人以群分”。
在初级视觉皮层中,“最优方位”相似的细胞,往往聚集在一起形成一个“小社区”,这个社区覆盖了管辖范围以内皮层的每一层。换句话说,一个细胞只要在这个社区之内,不论它在第几层,它的最优方位都和社区内其他细胞相差不多。
如果用科学的方法来描述,就好比用一根电极从皮层表面垂直扎下去,沿途遇到的每一个细胞,都喜好相同的“方位”——在一个“社区”之内,细胞们在深度上是同质的。
这个“社区”实际上像是一个6层的楼房,初级视觉皮层还有许许多多类似的楼房,有的楼房住“喜欢0°方位的细胞”,有的楼房住“喜欢90°方位的细胞”,以此类推,最终覆盖0-180°的所有方位。
神经科学家们形象地把这种聚集形式称为“方位功能柱”,因为它们看起来就像是把皮层切成了很多个柱子一样(见下图)。
图片来源:《神经科学原理》第5版
除了方位以外,初级视觉皮层还有“运动方向柱”、“空间频率柱”等等。事实上,“功能柱”的组织方式在其他皮层中也普遍存在。例如在听觉皮层中,就有“频率柱”——喜好相同声音频率的细胞也聚集在一起,形成柱状结构,整个皮层由许多个喜好不同频率的功能柱组成(见下图)。
猫的初级听觉皮层的声音频率柱
来源文献:Carrasco, A., Brown, T. A., & Lomber, S. G. (2014). Spectral and Temporal Acoustic Features Modulate Response Irregularities within Primary Auditory Cortex Columns. PloS one, 9(12).
“皮层功能柱”的结构,最初就是在初级视觉皮层中被发现的。因此早期对视觉系统的研究,极大推动了人们对整个大脑的基本组织规律的认识。而发现“皮层功能柱”也成为了神经科学史上的一个重大事件。
没想到只是“知识准备”,就已经写了这么长(由此可见初级视觉皮层的内容之丰富)。限于篇幅,我决定将初级视觉皮层的内容分为两篇来讲——上篇是下篇的知识储备。
在下篇中,我们将展开对初级视觉皮层“视觉信号处理机制”以及“功能组织模式”的讨论——这两者对于理解“视觉”在我们头脑内的“表征方式”至关重要。
如果有朝一日人类彻底理解了它们,就可以在头脑中创造真正的“虚拟视觉”。
2020.4.22
于复旦大学
(七)视觉信号在大脑中的第三站:高级视觉皮层们
未完待续!
最后更新于:2020.4.22