2024深度学习发论文&模型涨点之——光学神经网络

光学神经网络（Optical Neural Networks, ONNs）是一种利用光学器件（如激光、光学调制器、滤波器、探测器等）来模拟和实现神经网络推理功能的计算模型。这种网络通过利用光信号的传播特性，如干涉、衍射等现象，加速神经网络的运算过程，提高计算速度和效率。

清华大学戴琼海院士、方璐教授的研究团队在光学神经网络（ONN）领域取得了突破性成果，该成果以“Fully forward mode training for optical neural networks”为题，荣登Nature。这项研究的核心是全前向智能光计算训练架构，以及“太极-II”光训练芯片的研制，这使得大规模神经网络的高效精准训练成为可能，同时摆脱了原有光计算系统对GPU离线建模的依赖。

我整理了一些光学神经网络【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

Fully forward mode training for optical neural networks

光学神经网络的全前向模式训练

方法

全前向模式（FFM）学习：开发了一种称为全前向模式（FFM）学习的方法，该方法在物理系统上实现了计算密集型的训练过程。

空间对称性和洛伦兹互易性：通过利用空间对称性和洛伦兹互易性，消除了梯度下降训练中反向传播的必要性，从而直接在原始物理系统上设计光学参数。

创新点

FFM学习方法：提出了FFM学习方法，实现了光学系统的自我学习和目标导向的设计。

性能提升：在自由空间和集成光子学中展示了具有最先进性能的光学系统，实验测试结果显示，FFM学习方法能够将网络性能提升至接近理想模型的准确性。

自动搜索非平凡点：证明了FFM学习可以自动搜索非厄米特系统的非平凡点，无需分析模型，这在实验中表现为系统输出能够从互易状态切换到非互易状态。

论文2：

Single-chip photonic deep neural network with forward-only training

单芯片光子深度神经网络的前向训练

方法

光子集成电路：实现了一个可扩展的光子集成电路，单片集成了多个相干光学处理器单元，用于矩阵代数和非线性激活函数。

前向训练：实验展示了这种完全集成的相干光学神经网络架构，用于具有六个神经元和三层的深度神经网络，能够以410皮秒的延迟光学计算线性和非线性函数。

创新点

首次实现：首次展示了端到端的相干光学深度神经网络，实现了线性和非线性操作的光学域处理。

原位训练：实现了无需反向传播的原位训练，达到了与数字计算机相当的准确性（92.5%）。

超快速处理：为超快速、直接处理光信号的应用开辟了新途径，处理延迟为410皮秒。

论文3：

Image sensing with multilayer, nonlinear optical neural networks

多层非线性光神经网络的图像感知

方法

多层非线性光神经网络（ONN）预处理器：实现了一种多层ONN预处理器，用于图像感知，通过使用商用图像增强器作为并行光电非线性激活函数。

光学编码：通过光学编码将图像数据压缩到低维潜在空间，减少了像素和光子的数量，提高了吞吐量和降低了延迟。

实验验证：在多个代表性计算机视觉任务中验证了非线性ONN预处理器的性能，包括机器视觉基准、流式细胞图像分类和实际场景中对象的测量和识别。

创新点

压缩比提升：实现了高达800:1的压缩比，显著优于线性ONN编码器。

性能提升：在多个图像感知任务中，非线性ONN预处理器的性能优于线性ONN编码器，特别是在高压缩比下。

多任务适用性：展示了非线性ONN预处理器在多种图像感知任务中的应用潜力，证明了其多功能性和有效性。

论文4：

Experimentally realized in situ backpropagation for deep learning in photonic neural networks

在光子神经网络中实验实现的原位反向传播用于深度学习

方法

原位反向传播：实验性地训练了一个三层四端口的硅光子神经网络，使用“原位反向传播”方法，通过光干涉测量前向和反向传播光的相位偏移电压梯度。

模拟和实验验证：通过模拟和实验验证了64端口光子神经网络在MNIST图像识别任务中的训练效果。

能量和延迟分析：系统分析了原位反向传播的能量和延迟优势，指出了其在更大规模（64×64）PNN系统中的可扩展性。

创新点

训练效率提升：实验性地在光子神经网络中实现了反向传播算法，训练效率与数字训练模拟相当。

能效提升：通过避免显式嵌入到Krein空间和基于特征分解的构建新的内积，提高了算法的计算效率。

分类准确性：在多个分类任务中，实现了高于94%的测试准确率，证明了方法的有效性。