摘要
最近,提出了一种基于深度学习构造透射曲面的衍射相机设计方法。它对目标物体进行特定类别的成像,并对其他类别物体进行全光学删除,这将促进隐私保护数码相机和特定任务数据的发展。
随着电子信息产业的快速发展,数码相机等收集大量图像数据的工具已经遍布公共场所的各个角落。如果这些图像数据的隐私被泄露出去,将会带来很大的安全风险。为了隐藏图像中的敏感信息,将计算机视觉技术应用到图像处理过程中,并通过算法处理对图像进行加密1深度学习技术2,3..除了上述的软件方法外,硬件的集成模块处理4也可用于在图像数据传输之前对敏感信息进行加密。但两者都是作为图像数据进行量化处理,必然需要大量的数据计算和存储空间5.因此,更好的选择是在光传播过程中对图像进行加密。
在对图像进行全光学加密时,最简单的方法是降低图像的分辨率6,牺牲了整个样本视场(FOV)的图像质量。因此,需要一种新型相机,在整个样本视场内保持高保真图像质量的同时,对图像进行全光学和瞬时加密。随着计算机技术的进步,深度学习技术在速度和精度上有效地加强了这些设计能力。由于衍射结构和深度学习算法是互补的,我们可以用深度学习算法设计衍射结构来实现目标函数,也可以训练衍射结构来代替深度学习算法来完成全光机器学习7.
在《eLight》杂志最近的一篇论文中,加州大学洛杉矶分校的研究小组介绍了一种使用衍射计算的新型相机设计8,它可以对特定对象成像,如MINST手写数字,时尚单品,而不需要的信息被全光学擦除,如图所示。1.本文的设计框架是基于深度学习的。将光波在衍射层中传输的过程视为神经网络中神经元的传输,即将衍射层上的每个点视为一个神经元对其进行调制。本文报道的衍射相机在0.75 mm光照下训练,衍射层之间相距20 mm,像素/神经元大小为0.4 mm。根据训练目标,系统最小化输入和输出图像强度的损失函数。
除了这一基本功能外,还介绍了其他扩展应用。多个输入对象可以同时成像,其中只有目标类的对象被保留,其余的都被全光学擦除。同时验证了输入对象的任意位置及其照明强度的鲁棒性。此外,基于该设计框架,课题组设计了针对特定类别的排列线性变换衍射相机,对目标类别对象进行矩阵加密,对其他对象进行全光擦除,这进一步增强了信息传播的安全性,因为只有知道矩阵的逆才能还原原始目标类别对象。
在他们之前的论文中,介绍了衍射深度神经网络(D2NN),它可以在光速下完成各种复杂的函数运算7.本文设计的衍射摄像机还与D2NN系统相结合。该设计表明,衍射系统可以通过深度学习方法优化,以处理宽带信号。本文还对三层、五层、七层衍射相机进行了比较,认为衍射层数越多,训练效果越好。
本文报道的类专用绕射相机是通过光传输过程直接对信息进行加密,保留目标物体或矩阵变换,擦除其他物体。与传统的图像数字处理方法相比,该方法具有速度快、速度快、无需额外照明等优点。然后,它擅长处理特定的任务。最后,这台相机更安全。因此,本文提出的这类专用绕射相机将极大地促进专用信息加密和隐私保护的发展。此外,利用深度学习设计衍射层的方法在全光学图像分析、目标分类、新型相机设计等领域具有良好的应用前景。
参考文献
Dufaux, F. & Ebrahimi, T.争夺视频监控系统中的隐私保护。IEEE反式。电路系统。视频抛光工艺。18, 1168-1174(2008)。
Pittaluga, F., Koppal, S. & Chakrabarti, A.通过对抗性训练学习隐私保护编码。在2019 IEEE计算机视觉应用冬季会议(WACV)791-799 (ieee, 2019)。https://doi.org/10.1109/WACV.2019.00089.
Uittenbogaard, R.等人。使用深度和多视图图像的街景全景中的隐私保护。在2019 IEEE/CVF计算机视觉与模式识别会议(CVPR)(ieee, 2019)。https://doi.org/10.1109/CVPR.2019.01083.
Chattopadhyay, a . & Boult, T. E. PrivacyCam:在Blackfn DSP上使用uCLinux的隐私保护相机。在2007年IEEE计算机视觉与模式识别会议1-8 (ieee, 2007),https://doi.org/10.1109/CVPR.2007.383413.
53个关于每天创建多少数据的重要统计数据。Financesonline.comhttps://financesonline.com/how-much-data-is-created-every-day/(2021)。
Pittaluga, F. & Koppal, S. J.微型视觉传感器的隐私保护光学。在2015 IEEE计算机视觉与模式识别会议(CVPR)314-324 (ieee, 2015)。https://doi.org/10.1109/CVPR.2015.7298628.
林,等。采用衍射深度神经网络的全光机器学习。科学361, 1004-1008(2018)。
Bai, B.等。成像,还是不成像:具有全光学擦除不需要物体的特定类别衍射相机。eLight214岁的https://doi.org/10.1186/s43593-022-00021-3(2022)。
资金
国家重点研发计划项目(2017YFA0303700、2017YFA0303702、2016YFA0202103)和国家自然科学基金项目(no . 11822406、11834007、11774162、11674166、11674167、11674168、11621091、11774164、91850204)资助。
作者信息
作者及隶属关系
相应的作者
道德声明
利益冲突
作者声明没有利益竞争。
权利和权限
开放获取本文遵循知识共享署名4.0国际许可协议(Creative Commons Attribution 4.0 International License),允许以任何媒介或格式使用、分享、改编、分发和复制,只要您对原作者和来源给予适当的署名,提供知识共享许可协议的链接,并注明是否有更改。本文中的图像或其他第三方材料包含在文章的创作共用许可中,除非在材料的信用额度中另有说明。如果内容未包含在文章的创作共用许可协议中,并且您的预期使用不被法定法规所允许或超出了允许的使用范围,您将需要直接获得版权所有者的许可。要查看此许可证的副本,请访问http://creativecommons.org/licenses/by/4.0/.
关于本文
引用本文
周旭,王胜。基于深度学习设计曲面的衍射相机。轻科学应用11, 283(2022)。https://doi.org/10.1038/s41377-022-00974-7
发表:
DOI:https://doi.org/10.1038/s41377-022-00974-7