多功能成像受昆虫立体观测gydF4y2Ba

立体观测提供了一个重要的视觉感知特性探测时空变化gydF4y2Ba^{1gydF4y2Ba,gydF4y2Ba2gydF4y2Ba,gydF4y2Ba3 gydF4y2Ba,gydF4y2Ba4gydF4y2Ba}。昆虫猎物狩猎等立体观测执行不同的功能gydF4y2Ba^{5克ydF4y2Ba,gydF4y2Ba6gydF4y2Ba}、导航gydF4y2Ba^{3 gydF4y2Ba,gydF4y2Ba7gydF4y2Ba},捕食者逃避gydF4y2Ba^8gydF4y2Ba与小孔眼的视觉器官。例如,只螳螂发挥立体深度知觉引人注目的目标gydF4y2Ba^{9gydF4y2Ba,gydF4y2Ba10gydF4y2Ba},或蜻蜓利用光学流刺激减轻碰撞gydF4y2Ba^{9gydF4y2Ba,gydF4y2Ba11gydF4y2Ba,gydF4y2Ba12gydF4y2Ba}。这种视觉感知通常取决于他们的网眼结构和视觉处理单个孔眼的通道图像gydF4y2Ba^{13gydF4y2Ba,gydF4y2Ba14gydF4y2Ba}。视觉立体观测同位语或叠加复合的眼睛在自然界发现的主要提供相对准确的深度信息,因为少量的感光细胞在一个方面透镜生成一个简单点的形象gydF4y2Ba^{13gydF4y2Ba,gydF4y2Ba14gydF4y2Ba,gydF4y2Ba15gydF4y2Ba,gydF4y2Ba16gydF4y2Ba}。然而,韩国帝王的不寻常的设计peckii眼睛展品多视点立体观测高视力通过块采样图像,这是由多个透镜光感受器在一个方面gydF4y2Ba^{17gydF4y2Ba,gydF4y2Ba18gydF4y2Ba,gydF4y2Ba19gydF4y2Ba}。gydF4y2Ba

像昆虫的视觉,多孔的成像系统获取数组的场景的视觉视差在一枪一个目标对象gydF4y2Ba^{20.gydF4y2Ba,gydF4y2Ba21gydF4y2Ba,gydF4y2Ba22gydF4y2Ba,gydF4y2Ba23gydF4y2Ba,gydF4y2Ba24gydF4y2Ba}。他们允许立体成像的重建时空数据gydF4y2Ba^{25gydF4y2Ba,gydF4y2Ba26gydF4y2Ba,gydF4y2Ba27gydF4y2Ba,gydF4y2Ba28gydF4y2Ba}。然而,仍然存在一些技术限制在模仿昆虫的视觉特征由于其有限的动态和笨重的系统gydF4y2Ba^{29日gydF4y2Ba,gydF4y2Ba30.gydF4y2Ba}。紧凑型相机的尺寸类似昆虫的眼睛需要精确地研究昆虫的特征的愿景。复眼摄像头模仿昆虫的视觉结构也收集视觉信息与视觉视差在一个非常小的规模。他们允许宽视场(FOV)和光学流成像通过微透镜阵列的视觉差异gydF4y2Ba^{12gydF4y2Ba,gydF4y2Ba31日gydF4y2Ba,gydF4y2Ba32gydF4y2Ba,gydF4y2Ba33gydF4y2Ba,gydF4y2Ba34gydF4y2Ba}。主要技术瓶颈仍在图像分辨率低,这限制了各种昆虫视觉功能成像的探索gydF4y2Ba^{16gydF4y2Ba,gydF4y2Ba35gydF4y2Ba}。最近,超薄数组提供高分辨率相机成像模拟的视觉结构gydF4y2Ba韩国帝王peckiigydF4y2Ba在一个平坦的图像传感器gydF4y2Ba^19gydF4y2Ba。所有之前的作品只展示了昆虫复眼相机结构相似;然而,调查不同的昆虫视力仍然需要进一步探索理解昆虫眼睛的视觉原则总体看飞机。多功能成像在不同距离需要理解昆虫立体观测,而不是固定目标成像。gydF4y2Ba

在这里我们报告多功能成像受昆虫立体观测使用单一超薄微透镜阵列相机(MAC)。昆虫的眼睛和MAC的比较立体观测解释他们的光学结构和三种不同的观看飞机根据目标距离(图。gydF4y2Ba1gydF4y2Ba、表gydF4y2Ba1gydF4y2Ba)。昆虫通常感知物体距离视野重叠的视差线索获得每个孔眼和展示无限的景深效果gydF4y2Ba^{6gydF4y2Ba,gydF4y2Ba13gydF4y2Ba,gydF4y2Ba14gydF4y2Ba}。同样,苹果不断的视场与all-in-focus微透镜阵列和捕获部分图像,所以通道之间的视觉视差图像随物体的距离。例如,MAC的个人渠道获取附近的局部特写图像的每个通道平面,可缝广角显微成像。特写镜头成像没有图像模糊是可能的,因为短焦距和MAC的ultracompact维度。他们也认识到数组对象的图像中期飞机上明显的视觉差异,重建三维深度地图。此外,他们也获得类似的场景没有视觉差距个人渠道到飞机上,它可以提供一个高动态范围(HDR)图像重建后图像。特别是,MAC甚至提供高速成像到飞机上通过使用快速和连续的图像采集帧分割一个滚动快门读出。这些可以实现多种功能与一个相机的MAC通过模仿昆虫的视觉感知。三种不同飞机的距离范围控制通过改变光学参数如频道时期和显微镜头的焦距(补充注gydF4y2Ba1gydF4y2Ba和补充图。gydF4y2Ba1gydF4y2Ba)。阵列图像的重叠宽度和视觉差异也改变了对象的距离,根据和物体位置可以通过阵列图像的重叠程度推断。例如,每个频道的局部特写图像可以观察到,因为重叠宽度减少定位对象时靠近镜头。MAC配置包括一个窗口玻璃,multilayer-aperture数组(MAAs),倒置光学阵列(iMLAs)和氧化铝间隔器在一个互补金属氧化物半导体(CMOS图像传感器(图)。gydF4y2Ba1 bgydF4y2Ba)。马斯河的iMLAs允许有效地调整视角以及超薄短焦距的包装。测量表面轮廓表示单个透镜的物理维度(补充图。gydF4y2Ba2gydF4y2Ba)。扫描电子显微图显示了microfabricated iMLAs(无花果。gydF4y2Ba1 cgydF4y2Ba)。MAC的横断面图像表明,iMLAs马斯河完全打包在一个与平面CMOS图像传感器(图。gydF4y2Ba1 dgydF4y2Ba)。特别是,MAC的捕获的图像显示异常超薄总轨道长度,相比商业紧凑的单镜头相机(无花果。gydF4y2Ba1 egydF4y2Ba)。完全打包MAC与图像处理板组装(覆盆子π3 B +树莓π基金会)和固定光学成像实验山(补充图。gydF4y2Ba3 gydF4y2Ba)。gydF4y2Ba

一个gydF4y2Ba比较之间的立体观测昆虫眼睛和多才多艺的超薄微透镜阵列相机(MAC)根据目标对象的距离。像昆虫的眼睛的视觉差异,超薄阵列相机捕捉各种功能图像如显微图像在不久的物体平面,三维深度地图平面,中期和高动态范围(HDR)图像以及高速图像平面在遥远的对象。gydF4y2BabgydF4y2BaMAC的示意图说明配置。集成配置的MAC与反向微透镜阵列组成的透镜板(iMLA),多层孔径阵列(MAAs)和氧化铝差距间隔器在一个活跃的像素图像传感器。gydF4y2BacgydF4y2Ba扫描电子显微镜(SEM)图像的微透镜阵列。gydF4y2BadgydF4y2Ba一边,gydF4y2BaegydF4y2Ba透视图的照片完全打包超薄相机。插图显示横截面显微图像的显微镜头马斯河,和酒吧是100μm规模。gydF4y2Ba

全尺寸图像gydF4y2Ba

MAC的光学和成像质量定量评价使用光学切片和调制传递函数(MTF)信道测量图像。MAC提供清晰的图像,精确放置CMOS图像传感器的焦距内iMLAs景深(景深)使用氧化铝与环氧胶衬垫。光传播通过iMLAs使用共焦激光扫描显微镜的光学切片(样品形貌,LSM 510,蔡司)加上532纳米的激光波长(补充图。gydF4y2Ba4gydF4y2Ba)。光从外部激光源通过显微镜头垂直传播,光束截面是可视化的叠加z-section切片观察光斑直径和景深。测量病灶直径和个别微透镜的景深μm 1.32和19.8μm半宽度(应用),分别。注意,铝垫片的厚度误差与环氧树脂胶是12μm平均满足包公差小于iMLAs的景深(补充图。gydF4y2Ba5克ydF4y2Ba)。目标对象的西门子mac的明星拍摄不同的显微镜头直径相同焦距比数(F / 1.7,请参见补充图。gydF4y2Ba6gydF4y2Ba)。实验结果清楚地表明,相对照明,即。,ch一个nges in the illumination from the center to the outside, and the inverse MTF (iMTF) logarithmically increase with the microlens diameter. However, both values become saturated as the microlens diameter increases, and the total track length of MAC increases linearly. As a result, the microlens diameter of 150 μm was finally selected for the versatile ultrathin camera (iMTF50 = 9.63 μm, total track length = 810 μm). The microlens diameter was also considered through the trade-off relationship of multifunctional imaging by characterization at multi-view planes according to various diameters. The short focal length of the microlens not only allows all-in-focus imaging from the near to the far planes but also substantially reduces the minimum object distance (MOD), i.e., the nearest target location from a camera to acquire a clear image (Fig.2gydF4y2Ba和补充图。gydF4y2Ba7gydF4y2Ba)。传统的单镜头相机(CSLC,覆盆子π相机模块V2, F / 2, DLENS: 1.5毫米)与大光圈捕捉近模糊图像对象距离(图。gydF4y2Ba2 bgydF4y2Ba)。然而,MAC为所有对象的距离(图提供清晰的图像。gydF4y2Ba2摄氏度gydF4y2Ba)。MAC的测量MTF50时明显高于CSLC对象距离小于130毫米(无花果。gydF4y2Ba二维gydF4y2Ba)。MAC显然解决了酒吧在6-element 2组1951年的美国空军(USAF)分辨率图,对应的图像分辨率6.96μm(无花果。gydF4y2Ba3 a, bgydF4y2Ba)。gydF4y2Ba

一个gydF4y2Ba图表代表实验设置(I)根据对象的距离和成像(II)显微成像。“花”图像捕捉到gydF4y2BabgydF4y2Ba商业化的单镜头相机(CSLC)和gydF4y2BacgydF4y2BaMAC根据对象的距离。“花”的形象被显示在LED面板。酒吧是2厘米。gydF4y2BadgydF4y2Ba比较之间的调制传递函数(MTF) 50大光圈的照片和小孔径相机,这表明从小孔相机获得的图像有很高的MTF值在100毫米对象距离比同行。gydF4y2Ba

全尺寸图像gydF4y2Ba

一个gydF4y2Ba捕获的图像数组的1951美国空军测试图表。2组6 -元素的酒吧是清晰可见。酒吧是10μm规模。gydF4y2BabgydF4y2Ba根据测量对比元素在6组数字。例如,相应的解决组6-elementμm 2与对比/ 0.3是6.96。微阵列的图像捕获gydF4y2BacgydF4y2Ba松树干,gydF4y2BadgydF4y2Ba南瓜干,gydF4y2BaegydF4y2Ba小鼠小肠gydF4y2BafgydF4y2Ba红洋葱表皮细胞通过MAC在不久的飞机。gydF4y2BaggydF4y2Ba缝全景图像的图像各个频道。gydF4y2Ba

全尺寸图像gydF4y2Ba

演示了MAC的车窗玻璃厚度是500μm,可以进一步扩大通过优化和放大玻璃厚度和通过调整镜头和观测距离。每个通道的MAC观察目标对象具有相同的部分图像视场目标距离附近,和部分图像可以集成到一个单一的图像通过图像缝合。图像分辨率还允许等微观结构的显微观察松树杆和红洋葱表皮细胞总轨道长度的距离,样本在哪里接触玻璃窗口顶部的MAC(无花果。gydF4y2Ba三氟gydF4y2Ba)。多通道图像然后缝合形成一个全景图像(图。gydF4y2Ba3 ggydF4y2Ba)。通道图像的序列是受人尊敬的收购缝图像因为每个镜头捕捉反向图像。gydF4y2Ba

MAC提取物体的深度信息的立体观测变化。单个通道的视觉视差图像(图提供了三维深度信息。gydF4y2Ba4gydF4y2Ba)。实验结果清楚地表明,鲜花和一个明星的3 d模型捕获通道图像不同观察方向(无花果。gydF4y2Ba4 bgydF4y2Ba)。像素的差距,即。,the distances between two corresponding points between individual channel images, and their corresponding depth resolution were also calculated according to the channel period and the object distance through image overlapping (Fig.4摄氏度gydF4y2Ba)。实验结果表明,该像素差异指数随着目标距离减少或增加频道时期。深度分辨率是由物体深度像素的差异差异时两个点对应于图像传感器像素大小。因此,深度分辨率增加减少对象距离或增加频道。计算3 d对象的深度分辨率3.7μm和790μm 2.5毫米和30毫米的距离,分别。red-cyan浮雕图像进一步可视化通过重叠个人频道图像捕获的两端iMLAs根据目标的距离(图3 d模型。gydF4y2Ba4 dgydF4y2Ba)。相应的三维深度地图终于重建使用深度图生成算法和快速cost-volume过滤(图。gydF4y2Ba4 egydF4y2Ba)gydF4y2Ba^36gydF4y2Ba。特别是深度地图和像素差异所示gydF4y2BaxgydF4y2Ba和gydF4y2BaygydF4y2Ba轴的2 d安排iMLAs(补充图。gydF4y2Ba8gydF4y2Ba)。各个渠道的MAC观察目标对象的同一幅图像在遥远的物体平面由于相同的观察方向(图。gydF4y2Ba4 fgydF4y2Ba)。结果,重建阵列图像捕获的飞机提供了一个使用HDR图像与异常高的对比度合并算法(图。gydF4y2Ba4 g hgydF4y2Ba)。不仅重建图像显示灰度级的HDR的1.61倍,还一个颜色空间范围扩大了2.13倍,而相应的部分图像(图。gydF4y2Ba4我gydF4y2Ba和补充图。gydF4y2Ba9gydF4y2Ba)。HDR图像重建后,计算图像对比是0.72,这是一个单通道图像的1.09倍。这个值也对应于图像对比度的86% CSLC可比透镜参数。gydF4y2Ba

一个gydF4y2Ba原理图的三维深度成像通过使用每个通道图像之间的视觉差异。gydF4y2BabgydF4y2Ba捕获的数组鲜花和一颗恒星在不同深度的图像。重叠花圆盘之间的差异和第一花叶子显然证明每个通道的不同的观点。酒吧代表一个对象的大小规模位于6厘米的距离,是4厘米。gydF4y2BacgydF4y2Ba像素的差距和深度分辨率取决于对象距离和通道。酒吧规模在6厘米2厘米物体的距离。gydF4y2BadgydF4y2Ba重叠的图像单个通道图像通过使用red-cyan浮雕和相应的平滑切割成本。差距计算通过使用之间的区别红色和青色的片边缘图像对应于每个对象。gydF4y2BaegydF4y2Ba重建的三维深度地图图像对应red-cyan浮雕图像(左:灰度图,右:伪彩色地图)。gydF4y2BafgydF4y2BaHDR图像阵列图像的颜色检查程序图。gydF4y2BaggydF4y2Ba从MAC的单通道图像。gydF4y2BahgydF4y2BaHDR合并的重建图像。gydF4y2Ba我gydF4y2Ba1931 cie色度图代表单通道图像的光谱测量和重建图像。gydF4y2Ba

全尺寸图像gydF4y2Ba

MAC进一步允许高速成像通过使用一个滚动式帘子读出的框架碎片(补充图。gydF4y2Ba10gydF4y2Ba)。CSLC通常展品当捕获快速移动的物体由于运动工件滚动快门CMOS图像传感器的影响。记录部分引起的图像畸变的图像场景在不同的瞬间。然而,MAC的阵列图像捕捉高速运动场景没有工件沿垂直方向以及不同时刻的iMLAs(无花果。gydF4y2Ba5gydF4y2Ba)。MAC形式在一个图像传感器阵列图像;因此,每个通道的图像采集时间短于CSLC。在这个实验中,高速图像捕获使用一个旋转的风扇和一个明星马克(图。gydF4y2Ba5 bgydF4y2Ba)。实验结果清楚地表明,CSLC抓住了粉丝图像严重失真(无花果。gydF4y2Ba5度gydF4y2Ba)。相比之下,MAC捕捉清晰阵列图像旋转的风扇没有明显失真的MAC(图。gydF4y2Ba5 dgydF4y2Ba)。个人渠道将音拉的沿着列雅召来捕获部分图像每2.89毫秒,在风扇旋转的25°。风扇转速计算从数组中图片是1441 rpm。此外,阵列图像的重建单个行不仅进一步增强了图像对比,还通过使用HDR图像分辨率融合算法(图。gydF4y2Ba5 egydF4y2Ba)。滚动快门失真通常发生在一个移动的物体的捕获速度快于图像传感器的帧率的垂直扫描整个场景(图。gydF4y2Ba5 fgydF4y2Ba)。的运动工件CSLC和MAC被成像一个旋转6色盘定量比较。实验结果清楚地表明,通过MAC捕获的图像比CSLC扭曲(图要少得多。gydF4y2Ba5克gydF4y2Ba)。MAC的帧速率计算对应于345 fps的显微镜头直径100μm。此外,测量的图像失真,即。,the difference in the arc length of each color, is significantly reduced and the frame rate increases linearly as the microlens diameter decreases (Fig.5 hgydF4y2Ba)。因此,MAC实现快11.5倍成像比CSLC 30 fps CMOS图像传感器和图像失真减少90%以上,由于框架碎片。整个实验结果在多视点平面暗示MAC的成像性能之间的权衡关系镜头直径和成像的飞机。MAC实现整体优化功能在多视点平面均匀,但重新优化可以提高函数在一个特定的飞机。gydF4y2Ba

一个gydF4y2Ba图解插图捕获一个快速移动的对象的MAC。gydF4y2BabgydF4y2Ba原来的风扇有两个翅膀的照片。酒吧规模是2厘米。gydF4y2BacgydF4y2Ba“旋转风扇”的成像被传统单镜头相机(CSLC)。通过CSLC捕获的图像显示了运动构件由于滚动快门的效果。规模的酒吧,3厘米。gydF4y2BadgydF4y2Ba数组的图像旋转的风扇被MAC。每一行的相机捕捉不同时刻渠道没有运动构件。酒吧是8厘米。gydF4y2BaegydF4y2Ba重建的图像阵列图像在水平方向上利用高动态范围(HDR)合并。规模的酒吧,8厘米。gydF4y2BafgydF4y2Ba图表图像失真由于滚动快门的效果。gydF4y2BaggydF4y2Ba捕获的图像的旋转6色盘通过CSLC和MAC。减少图像失真的镜头直径(清醒)减少。注意颜色出现由于首席射线角略有不同(CRA)根据透镜直径不匹配。gydF4y2BahgydF4y2Ba每种颜色的测量弧变形旋转6色盘。误差棒表示标准偏差(gydF4y2BangydF4y2Ba= 5)。gydF4y2Ba

全尺寸图像gydF4y2Ba

灵感来自昆虫立体观测的原则,我们已经成功地演示了各种功能成像通过我们的超薄阵列相机。通道阵列提供了独特的配置不仅清楚all-in-focus成像也可变视觉差异的个人频道。MAC展品的功能特性,如透射显微成像、三维深度重建,HDR,或高速成像,这取决于目标的距离。实验结果展示,重建成像阵列图像提供了各种功能的低成本的相机和线索理解上级昆虫视觉特性。这个多功能成像,受昆虫立体观测,提供了先进的洞察力紧凑型相机功能应用于医疗、移动和监视设备。gydF4y2Ba

相机制造gydF4y2Ba

马斯河micro-fabricated是通过重复光刻的负面基调黑色树脂(1040年GMC, Gersteltec)和负面基调透明树脂(SU-8 MicroChem corp .) 4。硼硅晶片(补充图。gydF4y2Ba11gydF4y2Ba)。等离子体表面处理是通过大气等离子体系统执行(ihp - 1000, Applasma Inc .)之间的附着力增强黑色光致抗蚀剂(PR)和透明的公关。积极的基调树脂(AZ9260 MicroChem) photolithographically马斯河模式定义为圆柱阵列模式。一个倒立的回流过程融化缸模式形成的球形透镜对热板180°。上行回流方法进行制造F / 1.7高曲率的透镜,因为上行回流可以改善通过重力曲率。制造透镜板被使用切割锯丁。相机的组装、CMOS图像传感器(219年索尼IMX)和microfabricated透镜数组被使用倒装芯片焊接机打包。上的环氧胶粘剂正是应用图像传感器通过micro-dispenser间隔和氧化铝的放置在环氧胶粘剂。间隔几堆与焦距和整体间隔器的高度。铝间隔捏造的精确大小通过研磨和micro-sawing过程。环氧胶粘剂进一步应用于上行的间隔和微透镜阵列的透镜板通过倒装芯片接合器。 In this process, the lens plate and the active pixel area of image sensor are aligned through the microscope. The ultrathin camera was finally assembled by curing the epoxy adhesive on a 120° hot plate for 30 min.

图像重建算法gydF4y2Ba

左右两边的通道被裁剪图像的三维重建。立体匹配算法使用快速cost-volume过滤被用来获取三维深度地图gydF4y2Ba^36gydF4y2Ba。成交成本构建表达差异空间图像,体积和成本是平滑通过双边和引导过滤器。然后参考像素分配的最小差异值,和纠正成本计算的差异。深度图终于通过填充像素使用加权中值滤波。深度图表示为一个灰度值更改为颜色渐变映射。HDR图像重建是由使用免费软件的图形编辑器,Chasys画。单个通道图像提取创建HDR图像平面上成像。提取的通道图像被调整层抵消注册,并转换为重量根据亮度地图。在——和过度曝光区域权重降低加权混合高斯拉普拉斯算子和过滤器gydF4y2Ba^37gydF4y2Ba。图像中每个像素的个人价值是通过乘法结合混合重映射。所有算法运行在一个台式电脑,英特尔酷睿i5 - 6600 k的3.30 GHz和NVIDIA GeForce 960 GTX公司捕获图像后通过覆盆子π。三维深度重建的处理时间需要10年代和HDR合并需要1 s。gydF4y2Ba