摘要
在这项工作中,我们提出了一种基于光热超分辨率的内部缺陷热成像分辨率的新方法,使用基于二维像素模式的主动光热激光加热结合后续的数值重建来实现内部缺陷结构的高分辨率重建。通过采用激光耦合大功率DLP投影仪技术生成的像素化模式,实现真正的二维超分辨率的复杂性可以显著降低,朝着广泛的实际可行性迈出了关键一步。此外,基于大功率DLP投影仪的最新发展,我们首次将其应用于宏观金属样品的结构化脉冲热成像检测。此外,本文还提出了一种潜在逆问题的正解,以及一种适当的启发式方法,以找到在实验室环境中数值反演所需的正则化参数。这使得生成综合测量数据成为可能,为基于机器学习的方法的应用打开了大门,为未来改进方法的完全自动化打开了大门。最后,实验验证了所提出的方法,并表明优于几种既定的常规热成像测试技术,同时与目前可用的光热超分辨率技术相比,将所需的测量时间保守地提高了8倍。
简介
主动热成像检测作为一种无损检测(NDT)方法,是一种非常有效的非接触式检测表面缺陷以及被测物体表面(OuT)以下的缺陷/不均匀性的技术。在主动热成像测试中,OuT被主动外部加热,记录其温度变化,然后评估由此产生的温度变化以检测不规则性,这意味着可能的缺陷/不均匀性。虽然热成像测试的能力受到所使用的硬件(如所使用的红外摄像机的空间和温度分辨率)的限制,但与其他依赖于传播波(如超声波测试或射线照相)的方法不同,热成像测试也从根本上受到热传播扩散性质的限制。当涉及到表面以下深层内部缺陷/不均匀性的检测/解决时,经验表明,缺陷/不均匀性发生的深度与其空间延伸之间的比率应该接近于统一,才能完全解决1.超过这个极限是现代热成像测试的主要挑战之一,可以称为超分辨率(SR)热成像。
尽管热像SR技术在热像无损检测中的各个领域都有应用,例如用于生物材料的测试2,目前仍主要局限于所利用红外摄像机自身的空间分辨率提高3.,4.现有的缺陷分辨率增强SR方法目前只能用于一维缺陷的重建5,6或者仅仅通过叠加多个一维结构照明来近似地提高全二维分辨率7.最近,我们已经能够将该方法扩展到真正的全二维重建,利用单个激光光热热源的顺序扫描8.虽然该技术已经产生了相当好的结果,但由此产生的测量时间非常高。
在这项工作中,我们展示了如何通过使用激光耦合数字光处理(DLP)投影仪应用完全二维结构的照明模式来克服这个问题。到目前为止,DLP投影仪在热成像测试中的使用主要局限于不同应用领域的内联形状识别9,10.它们只是以一种非常有限的形式应用于热波探测的激励源11,12.由于基于激光耦合dlp的投影仪的输出功率最近的进步,主要是由增材制造行业推动的,现在它们是可行的,可以应用于OuTs光热加热的照明源。
动机:光热超分辨率重建
前表面温度\ (T_ \识别文本{量}(x, y, z = 0, t) \)OuT经历脉冲外部光热加热的脉冲长度\ (t_{脉冲}\ \文本识别)可以用格林函数样形式进行建模,如下所示:
在这里,\ (T_0 (x, y) \)类似于OuT的初始温度\ (t ={0} \{年代}\),\(\Phi _\text {PSF}(x,y,t)\)热点扩散函数(PSF)是OuT和的特征吗(x, y) \ \ ()是热源的分布。PSF构成了对OuT前表面的空间狄拉克样加热的响应,并且可以对已知材料性质(热扩散率)的热薄板的特殊情况进行分析定义\α(\ \)、密度ρ\ (\ \),比热容\ (c_p \))和几何形状(板厚\ (L \)),详情如下13:
\ (\ varvec{\帽子{Q}} \)定义外部光热施加热流的振幅,文本\ (n_ \{暗}\)热流的维数(文本\ (n_ \{暗}= 3 \)对于点状加热),\ \(左(\ {x}, {y} \ \酒吧右)\)是坐标质心,\ (R \)热波在板边界处的反射系数(通常用于金属)\ (R \大约1 \)),\ \ (I_t (t))外部加热的时间结构(通常为长度的矩形函数)\ (t_{脉冲}\ \文本识别)),\ (* _t \)表示时间上的卷积运算。热源分布(x, y) \ \ ()另一方面由两部分组成,即外部热源的分布{ext} \(现代\文本(x, y) \),这是一个dirac脉冲分布,编码外部加热作用于OuT和内部热源分布部分的位置{int} \ \(现代\文本),封装了内部缺陷/非均匀性结构。将两部分相加,并与外部加热的空间结构进行卷积\ (I_ {x, y} (x, y) \)导致热源分布(x, y) \ \ ()如下:
在哪里\ (* _ {x, y} \)表示两个平面空间维度上的卷积运算。在这种情况下,内部热源分布可以想象为“表观”热源的分布,这可以从现象上描述为这样一个事实,即从上面加热的表面以下的缺陷/不均匀性将阻碍局部热流,从而导致前表面温度演变中的可见热点,这从定性上看起来类似于嵌入在OuT中的主动热源8.内部热源的分布与外部热源的分布相似{ext} \ \(现代\文本)单位狄拉克脉冲分布被相应的对比因子衰减\(\zeta \in [0,1] \)个别缺陷/不均匀性,其确切值取决于缺陷的渗出度、对比度和深度:
光热SR重建的最终目标是求解方程(1)表示内热源分布{int} \ \(现代\文本)从而获得OuT上检测的感兴趣区域(ROI)的缺陷图。然后,这种重建技术通过执行多次测量来实现SR功能\(m\in \{1,\dots, n_m \}\)不同的外部加热{ext} \ \(现代\文本):
与\ (T_ \识别文本{diff} ^ m (x, y, t) ={量}^ T_ \识别文本m (x, y, t) -T_0 ^ m (x, y) \).这大大增加了自每次测量以来关于内部缺陷结构的可用信息含量\ \(米)包含OuT及其缺陷/不均匀性对各种不同加热条件和局部热流方向的响应。
然而,为了仍然能够独立于外部加热提取内部缺陷/不均匀结构的影响,需要满足以下条件:
这一非常重要的条件确保了平均而言,ROI的每个部分都被均匀加热,任何偏离平均值的偏差都可以归因于内部缺陷/不均匀性造成的热流阻抗。自方程(1)是一个严重不适定逆问题,求解为{int} \ \(现代\文本)不是完全可能的。近似解{rec} \ \(现代\文本)对于这个重构问题,可以通过求解下面利用的最小化问题来确定\(\魔法_ {2,1}\)而且\(\魔法_2 \)-正则化,其中包含关于缺陷/不均匀性结构的先验信息,以限制解空间:
在哪里\(\左\| a_\text {rec}\右\| _{2,1}\)是\(\魔法_ {2,1}\)-norm定义为:
正则系数\ \(λ_ {2,1}\)而且\(λ_ {2}\ \)治理的整体强度的正则化和需要由用户输入。目前,对于每个单独的测试场景,这些因素仍然必须根据经验来确定,因为没有已知的自动确定的确定算法。然而,最近正在进行的工作是使用机器学习技术来解决这个问题14,15.
式中的严重不适定反演问题(7)可采用迭代变换方向乘法器(ADMM)算法进行数值求解16在频域,正如在以前的工作中提出的(有关反演过程的详细解释,请参阅8).
二维结构模式的投影
目前建立的大多数光热SR重建的实验实现都是基于对ROI的顺序加热,通过在预定义的网格模式中投影单个点或线作为外部光热加热7,8.这种结构加热可以很容易地使用基本的工具,但有一个很大的缺点,为了覆盖一个大的ROI,很多独立的测量是必要的。此外,存在使用干涉图案(例如激光散斑图案)作为二维结构照明图案的可能性,但这些主要适用于材料/部件,这些材料/部件可以充分加热,使用该技术提供的相当低的光学辐照度17.对于简化的一维光热SR重建技术,这个问题已经通过组合几条激光线作为热源来解决,以便在每次单独测量时覆盖更大的ROI分段6.在这项工作中,我们扩展了将几个单一激励组合成一个完全二维结构照明的想法,以实现必要的测量时间的显著改进。
使用单个激光光斑激励的主要缺点在于,每个单独的照明只产生关于投影激光光斑附近的OuT的信息。如果现在多个同时的激光光斑激发被组合成一个单一的照明,一个显著减少照明的数量所必需的\ (n_m \)是可以完成的。
如果组合的点被排列在一个均匀间隔的矩形网格中,网格间距与光斑直径相似,那么所产生的图案可以被认为是一个像素化的二进制图案,其中每个网格位置(像素)要么光热活跃(打开),要么不活跃(关闭)如图所示。1.每一种模式都可以通过它们的像素大小进一步描述文本\ (d_ \{焦油}\)以及填充系数\(\beta \in [0,1]\)在哪里\(β= \ \压裂{n_ \文本{焦油,}}{n_ \文本{焦油,总}}\),即光热活性像素的比值文本\ (n_ \{焦油,}\)以及图案中的像素总数{像素}\ \ (n_ \文本).
而对于顺序激光扫描,则需要测量一定的测量量来扫描具有面积的ROI{ROI} \ \(现代\文本)正比于
![](https://media.springernature.com/lw277/springer-static/image/art%3A10.1038%2Fs41598-023-30494-2/MediaObjects/41598_2023_30494_Figa_HTML.png)
,在极限情况下,通过投影二进制像素模式可以将其简化为以下要求:
只要模式覆盖整个ROI,这就成立。即使一个很大的β\ (\ \)将导致较低的测量次数,但仍必须考虑光热SR重建方法要实现超分辨率能力,需要在OuT内进行三维热流。这只适用于足够小的β\ (\ \)而且文本\ (d_ \{焦油}\)与需要解决的预期缺陷相比18.
照明图案设计
为了创建投影模式,在这项工作中使用了随机抽样方法。这是压缩感知领域中一个众所周知的策略,有助于从所有可能的模式的总体集中找到一个合适的模式子集,一般来说,这个集合太大了,无法测试所有的组合。然而,光热SR重建所使用的模式仍然需要满足式(6).对于较大的随机模式,这个约束将渐近地满足\ (n_ {m} \ gg \ \ lceil留下\压裂{1}{β\}\ \ rceil \).然而,对于较小的\ (n_m \)在构造模式时必须直接考虑同质性约束。因此,在这项工作中,我们提出了一种伪随机模式生成策略,如算法1所示,这在很大程度上受到了计算机图形学中著名的Bresenham算法的启发19.在这个算法中,所有\ (n_m \)模式按顺序创建。对于每个新创建的图案,只有那些像素被考虑激活,目前激活的次数低于给定填充因子的预期β\ (\ \).如果这个像素子集不够大,不足以达到所需的填充因子,那么剩余的像素将随机激活,直到达到所需的填充因子。
![图b](https://media.springernature.com/lw685/springer-static/image/art%3A10.1038%2Fs41598-023-30494-2/MediaObjects/41598_2023_30494_Figb_HTML.png)
由于组合任意排列的多个激光光斑在实践中不太可行,因此可以使用基于激光耦合数字微镜器件(DMD)的DLP投影仪代替。这些投影仪的特点是可以单独打开和关闭输出图像中的任意单个像素,这与组合大量单个激光点具有相同的效果。现代的DLP投影仪大约有10个6单个可寻址像素,这对于作为热成像材料测试热源的大多数用例来说已经足够了。然而,它们最大的缺点是,目前市面上可买到的DLP投影仪只有一个相当低的光输出功率< 100 W的完全激活(\ \(β= 1 \))图像,产生典型的辐照度\(5 \ \文本{-}\ {25}\ \ mathrm {Wcm ^ {2}} \).此外,该输出功率线性下降与投影图像的填充因子,这额外设置的下限β\ (\ \).
由于现代DLP投影仪的像素数相当高,每个像素只传达了总光输出功率的一小部分。为了解决这个问题,可以将相邻的像素分组为更大的像素集群,然后一致地关闭和打开这些像素集群。对于一组\({n_\text {clustered}\times n_\text {clustered}}\)像素,一个新的边长像素簇文本\ ({d_ \ {spix} = n_ \文本{集群}\ cdot d_ \文本{焦油}}\)出现时可用像素的总数减少到\ \(压裂{n_ \文本{焦油,总}}{n_ \文本{集群}^ 2}\),这反过来又将每像素的功率增加到\({\帽子{Q} _{总}\ cdot \ \文本压裂{n_{集群}^ 2 \ \文本,}{n_ \文本{焦油,总}}}\).为了进一步说明像素模式的参数和像素分组到集群的概述给出了在图中。2.
数值模拟:正解
光热SR重建方法背后的数学模型是基于方程(1),其中对有噪声的测量数据进行反演\ (T_ \识别文本{量}(x, y, t) \)为了确定内部热源的分布{int} \(现代\文本(x, y) \)(缺陷图)只可能使用优化算法。由于问题的病态性和广阔的解空间,任何解都只是一个近似,其质量将受到正则化的正确选择的影响,如式(7).然而,对于数值上探索该方法的能力,得到所述逆问题的正解将是非常有益的。在这个正向解决方案的帮助下,就有可能为已知内部缺陷分布的已知OuT生成综合测量数据(x, y) \ \ (D).虽然使用有限元模拟可以获得高精度的数据,但这种方法计算也非常昂贵,而且具有封闭形式的近似解是有利的。
为了找到这样一个近似的正解,热源分布(x, y) \ \ ()以及它的各个部分{ext} \(现代\文本(x, y) \)而且{int} \(现代\文本(x, y) \)必须正确建模。对于外部热源的分布{ext} \(现代\文本(x, y) \),这已经可以通过输入外部激励模式简单地实现文本\(现代\{模式}\).对于内部热源的分布{int} \(现代\文本(x, y) \),更复杂的建模是必要的。由于内部缺陷不是光热SR方法的现象学«表观»热源解释中所描述的主动热源,内部缺陷响应与外部加热密切耦合。这表现在一个事实上,即内部热源的局部强度分布{int} \(现代\文本(x, y) \)是否依赖于外部激励和缺陷分布之间的相对位置(x, y) \ \ (D)横向(\ (x, y \))和横向(\ (z \))方向。横向定位效应可以通过缺陷分布的元素乘入正向解中(x, y) \ \ (D)与外界加热产生的温度场\(文本\φ_ \ {PSF} (x, y) * _ {x, y}现代文本\{模式}(x, y) \).这是必要的,因为内部缺陷可以阻碍热流,因为它存在于缺陷位置(没有加热)\ \ rightarrow \ ()没有信号)。
缺陷的深度信息可以通过引入数值缩放因子添加到模型中\({\zeta \in [0,1]}\),即根据缺陷深度和弥散度的对比衰减缺陷响应。由于这个缺陷对比因子极大地简化了热传导的相关物理,因此很难估计,最好的确定方法是将正向解拟合到测试测量产生的经验数据中,样品缺陷位于所需深度。
总的来说,这导致了以下方程,可用于生成合成测量数据\(T^m_\text {meas, sim}(x,y, T)\)对于给定的一组照明模式\ (^ m_文本{模式}\ \),一个已知的缺陷分布(x, y) \ \ (D),一个已知的PSF\(\Phi _\text {PSF}(x,y,t)\)和一个合适的值\ \泽塔(\)如下:
在哪里\ \ odot \ ()表示元素(Hadamard)的乘法和\(\mathcal {N}_\text {noise}(x,y)\)类似于一个额外的高斯测量噪声项。
对于如图所示的OuT的示例性测试测量。6式的表现(10)可在图中看到。3..在这里,模拟测量数据的照明模式与\({\β= 0.5}\)而且文本\ ({d_ \ {spix} = {0.2} \ \ mathrm {mm}} \)与使用相同照明模式的相同ROI上的测量数据进行比较。缺陷对比被确定为最适合的\({\ζ= 0.494}\)对于ROI内给定的缺陷尺寸和深度。即使正解在式(10)只代表一个近似,该模型已经具有很高的决定系数\ ({0.9 R ^ 2 >} \)适用于广泛的测试测量场景20..
的正解质量和估计\ \泽塔(\):综合测量数据\ (T_ {diff, sim} \ \文本识别)(蓝线)产生的ROI具有2毫米宽的缺陷0.5毫米以下的表面(见图。6)和照明图案\({\β= 0.5}\)而且文本\ ({d_ \ {spix} = {0.2} \ \ mathrm {mm}} \)是否显示在测量数据旁边\ (T_ {diff,量}\ \文本识别)(黑点)在相同的ROI上使用相同的照明模式。缺陷对比因子\({\ζ= 0.494}\)被确定为最适合。实测数据与合成数据吻合较好(\ ({R ^ 2 = 0.902} \)).
正如前一节所讨论的,光热SR重建的基础模型假设在OuT中出现一个完全三维的热流。设置选择的上限β\ (\ \)而且{spix} \ \ (d_ \文本)(cf。21,第69页,非常保守地设定了完全一维热流的极限\(d_\text {spix} > 20 \cdot t_\text {diff}\)).对于选择{spix} \ \ (d_ \文本)这种依赖性在图中进行了研究。4.在这里,决定正解的系数一共为\ (n_m = 20 \)不同的测量方法用于不同的照明模式\({\β= 0.5}\)超过ROI,如图所示。65个不同的值{spix} \ \ (d_ \文本)显示。在无花果。4可以清楚地看到,对于上面的值文本\ ({d_ \ {spix} = {0.2} \ \ mathrm {mm}} \)拟合质量恶化相当快,不同照明模式之间的偏差增加。填充因子也有类似的情况β\ (\ \).
三维热流的稀疏性约束:像素簇大小的影响{spix} \ \ (d_ \文本)用决定系数来衡量所提出的正演模型的质量\ (R_文本{spix}} {d_ \ \) ^ 2.为每一个{spix} \ \ (d_ \文本)一共有\ (n_m = 20 \)不同的模式\ \(β= 0.5 \)已在实验上进行了预估,所得温度场已与公式(10).所呈现的数据被标准化到最大程度\({\马克斯\左(R_ {d_ \文本{spix}} ^ 2 \右)= 0.723}\)值,该值是在整个ROI上计算的,包括所有边缘效应和覆盖误差。所示的错误条表示\(σ1下午\ \ \)标准差。
重建质量和自动正则化参数估计
借助方程(10)现在可以生成用于数值研究光热SR重建性能的合成测量数据。然而,为了实现这一目标,有必要对不同光热SR重建结果进行自动化生成和评估。由于重构了内部热源的分布{int} \ \(现代\文本)由于本质上是稀疏的,并且缺陷分布在现实的out中,所有基于信噪比(SNR)的质量度量都不适用于评估重建质量。虽然已经有相当复杂的质量测量方法来确定不同分布/图像之间的相似性,但对小扰动(例如结构相似性(SSIM))也是无差别的。22),没有明确的答案来衡量哪种质量是最好的,因为它们的表现高度依赖于给定的问题。因此,在这项工作中,我们为重建结果提出以下质量度量(仅为比较度量){rec} \(现代\文本(x, y) \)一个已知的缺陷分布(x, y) \ \ (D):
在哪里\({\{\埃塔^ {\ '}(x, y) \ \ mathbb {R}: 0 \ le \埃塔^ {\ '}(x, y) \勒1 \ \原则,x, y \}} \)规范化的位置依赖惩罚掩码吗\η(x, y) (\ \)定义为:
这一措施左(现代\ \ (C \文本{rec} (x, y) \) \ [\ [0, \ infty)将重建的像素级比较与由归一化均方误差(NMSE)与位置相关项执行的真实缺陷分布相结合\(\eta ^{\prime}(x,y)\),它会惩罚离真正缺陷信号更远的假阳性信号。该因子对距离真实位置远于空间宽度(\(\gtrapprox 3\,\sigma _\text {PSF}\))。在这种情况下,较小的值\(C\left(a_\text {rec}(x,y)\right)\)表明重建效果较好。NMSE由下式给出:
借助这种质量测量,现在有可能定义一个最小化问题,最大限度地提高内部热源分布重建的质量{rec} \(现代\文本(x, y) \)通过选择最优的正则化参数集\(\Lambda _\text {best}\)作为Eq. (7),详情如下:
式中所述的最小化问题(14)是严重不适定的,并且计算非常昂贵,因为对于的每一个确定\(C\left(a_\text {rec}(x,y)\right)\)寻找合适的候选人\(\Lambda _\text {best}\)类似不适定最小化问题如式(7)的问题必须解决。因此,应用合适的启发式搜索算法,能够有效地在广阔的解空间中搜索,是在可行的时间框架内找到(最好的最优)解的关键。虽然在过去,这一过程大多是在经验的基础上手动进行的,但在这项工作中,我们建议使用差分进化算法23找到正则化参数的(最优)集\(\Lambda _\text {best}\)为了自动化和加速这一过程显著。虽然这种搜索方法非常健壮,甚至适用于不可微问题,因为它只是启发式地对解空间进行采样,但不能保证能找到最优解。虽然对于足够数量的代理(启发式搜索的种群大小),通过确定远离全局的局部最小值可能会导致重建质量不足。\(n_\text {agents}\gg 10\)这还没有成为一个问题。
实验装置
为了对综合测量数据进行验证\ (T_{量,sim} \ \文本识别),可由公式(10)如图所示。3.为了评估光热SR重建的整体能力,已经在实验室进行了几次测量。这是一台基于德州仪器DLP650LNIR DLP芯片的激光耦合DMD投影仪\({n_\text {pix}=1280\times 800}\)(并且WXGA16 \ mathbin \ ({10} {:} \))像素大小为\ ({d_ \文本{焦油,项目}= {10.8}\ \ mathrm {\ upmu m}} \)已被用于为每个测量项目照明模式。这个投影仪是耦合到一个二极管激光器,它提供了最大必要的光输入功率\({\帽子{Q} _ \文本{光学,}= {270}\ \ mathrm {W}} \)到投影仪的波长\(\λ= {940}\ \ mathrm {nm} \)从而产生光输出功率的\({\帽子{Q} _ \文本{光学}= {86}\ \ mathrm {W}} \)在\({\β= 1}\).与所附的目标,其特点是一个\ \ \(1.85倍)放大倍数,单个像素的大小文本\ ({d_ \{焦油}= {20}\ \ mathrm {mm}} \)以及在外部的辐照度({21} \ \ \ mathrm {Wcm} ^ {2} \)已经实现了。使用基于DLP的光学系统达到如此高的辐照度是当前DLP技术所能达到的上限,并且需要在设备内部进行大量的冷却工作,以节省设备的操作。然而,对于测试金属材料的缺陷,辐照度在~ 10 W厘米的量级−2是充分加热所必需的。
为了增加每个像素的传输功率,在这项工作的范围内,每20个像素都被聚在一起。这将导致总聚类像素大小为文本\ (d_ \ {spix} = {0.4} \ \ mathrm {mm} \),该值处于自动确定最佳正则化参数的合理像素大小范围的边缘(如图2所示)。4)在正向解的帮助下。虽然在过去,更小的像素簇尺寸也显示出了良好的结果,但故意选择如此接近自动正则化参数确定极限的簇尺寸已被执行,以进一步暗示该方法对非理想实验条件的鲁棒性。
得到的实验装置如图所示。5.在这个特殊的设置中,一个二向色镜被用来分离照明和相机光束路径。这面镜子对激光波长具有很强的反射性,而在红外波长范围内是透明的。表中还给出了所有实验参数的概述1.
使用冷却中波红外(MWIR)摄像机以空间分辨率记录了OuT的前表面温度\({\Delta x, \Delta y = {0.1}\,\math {mm}}\)帧速率为文本f \ \({{凸轮}= {160}\ \ mathrm{赫兹}}\)NETD < 50 mK.初始温度\ (T_0 (x, y) \)在照明被触发之前,通过直接平均50帧来确定每个单独的测量。相机的启动触发信号已由光电二极管提供,该光电二极管感应用于光热加热OuT的激光脉冲的启动。
本文研究的方形板状OuT和相应的ROI如图所示。6.它的边长为58.5毫米,厚度为\ (L = {4.5} \ {mm} \)并由316L不锈钢制成(\ (k ={15} \ \文本,文本\ W \ \文字m ^{1} \ \文字k ^ {1} \),\({\ρ= {7950}\ \ mathrm {kgm ^ {3}}} \),\ ({c_p = {502} \ \ mathrm {Jkg ^ K ^ {1} {1}}} \),\({\α= {3.76}\ \ mathrm {mm ^ {2} s ^ {1}}} \))24,25并以侧面长度的立方内部缺陷为特征文本\ (d_ \{缺陷}= {2}\ \ mathrm {mm} \)从0.5毫米的深度开始填充制造过程中残留的未熔合金属粉末。所选ROI的面积为24.8 mm × 15.5 mm,包含三个分离距离分别为0.5、1和2 mm的缺陷对。这种缺陷间距的差异允许评估光热SR重建的分辨率能力,方法是确定哪个分离距离可以将单个缺陷仍然识别为单独的缺陷。此外,三个缺陷对中的两个相对于照明模式像素网格和MWIR摄像机的像素网格面向45°。这进一步对算法的能力进行了基准测试,并强烈暗示了算法与缺陷定向的独立性。
为了在测量中不引入任何历史,所有单独的照明都使用激光脉冲长度为\ ({t_ \文本识别{脉冲}= {0.5}\ \ mathrm{年代}}\)并且在随后的照明之间有25秒的保守延迟,使OuT冷却到环境温度。因此,测量一个ROI用\ ({n_m = 20} \)图案将在8.3毫米左右完成。相比之下,与基于光热SR的连续点照明相比,这意味着测量时间的大幅减少,其中测量具有相似延迟的相同大小的ROI大约需要2小时才能完成。优化测量之间的延迟,甚至通过减去从OuT的温度演化的适当建模中获得的总温度随时间的增加,从测量中删除任何历史记录,仍然有可能进一步加快测量过程。
结果
为突出\ ({n_m = 20} \)模式\({\β= 0.5}\)以及后续光热SR重建采用自动正则化参数确定,重建结果如图所示。7已经实现了。为了确定\({\Lambda _{best}=\left(49,34.4 \right)}\)在应用的差分进化算法范围内,549个重构问题如式(7)已迭代求解(\(文本{iter} = 100} {n_ \ \)每个)都不需要任何额外的用户输入,这在现代计算机硬件上需要大约1.5小时才能完成。
从重构结果可以看出,所有缺陷都被检测到,没有出现假阳性缺陷信号。此外,所有的缺陷都是分开的,而只有间距最小的缺陷对在这方面显示出改进的空间。使用更小的像素簇大小和增加投影的模式数量有望进一步改善更小间距的重建18.缺陷形状的整体重建质量也相当不错,只有最右边的缺陷在ROI边缘附近没有完全重建。这很可能是由于它非常接近ROI的边缘,因此与所有其他缺陷相比,这部分缺陷的信息缺失。即使所有的缺陷对都由相同的立方缺陷组成,当相互比较时,它们中的每一个的重建都显示出一些变化。虽然这不是理想的,但它也可以追溯到这样一个事实,即齐次重建的必要条件(参见Eq. (6)在接近ROI边缘的地方越来越多地违反,并且也有望随着执行的测量次数的增加而改善。
为了评估重建的质量,如图所示。7,与其他几种已建立的使用ROI的单一均匀照明的热成像缺陷检测技术的结果进行了比较。由于缺乏一种适合的普遍适用的重建质量衡量标准,本比较仅以定性的方式进行,结果如图所示。8.由于与(大多数)其他方法相比,光热SR重建结果是稀疏的缺陷图,这些方法给出连续的数据,缺陷重建质量的定量比较是一项高度非平凡的任务。图中进一步强调了这一事实。9其中,提出了不同方法的结果的截面视图。
不同缺陷检测方法的定性比较:左侧4个图为均匀光照下常规检测方法得到的结果。左上角的图表显示了温度的升高\ (T_ {diff} \ \文本识别)获得了在\ (t_ \ {eval} = t_ \识别文本识别{脉冲}= {0.5}\ \ mathrm{年代}\).右上方的图显示了一个差热图,其中从每个像素中减去ROI的原始分区的预期温度增加。下面两个图显示了用于脉冲相位热成像(PPT)评估的振幅和相位图像\ (T_ {diff} \ \文本识别)对于频率为f \ \(文本{PPT} = {0.516} \ \ mathrm{赫兹}\).右侧为图中光热SR重建结果。7被描述。真正的缺陷位置由白色方框表示。
在此对比中,重建结果如图所示。7与常规方法并排显示。这些方法包括差热图\ (T_ {diff} \ \文本识别)为\ (t_ \ {eval} = t_ \识别文本识别{脉冲}= {0.5}\ \ mathrm{年代}\),缺陷对比度最大。此外,\ (T_ {diff} \ \文本识别)此外,还显示了已减去ROI无缺陷区域的期望温度。此外,对整个图像序列和相位进行了脉冲相位热成像(PPT)(\phi _\text {fft}\)和振幅{fft} \ \(现代\文本)图像的评估频率为\(f_\text {PPT}= {0.516}\,\math {Hz}\,\)26.为了进行公平的比较,ROI的均匀照明已在与图中重建的测量结果相同的设置中进行。7使用完全激活的映像(\ \(β= 1 \))投影仪的最大输出功率\({\帽子{Q} _ \文本{光学}= {86}\ \ mathrm {W}} \).
在缺陷对上的不同缺陷检测方法的结果的比较的截面视图文本\ ({y_ \ {ROI} = {2.81} \ \ mathrm {mm}} \).这里,(稀疏)光热SR重建结果如图所示。7与差热图和PPT评价振幅的结果结合显示。
结论
在图中所示的比较中。8而且9光热SR重建技术的附加效益可见一斑。不仅所有的缺陷对人来说都是清晰可见的,而且信号的本质是稀疏缺陷模式,可以清楚地区分无缺陷区域和缺陷区域,从而允许对ROI进行清晰的标记,即使在该主题上受过很少训练的人也可以解释它,并且很容易用于机器的进一步自动数据处理。当将所获得的结果与其他利用空间结构照明(如光热相干层析成像)的复杂热像学内部缺陷分辨方法进行比较时,可以清楚地观察到所提出的实验光热SR重建方法的优势27,28或者热波衍射层析成像29.此外,与目前应用于光热SR重建的顺序点照明策略相比,完全二维结构的随机像素模式的应用已被证明可大幅减少测量时间6,8.然而,与常规方法相比,增加的实验复杂性和测量时间仍然对大规模生产的应用提出了挑战,但对于医学中的高可靠性应用或航空航天产品的测试,该方法增加的质量和分辨率能力明显超过了增加的测量时间。目前,在使用这种测试方法时,缺乏一种自动确定合适的正则化参数集的方法仍然是最大的缺点。虽然在这项工作中,我们已经展示了一种通过对缺陷结构的先验知识来实现这种自动确定的方法,但这种反演方法仍然不太适合真实的单词测试场景,更多地是针对该主题的科学研究。然而,目前正在进行的工作是使用机器学习技术来解决这个问题14,15.在这项工作中引入一个正向解决方案也有助于更好地调整重建参数,因为现在在技术上是可行的,可以生成不同的合成数据集,以进一步探索该方法的能力。此外,在本工作的实验部分中应用的ddp投影仪的最大光输出功率仍然缺乏检测高导热材料(本例中为不锈钢)的缺陷,尽管该投影仪中的dmd芯片目前在可实现的输出功率方面是顶级型号。在这里,dlp投影仪技术的进一步改进仍然是必要的。
数据可用性
支持本研究结果的数据可根据合理要求从通讯作者处获得。
参考文献
Burgholzer, P., Mayr, G., Thummerer, G. & Haltmeier, M.热扩散使光热图像随着深度的增加而模糊。j:。理论物理。131, 211101年。https://doi.org/10.1063/5.0093315(2022)。
Bouzin, M。等.亚衍射分辨率光激活光栅扫描热成像。Commun Nat。10,https://doi.org/10.1038/s41467-019-13447-0(2019)。
雷蒙多,J.,梅迪纳,sl - c。,Prieto, J. F. & de Mata, J. A. Super resolution infrared thermal imaging using pansharpening algorithms: Quantitative assessment and application to UAV thermal imaging.传感器21, 1265年。https://doi.org/10.3390/s21041265(2021)。
Sakagami, T., Matsumoto, T., Kubo, S. & Sato, D.超分辨率红外热成像无损检测。伯利,D. D.和丁威迪,R. B.(编)Thermosense章,https://doi.org/10.1117/12.821167有,2009)。
艾哈迈迪,S。et al。激光激发超分辨热成像技术用于内部缺陷的无损检测。科学。代表。10,https://doi.org/10.1038/s41598-020-77979-y(2020)。
艾哈迈迪,S。et al。光热超分辨率结合虚拟波图像处理对加成钢内部缺陷的多维重建。IEEE反式。印第安纳州,通知。17, 7368 - 7378。https://doi.org/10.1109/tii.2021.3054411(2021)。
Burgholzer, P., Berer, T., Gruber, J. & Mayr, G.使用盲结构照明的超分辨率热成像。达成。理论物理。列托人。111, 031908年。https://doi.org/10.1063/1.4995410(2017)。
Lecompagnon, J., Ahmadi, S., Hirsch, P., Rupprecht, C. & Ziegler, M.使用连续激光加热的二维光热超分辨率重建内部缺陷的热成像检测。j:。理论物理。131, 10 - 18。https://doi.org/10.1063/5.0088102(2022)。
安永,张舒。高分辨率,实时同步三维表面几何和温度测量。选择快递。24, 14552年。https://doi.org/10.1364/oe.24.014552(2016)。
Grubisic, I., Gjenero, L., Lipic, T., Sovic, I. & Skala, T.医疗3D热成像系统。Periodicum Biologorum113, 401-406(2011)。
Pribe, J. D., Thandu, S. C., Yin, Z. & Kinzel, E. C.朝向DMD照明时空调制热成像。在Zalameda, J. N. & Bison, P.(编)有程序,https://doi.org/10.1117/12.2223859有,2016)。
Thiel, E. & Ziegler, M.亚表面缺陷定位的结构加热使用激光投射光热热成像。j .视觉。经验值。https://doi.org/10.3791/55733(2017)。
科尔,K.,贝克,J.,哈吉-谢赫,A. &利特库希,B.。利用格林函数的热传导(CRC出版社,2010)。
Ahmadi, S., Kästner, L., Hauffen, J. C., Jung, P. & Ziegler, M.光热- sr - net:一种用于光热超分辨率成像的定制深度折叠神经网络。IEEE反式。Instrum。的措施。71, 1 - 9。https://doi.org/10.1109/tim.2022.3154803(2022)。
豪芬,j.c.。et al。学习了光热超分辨率成像的块迭代收缩阈值算法。传感器22, 5533年。https://doi.org/10.3390/s22155533(2022)。
通过乘法器的交替方向方法进行分布式优化和统计学习。发现。趋势马赫。学习。3., 1 - 122。https://doi.org/10.1561/2200000016(2010)。
Burgholzer, P., Haltmeier, M., Berer, T., Leiss-Holzinger, E. & Murray, T. W.。利用关节稀疏性的超分辨率光声显微镜。https://doi.org/10.1117/12.2286281(美国光学学会)(2017)。
Lecompagnon, J., Hirsch, P., Rupprecht, C. & Ziegler, M.使用二维伪随机照明和光热超分辨率重建的热成像测试。Mendioroz, A. & Avdelidis, N. P.(编)热传感器:热红外应用XLIV,卷12109,10-18,https://doi.org/10.1117/12.2618562.国际光学与光子学学会(SPIE, 2022)。
数字绘图仪的计算机控制算法。IBM系统。J。425 - 30,https://doi.org/10.1147/sj.41.0025(1965)。
Lecompagnon, J., Ahmadi, S., Hirsch, P., Rupprecht, C. & Ziegler, M.使用2d结构照明模式的光热超分辨率重建研究。在木俣,M.,肖,J. A.和瓦伦塔,C. R.(编)未来传感技术2021,卷11914,124-131,https://doi.org/10.1117/12.2603838.国际光学与光子学学会(SPIE, 2021)。
阿尔蒙德,D. P. &帕特尔,P. M。光热科学与技术“,.查普曼和霍尔系列会计与金融(施普林格,1996)。
王志平,王志平,王志平。基于多尺度结构相似度的图像质量评价。在第37届Asilomar信号、系统和计算机会议论文集,https://doi.org/10.1109/acssc.2003.1292216(IEEE 2003)。
Storn, R. & Price, K.差分进化-连续空间上全局优化的一个简单而有效的启发式。j .水珠。Optim。11, 341 - 359。https://doi.org/10.1023/a:1008202821328(1997)。
ASM国际。医疗器械用材料和涂层:心血管.医疗设备的材料和工艺135 (ASM国际,材料园,俄亥俄州,2009年)。
Erpro sas)。材料数据表不锈钢316L / 1.4404 / A276(2019)。
Ibarra-Castanedo, C. & Maldague, X.综述了脉冲相热成像。红外热仪。J。147 - 70。https://doi.org/10.3166/qirt.1.47-70(2004)。
凯普莱维尔,S. &曼德利斯,A.截断相关光热相干层析成像用于深地下分析。Nat,光子。8, 635 - 642。https://doi.org/10.1038/nphoton.2014.111(2014)。
Tavakolian, P., Sivagurunathan, K. & Mandelis, A.增强截断相关光热相干层析成像在深亚表面缺陷成像和三维重建中的应用。j:。理论物理。122, 023103年。https://doi.org/10.1063/1.4992807(2017)。
Nicolaides, L. & Mandelis, A.热波衍射层析显微镜的实验和图像反演优化方面。选择快递。7, 519,https://doi.org/10.1364/oe.7.000519(2000)。
资金
由Projekt DEAL启动和组织的开放获取资金。
作者信息
作者及隶属关系
贡献
J.L.和M.Z.提出了二维光热超分辨率的概念,J.L.设计了样品,开发了方法和所有使用的特殊软件。P.D.H.和J.L.在实验室里进行实验,J.L.在M.Z, C.R.和M.Z的支持下写了手稿,并得到了关键的科学监督。所有作者都审阅了手稿。
相应的作者
道德声明
相互竞争的利益
作者声明没有利益竞争。
额外的信息
出版商的注意
施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。
权利和权限
开放获取本文遵循知识共享署名4.0国际许可协议,允许以任何媒介或格式使用、分享、改编、分发和复制,只要您对原作者和来源给予适当的署名,提供知识共享许可协议的链接,并注明是否有更改。本文中的图像或其他第三方材料包含在文章的创作共用许可协议中,除非在材料的信用额度中另有说明。如果材料未包含在文章的创作共用许可协议中,并且您的预期使用不被法定法规所允许或超出了允许的使用范围,您将需要直接获得版权所有者的许可。如欲查看本牌照的副本,请浏览http://creativecommons.org/licenses/by/4.0/.
关于本文
引用本文
勒孔帕农,J.,赫希,p.d.,吕普雷希特,C.。et al。基于像素模式的激光激发和光热超分辨率重建的内部缺陷无损热像检测。Sci代表13, 3416(2023)。https://doi.org/10.1038/s41598-023-30494-2
收到了:
接受:
发表:
DOI:https://doi.org/10.1038/s41598-023-30494-2