超分辨尺度上的成像质量评估方法

      超分辨(Super resolution, SR)荧光显微技术利用荧光探针或结合物理的受激辐射现象,突破分辨率200~300 nm的衍射极限,已成为人类进一步探索微观世界不可或缺的工具。但样本化学环境、光学设置条件、荧光团的物理特性等因素会在重构中对图像产生影响,降低超分辨图像质量。故对超分辨图像进行可靠且无参考的质量估计,有效量化误差和不确定性,对把握结果有效信息具有重大意义。但在超分辨尺度上,现有方法仍存在较多问题。Ricardo Henriques团队于2018年提出的SQUIRREL(Super-resolution quantitative image rating and reporting of error locations)框架,其中包含分辨率尺度误差图(Resolution-scaled error map, RSM)方法,需要以高信噪比宽视场图像作为参考,且无法识别复杂误差。另一方面,傅里叶环相关(Fourier ring correlation, FRC)可以评估全局有效分辨率,确定图像的可靠最高截止频率,从而反映真实的不确定度,但是,为了解决局部分辨率在视场中发生巨大变化这一难题,该团队进一步通过对区域分块,进行逐块FRC计算,可实现图像不确定度局部分布的评定,但仍过于粗糙,无法有效关联成像内容。因此,领域内迫切需要一种通用稳定无参考的超分辨图像质量评价工具,来精密、准确地量化超分辨显微技术的重建误差。

 

导读

        哈尔滨工业大学赵唯淞/李浩宇团队,北京大学陈良怡团队及南开大学潘雷霆团队在Light: Science & Applications上在线发表论文Quantitatively mapping local quality of super-resolution microscopy by rolling Fourier ring correlation。他们提出可以利用滚动傅里叶环相关(rolling Fourier ring correlation, rFRC)方法来估计超分辨尺度下图像的像素级误差,采取改进的RSM方法分析较大的结构失真等错误,并将二者结合构成一种完善的超分辨显微图像重建质量评估方案(Pixel-level Analysis of Error Locations, PANEL)。该技术能够通用、无参考地生成像素级误差定量图,为生物分析精确定位可靠性较低的区域,判定分辨率最高可提升一个数量级,在超分辨图像质量评估上较其他方法展现出其精准稳定的优势。此外,团队提供了rFRC完备的MATLAB和Python开源代码,以及开箱即用的Fiji/ImageJ插件,使得其能够与光学超分辨成像技术结合,成为一种易于使用的本地质量评估工具。

 

主要研究内容

     研究建立了rFRC与PANEL方案。使用rFRC对图像像素级的精修误差进行不确定度估计。对于由于模型失配产生的较大的结构丢失、失真等重建错误,则采取硬阈值分割改进后的RSM实现评估,与rFRC形成互补,其原理概述如图1所示。为充分有效利用数据,研究者首先对输入图像进行对称填充,并对之后逐块滚动傅里叶环相关计算的结果进行阈值分割,减小背景因素干扰。图像子块的FRC结果会分配给块区中心像素,实现超分辨尺度的不确定度估计。在rFRC图绘制完成后,将其与改进的RSM结果融合构成PANEL分析图。 

图1 | rFRC 映射和 PANEL 精确定位概述。(a) rFRC 图绘制的工作流程

步骤1,对称填充(灰色像素)的两个输入图像被裁剪为小子集以进行FRC计算。强度低于背景阈值的中心像素将被跳过;否则,执行下面的步骤2-5。步骤2-3,FRC计算,傅里叶域中的环相关运算(步骤2),以及FRC分辨率确定(步骤3)。步骤4,将获得的FRC分辨率分配给相应小子集的中心像素。步骤5,组装最终的rFRC图并用相应的颜色图进行渲染。(b) PANEL精确定位。为了突出显示可靠性较低的区域,rFRC图的值低于Otsu确定的阈值、归一化RSM值低于0.5的部分将被过滤。

研究者使用rFRC方法精确比较了不同单分子定位显微镜(Single-molecule localization microscopy, SMLM)恢复算法的性能,并在超分辨尺度下对不同重建图像进行有效融合,最大限度降低了潜在误差,实现了大视场单分子定位纳米级极限空间分辨成像。

 

技术突破与创新点

       研究团队使用了SMLM仿真数据集(图2a),并采用极大似然估计(Maximum Likelihood Estimation, MLE)方法重建获得超分辨图像。通过应用rFRC方法(图2a中的第3列)对SR图像进行评估,准确揭示了不同发射器密度条件下重建中所有细微错误(白色箭头所指)。相比之下,RSM与SQUIRREL方法(图2a中第2列)均未能检测出细小的重建错误,且存在受随机强度波动影响的风险。此外,对于丝状物中缺失部分的较大失真(青色箭头,图2a),PANEL也精准完成评定,可见其具备精密和可靠的质量评估能力。此外,对于照明光强的不均(图2b)以及在同一视场内的离焦效应(图2c),rFRC与PANEL均能理想地判定出相应成像质量的差异。

图2 | 使用SMLM模拟进行系统验证

        (a) 均匀照明条件下(整体空间不变分子激活密度)的2D-SMLM模拟,每帧中具有高密度(“HD”,图a上)和低密度(“LD”,图a下)发射荧光团。青色和白色箭头分别表示RSM或rFRC图发现的错误。(b) 不均匀照明条件下的2D-SMLM模拟(中心照明强度高,向边缘降低)。(c) 非均匀离焦的2D-SMLM模拟(中心聚焦,边缘散焦)。从左到右:合并的最大似然估计(MLE)重建(绿色通道)和真值图像(红色通道);完整的SQUIRREL结果(RSM对应于绿色通道,FRC图对应于洋红色通道);分别来自奇数帧和偶数帧的两个超分辨重建的rFRC图;完整的PANEL图像(RSM对应于红色通道,rFRC映射到绿色通道)。比例尺:(a) 500 nm; (b, c) 1 μm。

        研究团队利用SMLM微管数据集对提出的评估方法进行了验证(图3)。rFRC成功绘制出这种微管分布密度不同引起的分辨率异质性(图3c)。进一步使用三维数据进行验证:一方面,其rFRC结果(图3d)表明核周结构密集区域出现显著的不确定度(图3e,3f);另一方面,图像分辨率沿轴向尺寸波动,微管结构(图3g、3h)总体上最清晰的轴向平面位于焦平面,和理论经验一致。

图3 | rFRC评估定位显微镜的超分辨率图像      

       (a) COS-7细胞中用 Alexa Fluor 647 标记的α-微管蛋白的STORM重建结果(左)。(b) (a)的rFRC图。(c) STORM结果(亮绿色)和高斯平均rFRC图(shifted jet图)的合并视图,用于突出显示低质量区域。(d) COS-7细胞中用Alexa Fluor 647标记的α-微管蛋白的3D-STORM重建结果。(e) 图d的3D rFRC图。(f) (e)经过Otsu阈值分割后的PANEL结果。(g) (d)中白框部分的3D-STORM(左)和rFRC(右)对应的水平放大视图。(h) rFRC值随轴向位置的曲线。比例尺:(a, d) 5 μm; (g) 2 μm。

 

结论与展望

        超分辨荧光显微技术虽然帮助我们突破了分辨率的衍射极限,使得我们的科学问题可以进一步在更小尺度对微观世界直接探索和感知,但在看得清不清之外,看得准不准和看得真不真实,依旧是生命科学研究探索中的重大阻碍。rFRC与PANEL技术在超分辨尺度,以像素级准确量化误差,揭示了图像空间信息的不确定性。不仅告诉我们超分辨结果的准确度,为基于超分辨图像的生物分析提供了重要支持,还可利用不确定度信息,对不同重建方法甚至不同模态的超分辨结果融合利用,最大限度降低误差,充分利用超分辨信息,进一步提升图像分辨率。

 

新闻链接:

https://mp.weixin.qq.com/s/JZ4lyteBpNtMWACyfRRIQg

 

 

完整全文下载链接:

https://www.nature.com/articles/s41377-023-01321-0

 

首页    超分辨尺度上的成像质量评估方法
创建时间:2024-04-04 17:08
浏览量:0
收藏