【专利解密】灵明光子边缘飞点处理方案 提升深度图像处理精度及边缘清晰度

【爱集微点评】灵明光子提出的深度图像的边缘飞点处理方案，通过结合峰值对应的时间箱图，对深度图中各个边缘点构建搜索区域并进行聚类分析后完成时间箱的校正，有效提高直接飞行时间深度图像中飞点现象的处理精度以及边缘清晰度。

集微网消息，与传统的灰度图像或彩色图像相比，深度图像具有物体的三维特征信息，因而越来越多的应用于计算机视觉、计算机图形学等领域。目前主要采用TOF（飞行时间）相机生成物体的深度图像。

然而在采用TOF技术时，在图像边缘处会产生飞点效应，即由景深相差较大造成的深度测量非连续的情况。具体在iTOF（间接飞行时间）相机中，由于其成像原理，边缘处的深度值是由不同距离的物体共同作用得到的，因此会不可避免的出现在前景和背景之间飞点。

而在dTOF（直接飞行时间）相机中，虽然边缘附近的深度会在前景和背景两个深度值中选取最大概率的深度值，理论上dTOF技术不会出现在前景和背景之间的飞点，但是由于dTOF技术在深度计算过程中的误差，在边缘处同样容易出现深度误差比较大的飞点。

目前针对iTOF中的飞点现象一般采用图像的方法进行飞点滤除处理，而dTOF虽然可以借鉴这种方式，但容易存在漏检和误检的问题，且过滤之后的图像容易形成孔洞，使得针对dTOF相机的飞点处理不够准确。

为此，灵明光子在2022年7月14日申请了一项名为“一种深度图像的边缘飞点处理方法及装置”的发明专利（申请号：202210832974.0），申请人为深圳市灵明光子科技有限公司。

根据该专利目前公开的相关资料，让我们一起来看看这项技术方案吧。

如上图，为该专利中公开的深度图像边缘飞点处理方法的流程图。首先，系统对深度图进行边缘检测，得到边缘区域，边缘区域包括飞点在内的若干个边缘点。

如上图，为边缘区域的示意图，在检测得到的边缘区域201中，包括了飞点在内的若干个边缘点，即边缘区域可以全部都为深度值不准确的飞点。也可以既包括飞点又包括深度值准确的正常像素点202。

在对图像进行处理时，该专利中通过例如Soble边缘检测算法、拉普拉斯边缘检测算法、Canny边缘检测算法等等对其进行边缘检测，进而得到边缘区域。其中，优选为Canny边缘检测算法，因为其不容易受噪声干扰且具有较好的边缘定位以及没有重复的检测，可对深度图实现高效精准的边缘区域获取。

其次，在峰值对应的时间箱图上，以每个边缘点为中心构建对应的多个搜索区域。由于dTOF相机可获取到各个像素点的直方图信息，各个像素点的直方图中的峰值对应的粗略时间，其与每个像素点的深度值是相对应的。因此，该方案结合该时间箱图来作为边缘飞点校正处理的基础，在时间箱图上，以每个边缘点为中心一一对应构建多个搜索区域，使得可以结合时间箱值来分析每个边缘点与其领域附近点的特性。

接着，对每个搜索区域内的所有像素点进行聚类分析，确认搜索区域内每个像素点的场景类别。该步骤针对每个边缘点所对应的搜索区域，对每个搜索区域内的所有像素点进行聚类分析。即基于搜索区域内全部像素点的时间箱进行聚类分析，假如一个搜索区域内有25个像素点，则聚类分析的输入是25个像素点的ID位置以及对应的时间箱，输出是每个像素点属于哪个场景类别。将具有相同特性的像素点聚类为同一类别，按聚类结果与预先设置的场景判断规则确认搜索区域内每个像素点所归属的场景类别，例如属于前景或者背景等等。

最后，在一个搜索区域内，获取一个边缘点的场景类别，并以相同类别中与该边缘点距离最近的像素点的时间箱作为该边缘点的校正值，以此类推，完成对所有边缘点的时间箱的校正。

同样以边缘点为前景类别为例，若校正时边缘点为深度值不准确的飞点，则校正后将该飞点的时间箱更新为前景类别中与其距离最近的像素点的时间箱。若该边缘点为深度值准确的正常像素点，校正后同样将其时间箱更新为前景类别中与其距离最近的像素点的时间箱。此时正常像素点的时间箱在校正前后不发生变化，即该方案针对边缘区域进行统一的时间箱的校正，以确保飞点处理的覆盖率，从而不容易发生飞点处理的遗漏。

如上图，为搭载该方案的边缘飞点处理装置的结构图。该装置包括边缘检测模块401、构建模块402、聚类分析模块403和边缘校正模块404。边缘检测模块用于对深度图进行边缘检测，得到边缘区域。构建模块用于在峰值对应的时间箱图上，以每个边缘点为中心构建对应的多个搜索区域。聚类分析模块用于对每个搜索区域内的所有像素点进行聚类分析。边缘校正模块用于在一个搜索区域内，获取一个边缘点的场景类别，并以相同类别中与该边缘点距离最近的像素点的时间箱作为该边缘点的校正值。

以上就是灵明光子提出的深度图像的边缘飞点处理方案，该方案通过结合峰值对应的时间箱图，对深度图中各个边缘点构建搜索区域并进行聚类分析后完成时间箱的校正，从而有效提高了直接飞行时间深度图像中飞点现象的处理精度以及边缘清晰度。

关于爱集微知识产权

“爱集微知识产权”由曾在华为、富士康、中芯国际等世界500强企业工作多年的知识产权专家、律师、专利代理人、商标代理人以及资深专利审查员组成，熟悉中欧美知识产权法律理论和实务。依托爱集微在ICT领域的长期积累，围绕半导体及其智能应用领域，在高价值专利培育、投融资知识产权尽职调查、上市知识产权辅导、竞争对手情报策略、专利风险预警和防控、专利价值评估和资产盘点、贯标和专利大赛辅导等业务上具有突出实力。在全球知识产权申请、挖掘布局、专利分析、诉讼、许可谈判、交易、运营、一站式托管服务、专利标准化、专利池建设等方面拥有丰富的经验。我们的愿景是成为“ICT领域卓越的知识产权战略合作伙伴”。

（校对/赵月）