解析丨什么是全景分割及其工作原理

时间:

2022-03-21

分享到:

解析丨什么是全景分割及其工作原理

提到分割,自动驾驶应用最广泛的技术当属语义分割,而全景分割很少出现在大众视野中,本文将详细介绍全景语义分割技术定义及其与语义分割和实例分割的区别。


“全景”到底是什么意思?仔细观察其本身的含义可以推断出该技术是指对场景完整全面的分割,本质上,全景分割是两种常见图像分割类型的合并——实例分割和语义分割。为了准确定义全景分割,我们不仅要突出全景分割与语义分割的差异与相似之处,还要强调它与实例分割的区别。


语义分割本质是对类别之间的区分。语义分割是指在粒度级别上对图像的像素进行分割,为每个像素对象分配标签,它标注的是属于同一类级别的像素。语义分割是覆盖图像的所有像素并对它们进行分类,而不是集中于个别对象的分割。


实例分割本质是对个体之间的区分。实例分割不会将相似类中的对象标记在一起,而是作为单独的实例凸显出来。例如,如果我们有一张有几辆车的道路图像,每辆车都被标记为“汽车”,但这些汽车将会被标记成单独的对象,因为每辆车都有不同的颜色、品牌等。


全景语义分割是上面两种分割技术的结合。它既将类别进行了区分,同时也对分离的同类目个体进行区分,这意味着图像中的每个像素同时被分配了两个值——类目标签与实例标签。机器学习中的全景分割从其他图像分割技术中脱颖而出的元素之一是,它通过“实例”和“类目”准确提供对特定视图的分割,图像中的“实例”是可数的物体,例如人、车辆、植物等,而“类目”是难以量化的元素,例如道路、天空及其他背景等。