欧卡智舶与图灵奖获得者Yoshua Bengio团队发布内河漂浮垃圾数据集

最近，欧卡智舶联合世界领先的AI专家和深度学习先驱、图灵奖得主Yoshua Bengio的Mila实验室、清华大学、西北工业大学的研究人员，发布城市水域漂浮垃圾检测数据集。公开由欧卡智舶无人驾驶清洁船在多天气条件、多城市水域中执行清洁工作时，船身传感器收集的多样本水面漂浮垃圾形成FloW数据集 —全球第一个无人船视角的水面漂浮垃圾检测数据集。通过发表FloW数据集，我们希望能引起人们对水域及内河漂浮垃圾污染问题的关注，同时吸引更多研究者参与到无人船与水面漂浮垃圾检测相关研究中来，为相关研究者提供一个平台和基准，推动水面漂浮垃圾检测技术快速发展。

数据集相关论文FloW: A Dataset and Benchmark for Floating Waste Detection in InlandWaters 已发表至 IEEE International Conference onComputer Vision 2021 (ICCV 2021)。

01视觉检测系统的技术背景
近年来，愈发严重的海洋塑料垃圾污染引发人们对这一问题的关注。海洋垃圾给海洋生物的生存带来较大威胁，造成的污染随着生态循环进而危害整个生态系统。有大量的海洋垃圾，来自于陆地，经过内陆河道，最终流入海洋。因此，清洁内陆水域，如运河、河流、湖泊和海湾环境中的漂浮垃圾，是减缓海洋垃圾增长、防治水污染问题的重要方法。

海洋垃圾

内河垃圾堆集

传统的内河垃圾清理往往依赖于人工打捞，这种方式往往效率较低，且水面人工作业还需要考虑安全性等问题，并非河道垃圾清理的最佳选择。相比人工作业，近年来逐步发展的水面清洁无人船，可以实现全天候、自主化作业，同时可以在一些人工难以到达的危险区域进行作业，能有效地提升清洁效率。

TITAN清洁垃圾

人工捞垃圾

SMURF收集垃圾

无人船漂浮垃圾清洁效率依赖于准确、实时的漂浮垃圾检测系统。随着计算机视觉和深度学习的发展，视觉图像提供的信息能被较为充分地利用起来。因此，基于视觉的漂浮垃圾检测可能是目前最为经济、高效的检测方案。

02当前的技术问题？
然而，塑料瓶和易拉罐等漂浮垃圾的体积较小，当其与平台间的距离扩大时，大部分漂浮废物占据的图像面积会变得很小。对于基于深度神经网络的物体检测，与大目标相比，小目标通常缺乏足够的外观信息，无法提取其深度特征，检测难度会提升很多，难以将其与背景区分，也难以实现准确的定位。

除了“小”之外，复杂的内河场景环境，也给基于视觉的检测方法带来了挑战。例如，河岸上物体的反射，水面的波浪，以及其他无害的漂浮物等会干扰视觉检测系统，造成错检。同时，水面上的强烈反光造成的眩光，可能会遮蔽真实目标，造成漏检。因此，在实际应用中，基于视觉的漂浮垃圾检测仍面临着诸多问题。

水面倒影干扰

待检测目标较小

其他漂浮物干扰

水面反光干扰

基于单个视觉传感器的漂浮垃圾检测面临着环境带来的诸多挑战，而传感器融合则有利于提高自动驾驶系统的适应性。随着毫米波电路技术的发展和信号处理算法的提升，77GHz毫米波雷达逐渐被应用于自动驾驶感知系统的目标检测中。与相机相比，毫米波雷达对天气和光照条件更为鲁棒；此外，雷达数据还可以直接反映目标位置，且对RCS达到一定值的小目标，稍远距离的探测相对视觉也更为稳定。对于漂浮垃圾检测，毫米波雷达数据能为视觉检测提供很好的补充。

03FloW数据集是什么？

开放的数据集有利于推动相关研究的发展，同时也为不同方法性能的评估提供基准。目标检测领域中的COCO和pascalVOC等数据集有效支持了基于视觉的目标检测方案的发展。为了吸引人们对内河漂浮垃圾清理的关注，同时支持水面小目标检测相关研究，我们采集并发布了FloW数据集 —— 全球第一个无人船视角的水面漂浮垃圾检测数据集。

FloW数据集和其他垃圾检测数据集的对比

FloW数据集由图像子数据集FloW-Img，和多模态子数据集FloW-Radar-Img(FloW-RI)组成。FloW-Img包含2000张图像和5271个标记目标，小目标（Area< 32*32）占其中的一半以上。除了标注的图像，在FloW-Img中，我们还提供了200个未标注的视频序列，以支持对水面漂浮垃圾追踪的相关研究。FloW-RI则包含4000帧的同步的图像和毫米波雷达数据，以支持基于融合的水面漂浮垃圾检测相关研究。数据集采集于不同的光照和波浪条件下，在不同方向和视角上对目标进行观测。

04FLoW数据集采集及标注
我们在无人船上，搭载了HDR相机与毫米波雷达进行数据采集，以平衡照明，以获得更清晰的图像。HDR相机（AR0230）捕获图像分辨率为1280×720；毫米波雷达为TI 77GHz FMCW AWR1843雷达。在采集数据集的过程中，我们考虑到了场景、视角、光照条件等多样性。

FloW数据采集平台

对FloW-Img数据集，我们采集了10Hz图像数据，进而对其进行降采样，并删除模糊图像，得到最终的数据集。对FloW-RI数据集，我们同时采集了图像和毫米波雷达数据并进行了同步，在我们设计的雷达波形下，毫米波雷达数据距离分辨率为0.0349m，最大感知距离为14.5m，速度分辨率为0.03m/s，最大感知速度为4.10m/s，我们保存了毫米波雷达数据中的距离-多普勒矩阵（RDM）和对应的毫米波雷达点云。

对FloW-Img数据集，我们使用LabelImg工具进行标注。对FloW-RI数据集，由于RDM不像图像一样可以直接反映目标的分布，而是给出目标的距离和多普勒速度，RDM中难以进行数据的标注。在这种情况下，对于RDM的注释，我们采取了以下步骤。

FloW-RI雷达RDM标注：在第一张图像中，RDM图像上的红点标记了低CFAR阈值下的检测结果；第二张图像显示了投影在RGB图像上的解析出来的点云，并对真实目标点进行了标注（由绿色框框）；最后一张图像中的红点标记了最终的真实目标单元格。

首先，我们为RDM设置了一个相对较低的检测阈值，并使用到达角（DOA）估计来生成四维雷达点云；接着，利用相机和雷达之间的外参标定结果，我们将雷达点云投影到图像平面上；而后，我们将所有点云投影到图像上时，可以参照图像，对雷达点云进行标注；最后，我们找到标注的雷达点云对应的RDM中的单元格，该单元格则被视为RDM中真实目标单元格。

05FloW数据集数据情况
FloW-Img包含2000张图像，其中有5271个标记目标。我们随机选择1200张图像作为训练集，其余的作为测试集。FloW-Img数据分布如下图所示。可以看出，训练和测试数据中不同大小目标的分布较为近似。其中，小目标（size<32×32）在我们的数据集中所占的比例最大。此外，FloW-Img数据集中还提供了200个没有标注的视频段。可用于支持基于视觉的漂浮垃圾追踪算法的研究。FloW-RI数据集包含了来自21个序列的4000帧同步的图像和雷达RDM数据以及相应的雷达点云，16段序列设置为训练集，5段序列设置为测试集。

FloW数据分布：每帧包含目标数以及目标占据的区域大小分布

06基于FloW数据集的实验及结论
我们在FloW-Img数据集上测试了6种基于视觉的目标检测方法，每种方法在小目标（Area < 32*32）、中目标（32*32 < Area <96*96）、大目标（Area > 96*96）上检测的PR曲线，以及每种方法检测的FPS（GeForce GTX 1070 GPU）如下图和表格所示。我们发现，除了目标的尺寸较小外，水面漂浮垃圾检测还面临几个挑战。首先，水面上的强烈的光反射会遮蔽目标；此外，岸边物体的反射也会干扰检测系统。在我们的数据集上，在上述算法中，Cascade R-CNN在我们的数据集上的检测精度上表现最好，鲁棒性更强，然而，CascadeR-CNN检测帧率较低，可能无法满足水面目标检测的实时性要求。

FloW-Img测试集上检测结果PR曲线

FloW-Img数据集上各方法FPS

对于FloW-RI，我们分别基于图像、雷达数据，以及基于图像和雷达的融合进行了实验。我们使用的方法、对应的数据类型、以及检测结果如下方表格所示。

可以看出，当使用相同的检测算法时，雷达RDM的检测性能优于图像，这表明，雷达数据在内河漂浮垃圾检测方面具有较好的应用潜力。此外，还可以看出，基于融合的方法在一定程度上优于基于视觉的方法。然而，我们所使用的两种开源的基于融合的方法，和其他图像-毫米波雷达融合检测方法，主要针对道路驾驶场景中的物体检测。我们认为，对于水面小目标检测，基于图像-毫米波雷达融合的检测方法上仍有值得去挖掘的提升。

07总结
FloW是全球第一个真实内河场景下、无人船视角的漂浮垃圾检测数据集。FloW-Img子数据集中，超过一半的目标都是小目标（Area<32*32），可以支持针对水面小目标检测的研究；而我们的FloW-RI子数据集则提供了视觉-毫米波雷达融合的目标检测基准数据，有助于基于视觉-毫米波雷达的水面目标检测方案的研究。通过发表FloW数据集，欧卡智舶希望进一步加快水面垃圾识别技术的发展，推动无人船行业快速发展，通过无人驾驶，让水域更美好！

论文原文

FloW: A Dataset and Benchmark for Floating Waste Detection in Inland Waters.

论文原文链接

https://openaccess.thecvf.com/content/ICCV2021/html/Cheng_FloW_A_Dataset_and_Benchmark_for_Floating_Waste_Detection_in_ICCV_2021_paper.html

数据下载链接

http://www.orca-tech.cn/datasets/F