中国自动化学会论文链接:https://arxiv.org/abs/2310.07602
自动驾驶汽车安全运行需要可靠的感知算法，当前以相机和激光雷达为主的算法无法有效应对复杂气候环境下的挑战，而4D成像毫米波雷达具有全天时全天候的工作能力，是提升感知可靠性的有效途径。然而，目前尚缺乏针对中国城市复杂气候条件下4D成像毫米波雷达感知数据集。
近日，清华大学猛狮无人驾驶团队联合中汽创智科技有限公司开展关键技术攻关和数据采集，上海友道智途科技有限公司、北京经纬恒润科技股份有限公司共同参与，并由数据堂(北京)科技股份有限公司提供专业的数据标注支持。
团队发布了国际首个面向中国城市复杂气候环境的自动驾驶4D成像毫米波雷达数据集Dual Radar并免费开源，为复杂气候下的4D毫米波感知算法研究提供了一个新的测试基准。该数据集首次同时采集两种主流类型的4D雷达，可用于探索在不同雷达点云密度和噪声水平下的感知算法。
Dual Radar数据集采集车装备了相机、激光雷达和德国大陆ARS548 RDI及以色列Arbe Phoenix两种主流的4D毫米波雷达传感器，在国内城市复杂交通环境中多种气候（晴天、阴天、雨天等）和光照条件下（强光、弱光、逆光等）同时采集了图像、激光点云和两种4D毫米波点云多模态数据。采集总里程超过600公里，标注的数据由151个连续序列组成，每个序列持续20秒，包含10007个同步和注释的关键帧，标注了103272个的三维目标。数据集可用于自动驾驶感知算法研究，包括复杂场景下的三维目标检测和跟踪，并可用于探索4D毫米波雷达在自动驾驶感知中的应用。
清华猛狮无人驾驶团队是国内外最早在4D毫米波方面展开面向自动驾驶感知算法研究的团队之一，已在相机和4D毫米波融合、激光和4D毫米波融合方面取得进展。提出基于图像上下文纹理特征对雷达点云进行信息增稠的多模态融合算法VVE-Fusion，利用图像语义分割信息增加毫米波点云密度并筛选前景信息，有效提升检测精度，解决4D毫米波雷达点云过于稀疏而检测精度低的难题；提出基于跨模态交互的4D毫米波和激光点云多尺度融合三维目标检测算法M2-Fusion，通过注意力机制实现两种模态间浅层和深层信息交互，并在回归的目标关键点附近进行多尺度特征提取，实现精度与效率的平衡，有效提高三维动态目标检测精度，并增强激光雷达的远距离检测能力。相关成果发表在领域期刊T-VT和会议IROS。
清华猛狮无人驾驶团队在自动驾驶领域有着丰富的技术积累和成果产出，建立了面向智能驾驶感知安全的多传感器可解释融合框架，提出了基于“外观-运动”组合优化的相机-激光雷达融合高可靠三维多目标跟踪算法CAMO-MOT，在自动驾驶领域著名的大规模数据集nuScenes三维跟踪评测榜单上排名第一（保持7个月），构建智能驾驶融合感知发明专利群（美国授权发明专利10项，中国授权发明专利50项），团队研究成果已发表在T-ITS、T-NNLS、T-VT、T-IV、Information Fusion、Pattern Recognition、CVPR、ICCV、ICRA、IROS、ITSC等自动驾驶知名期刊和国际学术会议上。
该研究工作得到国家十四五重点研发计划（编号: 2018YFE0204300），国家自然科学基金（编号：62273198）资助。
指导教师：张新钰、刘华平、李骏
主要参与者：王力、陈健、杨磊、方铖、宋子盈、杨广奇、王燚辰、李志伟、沈阳、吴肖、王云田、张伟伟、徐杰杰