分享一篇新出的论文 End-to-end Lane Shape Prediction with Transformers,该文为车道线检测问题建立参数模型,使用Transformer捕获道路中细长车道线特征和全局特征,所发明的车道线检测算法与以往相比,可端到端训练、参数量更少、速度更快(高达420 fps,单1080Ti)。
该文作者信息:
Facebook的DETR目标检测算法,说明了Transformer用于计算机视觉的巨大潜力。
该文的一大目标即是将Transformer用于车道线检测,将其用于特征提取部分。
另外,车道线检测以往的方法往往需要经过特征提取和后处理两个过程,这使得整个算法不能端到端训练,作者借助于对车道线曲线和相机内参的描述,采用多项式参数模型来描述车道线,并配以Bipartite Matching Loss函数,实现端到端训练,网络的目标成为预测几个参数,这无需后处理且降低了计算量。
整体网络结构:
车道线参数模型:
对应于网络结构中的 Curve Parameters 的参数组。
在TuSimple数据集测试集上的结果比较:
该文方法取得了速度最快(使用ResNet18作骨干网,420 FPS),精度不是最好,但已经是接近目前文献报告的最好结果,而且参数量极小。(使用1080TI GPU)
使用二次曲线还是三次曲线模型拟合车道线更好呢?作者做了个实验:
结果发现三次曲线略胜一筹。
与PolyLaneNet算法检测结果比较:
可见,该文算法拟合的车道线更加精确。
下图为在作者收集的FVL数据集上的效果:
尽管训练集中没有夜间行车数据,但该文算法仍能很好的检测车道线,表明其强大的泛化能力。
论文地址:
https://arxiv.org/pdf/2011.04233.pdf
代码地址:
https://github.com/liuruijin17/LSTR
(尚未开源)
Transformer最近频频在计算机视觉领域出镜,还可能有哪些突破?欢迎留言。
END