Трехмерная детекция объектов на основе L-shape модели в автономных системах движения

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Способность высокоавтоматизированных транспортных средств (ВАТС) определять положение объектов в трехмерном пространстве играет ключевую роль в планировании движения. Реализация алгоритмов, решающих данную проблему, особенно сложна для систем, использующих исключительно монокулярные камеры, т.к. для них оценка глубины представляет нетривиальную задачу. Тем не менее такие системы широко распространены ввиду относительной дешевизны и простоты эксплуатации. В данной статье мы предлагаем метод к определению положения транспортных средств (наиболее распространенного типа объектов окружения в городских условиях) в виде произвольно ориентированных ограничивающих рамок на виде сверху (birds’-eye view) по изображению, полученному с одной монокулярной камеры. Этот метод состоит из двух этапов. На первом этапе вычисляется проекция видимой границы транспортного средства в виде сверху на основе 2D-детекций препятствий и сегментации проезжей части на изображении. Предполагается, что полученная проекция представляет зашумленные измерения двух ортогональных сторон ТС. На втором этапе строится ориентированная ограничивающая рамка вокруг полученной проекции. Для этого этапа мы предлагаем новый алгоритм построения рамки на основе предположения об L-образности проекции: L-shape алгоритм. Тестирование алгоритма проводилось на самостоятельно подготовленном наборе реальных данных. Предлагаемый L-shape алгоритм превзошел лучший из сравниваемых алгоритмов по коэффициенту Жаккара (Intersection over Union, IoU) на 2.7%.

Полный текст

Доступ закрыт

Об авторах

М. О. Чеканов

Институт проблем передачи информации им. А.А. Харкевича Российской академии наук; ООО “ЭвоКарго”

Автор, ответственный за переписку.
Email: mikhail.chekanov@evocargo.com
Россия, Большой Каретный пер., 19, стр. 1, Москва, 127051; ул. Годовикова, 9, стр. 4, Москва, 129085

С. В. Кудряшова

Институт проблем передачи информации им. А.А. Харкевича Российской академии наук

Email: mikhail.chekanov@evocargo.com
Россия, Большой Каретный пер., 19, стр. 1, Москва, 127051

О. С. Шипитько

Институт проблем передачи информации им. А.А. Харкевича Российской академии наук

Email: mikhail.chekanov@evocargo.com
Россия, Большой Каретный пер., 19, стр. 1, Москва, 127051

Список литературы

  1. Шипитько О. С., Тетерюков Д. О. Разработка алгоритма оценки пространственного положения коробок для автоматизации процесса формирования заказов на складах. Материалы VI Всероссийской молодежной школы по робототехни. Общество с ограниченной ответственностью “Волгоградское научное издательство” (Волгоград), 2017. С. 9-18.
  2. Arnon D.S., Gieselmann J. P. A linear time algorithm for the minimum area rectangle enclosing a convex polygon, 1983.
  3. Billings G., Johnson-Roberson M. Silhonet: An rgb method for 6d object pose estimation IEEE Robotics and Automation Letters, 2019. V. 4(4). P. 3727-3734. doi: 10.48550/arXiv.1809.06893
  4. Chen X., Kundu K., Zhang Z., Ma H., Fidler S., Raquel Urtasun Monocular 3d object detection for autonomous driving Proceedings of the IEEE conference on computer vision and pattern recognition, 2016. P. 2147-2156. doi: 10.1109/CVPR.2016.236
  5. Fan Z., Zhu Y., He Y., Sun Q., Liu H., He J. Deep learning on monocular object pose detection and tracking: A comprehensive overview ACM Computing Surveys, 2022. V. 55(4). P. 1-40. doi: 10.1145/3524496
  6. Geiger A., Lenz P., Stiller C., Urtasun, R. Vision meets robotics: The kitti dataset The International Journal of Robotics Research, 2013. V. 32(11). P. 1231-1237. doi: 10.1177/0278364913491297
  7. Jiang D., Li G., Sun Y., Hu J., Yun J., Liu Y. Manipulator grabbing position detection with information fusion of color image and depth image using deep learning Journal of Ambient Intelligence and Humanized Computing, 2021. V. 12. P. 10809-10822. doi: 10.1007/s12652-020-02843-w
  8. Kim Y., Kim J., Koh J., Choi J. W. Enhanced Object Detection in Bird’s Eye View Using 3D Global Context Inferred From Lidar Point Data 2019 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019. P. 2516-2521. doi: 10.1109/IVS.2019.8814276
  9. Kuhn H. W. The Hungarian method for the assignment problem Naval research logistics quarterly, 1955. V. 2(1‐2). P. 83-97. doi: 10.1002/nav.3800020109
  10. Labayrade R., Aubert D., Tarel J.P. Real time obstacle detection in stereovision on non-flat road geometry through” v-disparity” representation Intelligent Vehicle Symposium, 2002. IEEE, 2002. V. 2. P. 646-651. doi: 10.1109/IVS.2002.1188024
  11. Liu X., Xue N., Wu T. Learning auxiliary monocular contexts helps monocular 3d object detection Proceedings of the AAAI Conference on Artificial Intelligence, 2022. V. 36(2). P. 1810-1818. doi: 10.1609/aaai.v36i2.20074
  12. Liu Y., Geng L., Zhang W., Gong Y., Xu Z. Survey of video based small target detection Journal of Image and Graphics, 2021а. V. 9(4). P. 122-134. doi: 10.18178/JOIG.9.4.122-134
  13. Liu Z., Zhou D., Lu F., Fang J., Zhang L. Autoshape: Real-time shape-aware monocular 3d object detection Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021б. P. 15641-15650. doi: 10.1109/ICCV48922.2021.01535
  14. Sholomov D. L. Application of shared backbone DNNs in ADAS perception systems ICMV, 2020. P. 1160525. doi: 10.1117/12.2586932
  15. Smagina A.A., Shepelev D.A., Ershov E.I., Grigoryev A.S. Obstacle detection quality as a problem-oriented approach to stereo vision algorithms estimation in road situation analysis Journal of Physics: Conference Series. IOP Publishing, 2018. V. 1096(1). P. 012035. doi: 10.1088/1742-6596/1096/1/012035
  16. Tekin B., Sinha S.N., Fua P. Real-time seamless single shot 6d object pose prediction Proceedings of the IEEE conference on computer vision and pattern recognition, 2018. P. 292-301. doi: 10.1109/CVPR.2018.00038
  17. Wang H., Wang Z., Lin L., Xu F., Yu J., Liang H. Optimal vehicle pose estimation network based on time series and spatial tightness with 3D lidars Remote Sensing, 2021. V. 13(20). P. 4123. doi: 10.3390/rs13204123
  18. Wang P. Research on comparison of lidar and camera in autonomous driving Journal of Physics: Conference Series. IOP Publishing, 2021. V. 2093(1). P. 012032. doi: 10.1088/1742-6596/2093/1/012032
  19. Wu D., Liao M. W., Zhang W. T., Wang X.G., Bai X., Cheng W. Q., Liu W. L. You only look once for panoptic driving perception, 2022, V. 19. P. 550-562. doi: 10.1007/s11633-022-1339-y
  20. Yu Q., Araújo H., Wang H. A stereovision method for obstacle detection and tracking in non-flat urban environments Autonomous Robots, 2005. V. 19. P. 141-157. doi: 10.1007/s10514-005-0612-6
  21. Zhang Z., Weiss, Hanson Qualitative obstacle detection 1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 1994. P. 554-559. doi: 10.1109/CVPR.1994.323881
  22. Zhu Z., Zhang Y., Chen H., Dong Y., Zhao S., Ding W., Zhong J., Zheng S. Understanding the Robustness of 3D Object Detection With Bird’s-Eye-View Representations in Autonomous Driving Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. P. 21600-21610. doi: 10.1109/CVPR52729.2023.02069

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Классификация методов трехмерной детекции объектов по числу используемых сенсоров.

Скачать (19KB)
Метаданные
3. Рис. 2. Классификация методов трехмерной детекции объектов по типу используемой модели.

Скачать (14KB)
Метаданные
4. Рис. 3. Наивный подход к проецированию ограничивающей рамки в 2D на вид сверху.

Скачать (192KB)
Метаданные
5. Рис. 4. Неверная проекция грузовика. Зона слева от грузовика воспринимается как часть объекта и мешает объехать его.

Скачать (168KB)
Метаданные
6. Рис. 5. Проекция двумерной ограничивающей рамки на вид сверху с учетом сегментации проезжей части.

Скачать (201KB)
Метаданные
7. Рис. 6. Примеры сцен из собранного набора данных.

Скачать (681KB)
Метаданные
8. Рис. 7. Пример неправильно построенной ограничивающей рамки.

Скачать (34KB)
Метаданные
9. Рис. 8. Примеры работы сравниваемых алгоритмов построения ограничивающих рамок.

Скачать (503KB)
Метаданные
10. Рис. 9. График зависимости среднего коэффициента Жаккара от ограничения дистанции до детектируемых препятствий.

Скачать (98KB)
Метаданные

© Российская академия наук, 2025