Обнаружение и определение точного местоположения очага возгорания с использованием сверточной нейронной сети, панорамного изображения и 3D-модели объекта наблюдения

Введение. При решении задачи по обеспечению пожарной безопасности на крупных объектах промышленности важно обеспечить наивысшую скорость реагирования на возникающие угрозы. В данной работе рассматривается новый метод обнаружения и определения точного местоположения очага возгорания в реальном времени, основанный на современных методах обработки изображений и искусственного интеллекта.

Цели и задачи. Целью работы является создание системы, способной обнаружить возгорание на панорамном изображении, и, основываясь на 3D-модели, определить координаты найденной угрозы.

Задачи работы:

• обучение CNN и ее адаптация для работы на панорамном изображении;
• разработка алгоритма определения пространственных координат найденного на изображении объекта.

Методы. В работе описывается схема предложенной системы. Рассматриваются методы обнаружения возгораний на изображении. Обосновывается выбор подхода с использованием сверточной нейронной сети. Рассматривается применение нейронной сети на панорамном изображении и описывается подход к выпрямлению искажений на изображении с целью повышения точности работы сети. Описывается метод совмещения 3D-модели с панорамным изображением и определения пространственных координат найденных воз­гораний.

Результаты и их обсуждение. В работе показаны результаты работы системы в виртуальной среде, где были сгенерированы возгорания. В среде эмулированы все ключевые компоненты системы, такие как панорамная камера и 3D-модель объекта. В проведенных экспериментах погрешность определения координаты возгорания составила порядка 20 см.

Выводы. В работе был рассмотрен новый подход к обнаружению возгораний с использованием компьютерного зрения. Была обучена нейросеть архитектуры YOLOv5, которая способна распознавать пламя и дым. Для снижения искажений применена стереографическая проекция. Был разработан и применен метод определения координат возгорания в пространстве посредством совмещения 3D-модели и панорамного изображения.

1. Zaman T., Hasan M., Ahmed S., Ashfaq S. Fire detection using computer vision // IEEE 61st International Midwest Symposium on Circuits and Systems (MWSCAS). 2018. Pp. 356–359. DOI: 10.1109/MWSCAS.2018.8623842

2. Manjunatha K., Mohana H., Vijaya P. Implementation of computer vision based industrial fire safety automation by using neuro-fuzzy algorithms // I.J. Information Technology and Computer Science. 2015. Vol. 4. Pp. 14–27. DOI: 10.5815/ijitcs.2015.04.02

3. Qi X., Ebert J. A computer vision-based method for fire detection in color videos // International Journal of Imaging. 2009. No. 2 (9). Pp. 22–34.

4. Ба Хала А.М.А. Об обнаружении пожаров на изображениях земной поверхности в цветовой модели LAB // Экономика. Информатика. 2021. № 48 (4). С. 831–842. DOI: 10.52575/2687-0932-2021-48-4-831-842

5. Celik T., Hasan D. Fire detection in video sequences using a generic color model // Fire Safety Journal. 2009. Vol. 44. No. 2. Pp. 147–158. DOI: 10.1016/j.firesaf.2008.05.005

6. Marbach G., Markus L., Thomas B. An image processing technique for fire detection in video images // Fire safety journal. 2006. Vol. 41. No. 4. Pp. 285–289. DOI: 10.1016/j.firesaf.2006.02.001

7. Zhang Q., Xu J., Xu L., Guo H. Deep convolutional neural networks for forest fire detection // Proceedings of the 2016 International Forum on Management, Education and Information Technology Application. 2016. Pp. 568–575. DOI: 10.2991/ifmeita-16.2016.105

8. Frizzi S., Kaabi R., Bouchouicha M., Ginoux J.M., Moreau E., Fnaiech F. Convolutional neural network for video fire and smoke detection // IECON 2016 — 42nd Annual Conference of the IEEE Industrial Electronics Society. IEEE, 2016. Pp. 877–882. DOI: 10.1109/iecon.2016.7793196

9. Muhammad K., Ahmad J., Mehmood I., Rho S., Baik S.W. Convolutional neural networks based fire detection in surveillance Videos // IEEE Access, 2018. Vol. 6. Pp. 18174–18183. DOI: 10.1109/access.2018.2812835

10. Li M., Zhang Y., Mu L., Xin J., Yu Z., Jiao S. et al. A real-time fire segmentation method based on a deep learning approach // IFAC-PapersOnLine. 2022. Vol. 55. Issue 6. Pp. 145–150. DOI: 10.1016/j.ifacol.2022.07.120

11. Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation // IEEE Conference on Computer Vision and Pattern Recognition. 2014. Pp. 580–587. DOI: 10.1109/CVPR.2014.81

12. He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN // IEEE International Conference on Computer Vision (ICCV). 2017. Pp. 2980–2988. DOI: 10.1109/ICCV.2017.322

13. Lin T., Dollar P., Girshick R., He K., Hariharan B., Belongie S. Feature pyramid networks for object detection // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. Pp. 936–944. DOI: 10.1109/CVPR.2017.106

14. Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: unified, real-time object detection // CVPR. 2016. Pp. 779–788. DOI: 10.1109/CVPR.2016.91

15. Liu W., Anguelov D., Erhan D., Szegedy Ch., Reed S., Fu Ch.-Ya. et al. SSD: single shot multibox detector // Computer Vision — ECCV Lecture Notes in Computer Science. 2016. Vol. 9905. DOI: 10.1007/978-3-319-46448-0_2

16. Lin T., Goyal P., Girshick R., He K., Dollar P. Focal loss for dense object detection // 2020 IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. Vol. 42. No. 2. Pp. 318–327. DOI: 10.1109/TPAMI.2018.2858826

17. Wang C., Bochkovskiy A., Liao H. Scaled-YOLOv4: scaling cross stage partial network // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. Pp. 13024–13033. DOI: 10.1109/CVPR46437.2021.01283

18. Евсиков А.А., Самарин И.В. Обнаружение очагов возгорания на технологических объектах с использованием сверточной нейронной сети // Пожаровзрывобезопасность/Fire and Explosion Safety. 2023. № 32 (5). С. 40–48. DOI: 10.22227/0869-7493.2023.32.05.40-48

19. Yang W., Qian Y., Kämäräinen J.-K., Cricri F., Fan L. Object detection in equirectangular panorama // 24th International Conference on Pattern Recognition (ICPR). Beijing, China, 2018. Pp. 2190–2195. DOI: 10.1109/ICPR.2018.8546070

20. Deng F., Zhu X., Ren J. Object detection on panoramic images based on deep learning // 3rd International Conference on Control, Automation and Robotics (ICCAR). Nagoya, Japan, 2017. Pp. 375–380. DOI: 10.1109/ICCAR.2017.7942721

21. Евсиков А.А., Самарин И.В. Распознавание возгораний на панорамном изображении с использованием сверточной нейронной сети // Автоматизация и информатизация ТЭК. 2023. № 12 (605). C. 5–10. DOI: 10.33285/2782-604X-2023-12(605)-5-10

22. Krylov V.A., Kenny E., Dahyot R. Automatic discovery and geotagging of objects from street view imagery // Remote Sensing. 2018. Vol. 10. No. 5. DOI: 10.3390/rs10050661

23. Babahajiani P., Fan L., Kämäräinen J.K. Urban 3D segmentation and modelling from street view images and LiDAR point clouds // Machine Vision and Applications. 2017. No. 28. Pp. 679–694. DOI: 10.1007/s00138-017-0845-3