firesmiПожаровзрывобезопасность/Fire and Explosion SafetyPozharovzryvobezopasnost/Fire and Explosion Safety0869-74932587-6201ФГБОУ ВО «Национальный исследовательский Московский государственный строительный университет»10.22227/0869-7493.2024.33.04.13-21firesmi-1403Research ArticleМАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ, ЧИСЛЕННЫЕ МЕТОДЫ И КОМПЛЕКСЫ ПРОГРАММMATHEMATICAL MODELING, NUMERICAL METHODS AND PROGRAM COMPLEXESОбнаружение и определение точного местоположения очага возгорания с использованием сверточной нейронной сети, панорамного изображения и 3D-модели объекта наблюденияDetection and determination of the exact location of the fire centre using a convolutional neural network, panoramic image and 3D model of the observed objecthttps://orcid.org/0009-0007-4974-7948ЕвсиковА. А.EvsikovA. A.

ЕВСИКОВ Андрей Александрович, аспирант

119991, г. Москва, Ленинский пр-т, 65, корп. 1

РИНЦ AuthorID: 1211560

Andrey A. EVSIKOV, Postgraduate Student

Leninskiy Avenue, 65, Bldg. 1, Moscow, 119991

RSCI AuthorID: 1211560

andreyev4@gmail.comhttps://orcid.org/0000-0003-2430-5311СамаринИ. В.SamarinI. V.

САМАРИН Илья Вадимович, д-р техн. наук, доцент, заведующий кафедрой автоматизации технологических процессов

119991, г. Москва, Ленинский пр-т, 65, корп. 1

РИНЦ AuthorID: 867674

Ilya V. SAMARIN, Dr. Sci. (Eng.), Docent, Head of Department of Automation of Technological Processes

Lenin­skiy Avenue, 65, Bldg. 1, Moscow, 119991

RSCI AuthorID: 867674

ivs@gubkin.ruРоссийский государственный университет нефти и газа (национальный исследовательский университет) имени И.М. ГубкинаРоссияNational University of Oil and Gas “Gubkin University”Russian Federation2024300820243341321Copyright © Евсиков А.А., Самарин И.В., 20242024Евсиков А.А., Самарин И.В.Evsikov A.A., Samarin I.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.fire-smi.ru/jour/article/view/1403Введение

Введение. При решении задачи по обеспечению пожарной безопасности на крупных объектах промышленности важно обеспечить наивысшую скорость реагирования на возникающие угрозы. В данной работе рассматривается новый метод обнаружения и определения точного местоположения очага возгорания в реальном времени, основанный на современных методах обработки изображений и искусственного интеллекта.

Цели и задачи

Цели и задачи. Целью работы является создание системы, способной обнаружить возгорание на панорамном изображении, и, основываясь на 3D-модели, определить координаты найденной угрозы.

Задачи работы

Задачи работы:

Методы

Методы. В работе описывается схема предложенной системы. Рассматриваются методы обнаружения возгораний на изображении. Обосновывается выбор подхода с использованием сверточной нейронной сети. Рассматривается применение нейронной сети на панорамном изображении и описывается подход к выпрямлению искажений на изображении с целью повышения точности работы сети. Описывается метод совмещения 3D-модели с панорамным изображением и определения пространственных координат найденных воз­гораний.

Результаты и их обсуждение. В работе показаны результаты работы системы в виртуальной среде, где были сгенерированы возгорания. В среде эмулированы все ключевые компоненты системы, такие как панорамная камера и 3D-модель объекта. В проведенных экспериментах погрешность определения координаты возгорания составила порядка 20 см.

Выводы

Выводы. В работе был рассмотрен новый подход к обнаружению возгораний с использованием компьютерного зрения. Была обучена нейросеть архитектуры YOLOv5, которая способна распознавать пламя и дым. Для снижения искажений применена стереографическая проекция. Был разработан и применен метод определения координат возгорания в пространстве посредством совмещения 3D-модели и панорамного изображения.

Introduction

Introduction. When solving the problem of ensuring fire safety at large industrial facilities, it is important to ensure the highest speed of response to emerging threats. This paper discusses a new method of detecting and determining the exact location of the fire centre in real time, based on modern methods of image processing and artificial intelligence.

Aims and Objectives

Aims and Objectives. The aim of the work is to create a system capable of detecting fire in a panoramic image and, based on a 3D model, determining the coordinates of the detected threat.

Objectives of the work

Objectives of the work:

Methods

Methods. The paper describes the scheme of the proposed system. Methods for detecting fires in the image are discussed. The choice of the approach using a convolutional neural network is justified. The application of a neural network in a panoramic image is considered and an approach to straightening distortions in the image is described in order to improve the accuracy of the network. A method for combining a 3D model with a panoramic image and determining the spatial coordinates of found fires is described.

Results and Discussion

Results and Discussion. The work shows the results of the system in a virtual environment where fires were generated. The environment emulates all key components of the system, such as a panoramic camera and a 3D model of the object. In the experiments carried out, the error in determining the coordinates of the fire was about 20 cm.

Conclusions

Conclusions. The work examined a new approach to detecting fires using computer vision. A neural network of the YOLOv5 architecture was trained, which is capable of recognizing fire and smoke. To reduce distortion, stereographic projection was used. A method was developed and applied to determine the coordinates of fire in space by combining a 3D model and a panoramic image.

компьютерное зрениеобнаружение пожаровобнаружение объектов в реальном времениглубокое обучениестереографическая проекцияcomputer visionfire detectionreal-time object detectiondeep learningstereographic projectionReferencesZaman T., Hasan M., Ahmed S., Ashfaq S. Fire detection using computer vision // IEEE 61st International Midwest Symposium on Circuits and Systems (MWSCAS). 2018. Pp. 356–359. DOI: 10.1109/MWSCAS.2018.8623842Zaman T., Hasan M., Ahmed S., Ashfaq S. Fire detection using computer vision. IEEE 61st International Midwest Symposium on Circuits and Systems (MWSCAS). 2018; 356-359. DOI: 10.1109/MWSCAS.2018.8623842Manjunatha K., Mohana H., Vijaya P. Implementation of computer vision based industrial fire safety automation by using neuro-fuzzy algorithms // I.J. Information Technology and Computer Science. 2015. Vol. 4. Pp. 14–27. DOI: 10.5815/ijitcs.2015.04.02Manjunatha K., Mohana H., Vijaya P. Implementation of computer vision based industrial fire safety automation by using neuro-fuzzy algorithms. I.J. Information Technology and Computer Science. 2015; 4:14-27. DOI: 10.5815/ijitcs.2015.04.02Qi X., Ebert J. A computer vision-based method for fire detection in color videos // International Journal of Imaging. 2009. No. 2 (9). Pp. 22–34.Qi X., Ebert J. A computer vision-based method for fire detection in color videos. International Journal of Imaging. 2009; 2(9):22-34.Ба Хала А.М.А. Об обнаружении пожаров на изображениях земной поверхности в цветовой модели LAB // Экономика. Информатика. 2021. № 48 (4). С. 831–842. DOI: 10.52575/2687-0932-2021-48-4-831-842Ba Hala A.M.A. Fire detection on earth’s surface images in the LAB color model. Economika. Informatsionnyye tehnologii/Economics. Information technologies. 2021; 48(4): 831-842. DOI: 10.52575/2687-0932-2021-48-4-831-842 (rus).Celik T., Hasan D. Fire detection in video sequences using a generic color model // Fire Safety Journal. 2009. Vol. 44. No. 2. Pp. 147–158. DOI: 10.1016/j.firesaf.2008.05.005Celik T., Hasan D. Fire detection in video sequences using a generic color model. Fire Safety Journal. 2009; 44(2):147-158. DOI: 10.1016/j.firesaf.2008.05.005Marbach G., Markus L., Thomas B. An image processing technique for fire detection in video images // Fire safety journal. 2006. Vol. 41. No. 4. Pp. 285–289. DOI: 10.1016/j.firesaf.2006.02.001Marbach G., Markus L., Thomas B. An image processing technique for fire detection in video images. Fire safety journal. 2006; 41(4):285-289. DOI: 10.1016/j.firesaf.2006.02.001Zhang Q., Xu J., Xu L., Guo H. Deep convolutional neural networks for forest fire detection // Proceedings of the 2016 International Forum on Management, Education and Information Technology Application. 2016. Pp. 568–575. DOI: 10.2991/ifmeita-16.2016.105Zhang Q., Xu J., Xu L., Guo H. Deep convolutional neural networks for forest fire detection. Proceedings of the 2016 International Forum on Management, Education and Information Technology Application. 2016; 568-575. DOI: 10.2991/ifmeita-16.2016.105Frizzi S., Kaabi R., Bouchouicha M., Ginoux J.M., Moreau E., Fnaiech F. Convolutional neural network for video fire and smoke detection // IECON 2016 — 42nd Annual Conference of the IEEE Industrial Electronics Society. IEEE, 2016. Pp. 877–882. DOI: 10.1109/iecon.2016.7793196Frizzi S., Kaabi R., Bouchouicha M., Ginoux J.M., Moreau E., Fnaiech F. Convolutional neural network for video fire and smoke detection. IECON 2016 — 42nd Annual Conference of the IEEE Industrial Electronics Society. IEEE. 2016; 877-882. DOI: 10.1109/iecon.2016.7793196Muhammad K., Ahmad J., Mehmood I., Rho S., Baik S.W. Convolutional neural networks based fire detection in surveillance Videos // IEEE Access, 2018. Vol. 6. Pp. 18174–18183. DOI: 10.1109/access.2018.2812835Muhammad K., Ahmad J., Mehmood I., Rho S., Baik S.W. Convolutional neural networks based fire detection in surveillance videos. IEEE Access. 2018; 6:18174-18183. DOI: 10.1109/access.2018.2812835Li M., Zhang Y., Mu L., Xin J., Yu Z., Jiao S. et al. A real-time fire segmentation method based on a deep learning approach // IFAC-PapersOnLine. 2022. Vol. 55. Issue 6. Pp. 145–150. DOI: 10.1016/j.ifacol.2022.07.120Li M., Zhang Y., Mu L., Xin J., Yu Z., Jiao S. et al. A real-time fire segmentation method based on a deep learning approach. IFAC-PapersOnLine. 2022; 55(6):145-150. DOI: 10.1016/j.ifacol.2022.07.120Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation // IEEE Conference on Computer Vision and Pattern Recognition. 2014. Pp. 580–587. DOI: 10.1109/CVPR.2014.81Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation. IEEE Conference on Computer Vision and Pattern Recognition. 2014; 580-587. DOI: 10.1109/CVPR.2014.81He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN // IEEE International Conference on Computer Vision (ICCV). 2017. Pp. 2980–2988. DOI: 10.1109/ICCV.2017.322He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN. IEEE International Conference on Computer Vision (ICCV). 2017; 2980-2988. DOI: 10.1109/ICCV.2017.322Lin T., Dollar P., Girshick R., He K., Hariharan B., Belongie S. Feature pyramid networks for object detection // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. Pp. 936–944. DOI: 10.1109/CVPR.2017.106Lin T., Dollar P., Girshick R., He K., Hariharan B., Belongie S. Feature pyramid networks for object detection. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017; 936-944. DOI: 10.1109/CVPR.2017.106Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: unified, real-time object detection // CVPR. 2016. Pp. 779–788. DOI: 10.1109/CVPR.2016.91Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: unified, real-time object detection. CVPR. 2016; 779-788. DOI: 10.1109/CVPR.2016.91Liu W., Anguelov D., Erhan D., Szegedy Ch., Reed S., Fu Ch.-Ya. et al. SSD: single shot multibox detector // Computer Vision — ECCV Lecture Notes in Computer Science. 2016. Vol. 9905. DOI: 10.1007/978-3-319-46448-0_2Liu W., Anguelov D., Erhan D., Szegedy Ch., Reed S., Fu Ch.-Ya. еt al. SSD: single shot multibox detector. Computer Vision — ECCV Lecture Notes in Computer Science. 2016; 9905. DOI: 10.1007/978-3-319-46448-0_2Lin T., Goyal P., Girshick R., He K., Dollar P. Focal loss for dense object detection // 2020 IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. Vol. 42. No. 2. Pp. 318–327. DOI: 10.1109/TPAMI.2018.2858826Lin T., Goyal P., Girshick R., He K., Dollar P. Focal loss for dense object detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020; 42(2):318-327. DOI: 10.1109/TPAMI.2018.2858826Wang C., Bochkovskiy A., Liao H. Scaled-YOLOv4: scaling cross stage partial network // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. Pp. 13024–13033. DOI: 10.1109/CVPR46437.2021.01283Wang C., Bochkovskiy A., Liao H. Scaled-YOLOv4: Scaling cross stage partial network. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021; 13024-13033. DOI: 10.1109/CVPR46437.2021.01283Евсиков А.А., Самарин И.В. Обнаружение очагов возгорания на технологических объектах с использованием сверточной нейронной сети // Пожаровзрывобезопасность/Fire and Explosion Safety. 2023. № 32 (5). С. 40–48. DOI: 10.22227/0869-7493.2023.32.05.40-48Evsikov A.A., Samarin I.V. Detection of fires at technological facilities using convolutional neural network. Pozharovzryvobezopasnost/Fire and Explosion Safety. 2023; 32(5):40-48. DOI: 10.22227/0869-7493.2023.32.05.40-48 (rus).Yang W., Qian Y., Kämäräinen J.-K., Cricri F., Fan L. Object detection in equirectangular panorama // 24th International Conference on Pattern Recognition (ICPR). Beijing, China, 2018. Pp. 2190–2195. DOI: 10.1109/ICPR.2018.8546070Yang W., Qian Y., Kämäräinen J.-K., Cricri F., Fan L. Object detection in equirectangular panorama. 24th International Conference on Pattern Recognition (ICPR). Beijing, China, 2018; 2190-2195. DOI: 10.1109/ICPR.2018.8546070Deng F., Zhu X., Ren J. Object detection on panoramic images based on deep learning // 3rd International Conference on Control, Automation and Robotics (ICCAR). Nagoya, Japan, 2017. Pp. 375–380. DOI: 10.1109/ICCAR.2017.7942721Deng F., Zhu X., Ren J. Object detection on panoramic images based on deep learning. 3rd International Conference on Control, Automation and Robotics (ICCAR). Nagoya, Japan, 2017; 375-380. DOI: 10.1109/ICCAR.2017.7942721Евсиков А.А., Самарин И.В. Распознавание возгораний на панорамном изображении с использованием сверточной нейронной сети // Автоматизация и информатизация ТЭК. 2023. № 12 (605). C. 5–10. DOI: 10.33285/2782-604X-2023-12(605)-5-10Evsikov A.A., Samarin I.V. Fire recognition in panoramic images using convolutional neural network. Avtomatizatsiya i informatizatsiya TEK/Automation and informatization of the fuel and energy complex. 2023; 12(605):5-10. DOI: 10.33285/2782-604X-2023-12(605)-5-10 (rus).Krylov V.A., Kenny E., Dahyot R. Automatic discovery and geotagging of objects from street view imagery // Remote Sensing. 2018. Vol. 10. No. 5. DOI: 10.3390/rs10050661Krylov V.A., Kenny E., Dahyot R. Automatic discovery and geotagging of objects from street view imagery. Remote Sensing. 2018; 10(5). DOI: 10.3390/rs10050661Babahajiani P., Fan L., Kämäräinen J.K. Urban 3D segmentation and modelling from street view images and LiDAR point clouds // Machine Vision and Applications. 2017. No. 28. Pp. 679–694. DOI: 10.1007/s00138-017-0845-3Babahajiani P., Fan L., Kämäräinen J.K. Urban 3D segmentation and modelling from street view images and LiDAR point clouds. Machine Vision and Applications. 2017; 28:679-694. DOI: 10.1007/s00138-017-0845-3

The authors declare that there are no conflicts of interest present.