Обнаружение очагов возгорания на технологических объектах с использованием сверточной нейронной сети

Введение. Рассматривается решение задачи обнаружения очагов возгорания на технологических объектах в автоматическом режиме. Для этого выбран подход по созданию сверточной нейронной сети, способной работать на видеопотоке в реальном времени.

Цели и задачи. Целью данной работы является создание нейронной сети, способной обнаруживать пламя и дым на изображении с камер видеонаблюдения. Задачи исследования: выбор оптимальной архитектуры нейронной сети в соответствии с последними исследованиями в этой области; ускорение работы выбранной архитектуры с помощью методов квантования и прореживания фильтров

Методы. Рассматриваются различные архитектуры сверточных нейронных сетей, выполняющих задачу обнаружения объектов на изображении. Сравниваются их быстродействие и качество работы. Изучается архитектура YOLOv5, ее целевая функция, методы обучения и способы ускорения работы.

Результаты и их обсуждение. Показаны результаты обучения сверточной нейронной сети архитектуры YOLOv5 для задачи обнаружения пламени и дыма, а изменение результатов при применении методов ускоре­ния нейронной сети. Определено, что использование таких методов ускорения, как квантование и фильт­рация фильтров, позволяет значительно увеличить скорость работы нейронной сети, почти не потеряв в точности работы.

Выводы. Определена архитектура нейронной сети для обнаружения очага возгорания. На основе выбранной архитектуры обучена нейронная сеть, способная обнаруживать пламя и дым на изображении. Скорость ее работы дает возможность обрабатывать видеопоток в реальном времени без использования графического ускорителя.

1. Mazur-Milecka M., Glowacka N., Kaczmarek M., Bujnowski A., Kaszynski M., RuminskiSmart J. City and fire detection using thermal imaging // 14th International Conference on Human System Interaction (HSI). 2021. Pp. 1–7. DOI: 10.1109/HSI52170.2021.9538699

2. Chacon M., Perez-Vargas F. Thermal Video Analysis for Fire Detection Using Shape Regularity and Intensity Saturation Features // Third Mexican Conference MCPR. 2011. Pp. 118–126. DOI: 10.1007/978-3-642-21587-2_13

3. Zaman T., Hasan M., Ahmed S., Ashfaq S. Fire Detection Using Computer Vision // IEEE 61st International Midwest Symposium on Circuits and Systems (MWSCAS). 2018. Pp. 356–359. DOI: 10.1109/MWSCAS.2018.8623842

4. Manjunatha K., Mohana H., Vijaya P. Implementation of Computer Vision Based Industrial Fire Safety Automation by Using Neuro-Fuzzy Algorithms // I.J. Information Technology and Computer Science. 2015. Pp. 14–27. DOI: 10.5815/ijitcs.2015.04.02

5. Mondal M., Prasad V., Kumar R., Saha N., Saumadeep G., Ratna G., Mukhopadhyay A., Sourav S. Automating Fire Detection and Suppression with Computer Vision: A Multi-Layered Filtering Approach to Enhanced Fire Safety and Rapid Response // Fire Technol. 2023. DOI: 10.1007/s10694-023-01392-w

6. Girshick R., Donahue J., Darrell T., Malik J. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation // 2014 IEEE Conference on Computer Vision and Pattern Recognition. 2014. Pp. 580–587. DOI: 10.1109/CVPR.2014.81

7. He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN // 2017 IEEE International Conference on Computer Vision (ICCV). 2017. Pp. 2980–2988. DOI: 10.1109/ICCV.2017.322

8. Lin T., Dollar P., Girshick R., He K., Hariharan B., Belongie S. Feature Pyramid Networks for Object Detection // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. Pp. 936–944. DOI: 10.1109/CVPR.2017.106

9. Liu Z. et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows // 2021 IEEE/CVF International Conference on Computer Vision (ICCV). 2021. Pp. 9992–10002. DOI: 10.1109/ICCV48922.2021.00986

10. Redmon J., Divvala S., Girshick R., Farhadi A. You Only Look Once: Unified, Real-Time Object Detection // CVPR. 2016. Pp. 779–788. DOI: 10.1109/CVPR.2016.91

11. Liu W. et al. SSD: Single Shot MultiBox Detector // Computer Vision — ECCV Lecture Notes in Computer Science. 2016. Vol. 9905. DOI: 10.1007/978-3-319-46448-0_2

12. Lin T., Goyal P., Girshick R., He K., Dollar P. Focal Loss for Dense Object Detection // 2020 IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. Vol. 42. Issue 2. Pp. 318–327. DOI: 10.1109/TPAMI.2018.2858826

13. Lin T. et al. Microsoft COCO: Common Objects in Context // ECCV 2014. Lecture Notes in Computer Science. 2014. Vol. 8693. DOI: 10.1007/978-3-319-10602-1_48

14. Sobti A., Arora C., Balakrishnan M. Object Detection in Real-Time Systems: Going Beyond Precision // 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). 2018. Pp. 1020–1028. DOI: 10.1109/WACV.2018.00117

15. Henderson P., Ferrari V. End-to-End Training of Object Class Detectors for Mean Average Precision // ACCV 2016. Lecture Notes in Computer Science. 2016. Vol. 10115. DOI: 10.1007/978-3-319-54193-8_13

16. Li C., Li L., Geng Y., Jiang H., Cheng M., Zhang B., Ke Z., Xu X., Chu X. YOLOv6 v3.0: A Full-Scale Reloading // arXiv: Computer Science. 2023. DOI: 10.48550/arXiv.2301.05586

17. Wang C., Yeh I., Liao H. You Only Learn One Representation: Unified Network for Multiple Tasks // Journal of Information Science and Engineering. 2021. Vol. 39. Issue 2. Pp. 691–709. DOI: 10.48550/arXiv.2105.04206

18. Wang C., Bochkovskiy A., Liao H. Scaled-YOLOv4: Scaling Cross Stage Partial Network // 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. Pp. 13024–13033. DOI: 10.1109/CVPR46437.2021.01283

19. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement // arXiv: Computer Science. 2018. DOI: 10.48550/arXiv.1804.02767

20. Ramachandran P., Zoph B., Le Q. Swish: a Self-Gated Activation Function // arXiv: Neural and Evolutionary Computing. 2017. DOI: 10.48550/arXiv.1710.05941

21. Robbins H. A Stochastic Approximation Method // Annals of Mathematical Statistics. 1951. Vol. 22. Pp. 400–407. DOI: 10.1214/aoms/1177729586

22. Kingma D., Ba J. Adam: A Method for Stochastic Optimization // arXiv: Computer Science. 2014. DOI: 10.48550/arXiv.1412.6980

23. Zhang Z. Improved Adam Optimizer for Deep Neural Networks // 2018 IEEE/ACM 26th International Symposium on Quality of Service (IWQoS). 2018. Pp. 1–2. DOI: 10.1109/IWQoS.2018.8624183