Дорожнє покриття є важливою частиною інфраструктури та відіграє ключову роль у забезпеченні безпеки та комфорту дорожнього руху. Проте з часом дорожнє покриття піддається руйнуванню та пошкодженням під впливом інтенсивного транспортного руху, негативних погодних умов та інших факторів. Пошкоджене дорожнє покриття, таке як тріщини, ями, вибоїни та інші дефекти, не лише призводить до дискомфорту для водіїв та пасажирів, але і є загрозою для безпеки дорожнього руху. Більше того, відновлення та ремонт доріг вимагає значних фінансових витрат та робочої сили. Швидке та ефективне виявлення цих пошкоджень є важливим завданням для підтримки дорожньої інфраструктури та забезпечення безпеки на дорозі. Один із передових підходів до виявлення пошкоджень дорожнього покриття на сьогоднішній день полягає у використанні глибокого навчання, зокрема згорткових нейронних мереж (CNN). CNN вже довели свою високу ефективність у завданнях обробки зображень та відео та можуть бути потужним інструментом для автоматизованого розпізнавання різних видів пошкоджень на дорожньому покритті на відео.
Постановка завдання
Проблема полягає в необхідності розробки та вдосконалення методів розпізнавання пошкоджень дорожнього покриття на відео для автоматизованого моніторингу та оперативного реагування на стан доріг, зокрема, використовуючи моделі конволюційних нейронних мереж (CNN). У сучасних умовах ефективне утримання дорожнього покриття та забезпечення безпеки дорожнього руху вимагає вчасного та точного виявлення пошкоджень, таких як ями чи тріщини. Однак існуючі методи виявлення цих пошкоджень на відео залишають бажати кращого у відношенні точності та швидкодії. Тому актуальною є постановка проблеми створення ефективних моделей глибокого навчання на основі конволюційних нейронних мереж (CNN) для автоматичного розпізнавання та класифікації різних типів пошкоджень дорожнього покриття на відео. Це вирішення має на меті поліпшити точність виявлення, знизити час реакції та забезпечити оперативну взаємодію з утриманням доріг для подальшого підвищення їхньої якості та безпеки.
Аналіз останніх досліджень
Автори [1] представили набір даних RDD2020, який містить понад 26,000 зображень доріг з трьох країн та понад 31,000 випадків пошкоджень дорожнього покриття, таких як тріщини і ями. Цей набір даних призначений для розробки методів глибокого навчання для автоматичного виявлення і класифікації дорожнього пошкодження. У [2] йдеться про дослідження в області виявлення пошкоджень дорожнього покриття за допомогою обробки зображень. Дослідники роблять три важливих внески до вирішення проблем виявлення пошкоджень доріг. По-перше, вперше був підготовлений великий набір даних пошкоджень дорожнього покриття, що включає 9,053 зображення дорожніх пошкоджень, знятих за допомогою смартфона, встановленого на автомобілі, та містить 15,435 випадків пошкоджень дорожнього покриття. Автори з [3] піднімають проблему пошкоджень дорожнього покриття та їх вплив на безпеку на дорозі. Запропоновано використання повністю згорткових нейронних мереж (CNN) для виявлення пошкоджень дорожнього покриття з використанням методів напівнавчаного навчання. Спочатку навчальна база даних збирається за допомогою камери, встановленої на автомобілі під час руху по дорозі. Модель CNN навчається у формі семантичної сегментації з використанням глибокого згорткового автоенкодера. Тренувальний набір даних був розширений за допомогою варіацій яскравості, і було створено загалом 40,536 зображень для навчання. У [4] розглядається використання глибокого навчання для управління інфраструктурою дорожнього покриття з метою покращення безпеки та ефективності транспортної мережі. Дослідження презентує модель виявлення об'єктів You Only Look Once version 5 (YOLOv5), навчену на найновішому наборі даних Road Damage Detection 2022 (RDD 2022), який включає чотири типи пошкоджень дорожнього покриття. Модель YOLOv5 була покращена за допомогою різних технік, включаючи модуль ефективного канального уваги (ECA-Net), згладжування міток, алгоритм K-means++, фокусовану втрату та інші. В результаті цих покращень досягнуто підвищення точності та загальної ефективності моделі порівняно з базовою версією YOLOv5. Стаття [5] розглядає використання глибокого навчання для вирішення завдань виявлення об'єктів в реальному світі, зокрема виявлення пошкоджень на дорозі. Дослідження описує використання моделі YOLOv5x для виявлення різних типів пошкоджень дорожнього покриття в рамках конкурсу IEEE BigData Cup Challenge 2020.
Формулювання цілей статті
Мета роботи полягає в дослідженні та розробці системи розпізнавання пошкоджень дорожнього покриття на відео за допомогою моделей з глибоким навчанням, зокрема згорткових нейронних мереж (CNN).
Виклад основного матеріалу
Огляд набору даних
Обраний набір даних [7] містить понад 5 000 зображень ям на дорозі, знятих у різних умовах. Ці зображення були зібрані за допомогою платформи збору даних від багатьох різних джерел, більш ніж з 2000 різних місць, і в кожному випадку кожне зображення було вручну переглянуте та перевірене комп'ютерними візіонерами з Datacluster Labs. Датасет містить широкий спектр зображень, на яких зображені пошкоджені дороги, такі як ями або тріщини, і він може бути використаний для тренування моделей машинного навчання для розпізнавання таких дорожніх дефектів.
Етапи процесу розпізнавання пошкоджень дорожнього покриття
Збір даних. Набори даних виявлення об’єктів мають два набори міток, один — це мітка класу для об’єктів, а другий — це обмежувальні рамки для кожного об’єкта. Обмежувальні рамки містять координати (x,y) чотирьох кутів, де присутній об’єкт. Для конкретного завдання, наприклад виявлення вибоїн, може не бути анотованих наборів даних. Тому доводиться створювати набір даних, який включає мітки класів і обмежувальні рамки.
Попередня обробка даних. Для підготовки даних до навчання моделі CNN, вони можуть бути розділені на тренувальний та тестовий набори, забезпечуючи різноманітність умов освітлення, погодних умов та типів пошкоджень. Зображення може бути розміром або вирізано для визначення регіону інтересу (ROI), що зменшить обсяг обчислень та поліпшить продуктивність.
Вибір моделі. Як правило, принцип розпізнавання об’єктів за допомогою моделей CNN, полягає у спостереженні за зображенням, потрібно визначити різні ознаки, форми та краї на зображенні. Виходячи з зібраної інформації, можна зробити висновок, що це собака чи автомобіль, тощо. Саме це роблять приховані шари в CNN – знаходять особливості на зображенні.
Модифікація моделі для застосування методів аугментації даних. Для підвищення ефективності розпізнавання пошкоджень дорожнього покриття на відео за допомогою моделей CNN та збільшення стійкості моделі до різних умов, було вирішено впровадити методи аугментації даних. Оскільки на дорозі можуть зустрічатися прозорі або відбиваючі об'єкти, впроваджено методи аугментації для реалістичного моделювання цих умов та поліпшення вірогідності їх розпізнавання.
Тренування моделі. Для оцінки ефективності моделі дані були розбиті на тренувальний та тестовий набір. Зазвичай, 80% даних використовувалися для тренування, а решта - для тестування. Під цю задачу була обрана відповідна архітектура моделі CNN, яка мала здатність розпізнавання різних типів пошкоджень дорожнього покриття на відео. Було застосовано визначення оптимальних гіперпараметрів моделі, таких як швидкість навчання, розмір пакету та інші, для досягнення оптимальних результатів. Тренування моделі проходить наступним чином:
Крок 1: Змінюється розмір зображення під розмір 416 x 416 перед початком навчання нейронної мережі, щоб їх подавати батчами (для прискорення навчання). Крок 2: Зображення ділиться на клітини розміром a * a. Прийнято ділити на клітини розміром 13x13, які називають bounding boxes. Крок 3: Картинка з датасету проганяється через нейронну мережу. Варто зауважити, що окрім картинки в тренувальному датасеті, повинні бути визначені позиції та розміри справжніх bounding boxes для об'єктів, які є на ній. Це називається «анотація» і робиться це переважно вручну. Крок 4: Вираховується величина objectness, яка знадобиться, коли для кожного конкретного об'єкта вважається загальний confidence score - значення яке визначає впевненість, що це саме потрібний нам об'єкт розташований всередині передбачуваного прямокутника. Цей параметр визначається за допомогою метрики IoU під час навчання. На початку можна виставити поріг для цієї метрики, і якщо передбачений bounding box буде вище цього порога, то у нього буде objectness дорівнювати одиниці, а решта bounding boxes, у яких objectness нижче, будуть виключені. Тобто для кожного передбачуваного bounding box потрібно множити його IoU на ймовірність того, що це певний об'єкт, береться найкращу ймовірність з усіх можливих, і якщо число після множення перевищує певний поріг, то залишається цей передбачений bounding box на зображенні.
Оцінка моделі. Оцінювання ефективності роботи моделей машинного навчання, включаючи моделі CNN, важливе для визначення їхньої продуктивності та придатності для конкретного завдання. Існує кілька ключових показників для оцінки ефективності моделі:
-Intersection over Union (IoU): IoU вимірює перекриття між передбаченими межами областей та межами областей об'єктів у реальних даних. Він обчислюється як відношення площі перетину до площі об'єднання. Високий показник IoU вказує на добре просторове перекриття між передбаченими та справжніми межами областей.
-Mean Average Precision (mAP): mAP є середнім значенням значень точності (AP) для кількох класів об'єктів.
Отже, за результатами навчання, оцінка точності mAP дорівнює 93.75%, а значення IoU на останній ітерації дорівнювало 0.87. На рис. 1 зображено знімок екрану результату розпізнавання дорожніх пошкоджень, який представлений у якості відео.
Рис. 1. Знімок екрану результату в якості відео.
Висновок
У ході проведеного дослідження з розпізнавання пошкоджень дорожнього покриття на відео за допомогою моделей з конволюційними нейронними мережами (CNN) були отримані значущі результати та висновки. Зазначений датасет був створений, враховуючи вимоги реальних умов експлуатації, і включає велику кількість відеофрагментів з різних джерел та освітлення. Додаткове поповнення данних було виконано для забезпечення різноманітності та репрезентативності даних. Модель CNN була модифікована для покращення точності та швидкодії розпізнавання пошкоджень дорожнього покриття. Застосовано методи аугментації даних та використано передові архітектури, щоб досягти оптимальних результатів. Як результат, оцінка точності натренованої моделі mAP дорівнює 93.75%, а значення IoU на останній ітерації дорівнювало 0.87. Отже, дослідження вказують на великий потенціал використання моделей CNN для реалізації систем розпізнавання пошкоджень дорожнього покриття на відео з метою підвищення безпеки та ефективності управління дорожньо-транспортною інфраструктурою.
Список літератури:
[1] B. Kulambayev et al., «A Deep Learning-Based Approach for Road Surface Damage Detection», Computers, Materials & Continua, вип. 73, вип. 2, с. 3403–3418, 2022, doi: 10.32604/cmc.2022.029544.
[2] «Build you Computer Vision Application – Part V: Road pothole detector using YOLO-V5», The Bayesian Quest. Дата звернення: 29, Вересень 2023. [Online]. Доступний у: https://bayesianquest.com/2022/07/25/build-you-computer-vision-application-part-v-road-pothole-detector-using-yolo-v5/
[3] K. Hacıefendioğlu і H. B. Başağa, «Concrete Road Crack Detection Using Deep Learning-Based Faster R-CNN Method», Iran J Sci Technol Trans Civ Eng, вип. 46, вип. 2, с. 1621–1633, Квіт 2022, doi: 10.1007/s40996-021-00671-2.
[4] X. Y. Long, S. K. Zhao, C. Jiang, W. P. Li, і C. H. Liu, «Deep learning-based planar crack damage evaluation using convolutional neural networks», Engineering Fracture Mechanics, вип. 246, с. 107604, Квіт 2021, doi: 10.1016/j.engfracmech.2021.107604.
[5] M. J. Heidari, A. Najafi, і J. G. Borges, «Forest roads damage detection based on deep learning algorithms», Scandinavian Journal of Forest Research, вип. 37, вип. 5–8, с. 366–375, Лис 2022, doi: 10.1080/02827581.2022.2147213.
[6] A. A. Sami, S. Sakib, K. Deb, і I. H. Sarker, «Improved YOLOv5-Based Real-Time Road Pavement Damage Detection in Road Infrastructure Management», Algorithms, вип. 16, вип. 9, Art. вип. 9, Вер 2023, doi: 10.3390/a16090452.
[7]«Potholes or Cracks on Road Image Dataset». Дата звернення: 14, Листопад 2023. [Online]. Доступний у: https://www.kaggle.com/datasets/dataclusterlabs/potholes-or-cracks-on-road-image-dataset
_____________________________________________________________
Науковий керівник: Яковина Віталій Стеанович, доктор технічних наук, професор, Національний університет "Львівська політехніка"
|
Голосування 
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter