Recibido: 07 de Junio de 2020
Aceptado: 16 de Septiembre de 2020
Disponible: 11 de Noviembre de 2020
La evaluación del deterioro de las vías en Colombia se realiza por medio de inventarios manuales e inspecciones visuales. Los métodos de evaluación del estado de las vías adoptados por el INVIAS (Instituto Nacional de Vías) son VIZIR (Visión Inspection de Zones et Itinéraires Á Risque) y PCI (Paviment Condition Index). Estos determinan la gravedad de daño en pavimento flexible y rígido; sin embargo, pueden ser tediosos, subjetivos y requieren de la experiencia de un evaluador, lo que evidencia la necesidad de desarrollar metodologías de evaluación del estado de las vías. Este documento presenta una metodología para la evaluación de los deterioros presentes en pavimento flexible usando técnicas de fotogrametría terrestre y redes neuronales que está compuesta por seis etapas: i. Captura de las imágenes, ii. Preprocesamiento de las imágenes, iii. Segmentación mediante técnicas de detección de bordes, iv. Extracción de las características, v. Clasificación utilizando redes neuronales, y vi. Evaluación del área de afectación del deterioro. La metodología se evaluó con imágenes reales de pavimento con tres tipos de deterioro: grieta longitudinal, piel de cocodrilo y bache. Como clasificador se utilizó una red neuronal multicapa con configuración (12 12 3), entrenada utilizando el algoritmo Levenberg Marquardt de retropropagación. Se obtuvo una exactitud del 96 % en el clasificador, una sensibilidad de 93.33 % y una índice kappa de 0.936. Esta metodología es la base para la creación de un sistema automatizado de evaluación del deterioro presente en las vías, el cual puede contribuir en la reducción en tiempo y costo en los planes de gestión de mantenimiento de la infraestructura vial.
Palabras clave: Fotogrametría terrestre, redes neuronales, grietas en el pavimento, vías terrestres, procesamiento de imágenes.
In Colombia, road deterioration is assessed by means of road inventories and visual inspections. For this assessment, the Instituto Nacional de Vías (Colombia's National Road Institute) (abbreviated INVIAS in Spanish) uses the Vision Inspection de Zones et Itinéraires Á Risque (VIZIR) and Pavement Index Condition (PCI) methods. These two methods serve to determine the severity of damages in flexible and rigid pavements. However, they can be tedious and subjective and require an experienced evaluator, hence the need to develop new methods for road condition assessment. In this paper, we present a methodology to evaluate flexible pavement deterioration using terrestrial photogrammetry techniques and neural networks. The proposed methodology consists of six stages: (i) image capture, (ii) image preprocessing, (iii) segmentation via edge detection techniques, (iv) characteristic extraction, (v) classification using neural networks, and (vi) assessment of deteriorated areas. It is verified using real images of three different pavement distresses: longitudinal cracking, crocodile cracking, and pothole. As classifier, we use a multilayer neural network with a (12 12 3) configuration and trained using the Levenberg–Marquardt algorithm for backpropagation. The results show a classifier’s accuracy of 96 %, a sensitivity of 93.33 %, and a Cohen's Kappa coefficient of 93.67 %. Thus, our proposed methodology could pave the way for the development of an automated system to assess road deterioration, which may, in turn, reduce time and costs when designing road infrastructure maintenance plans.
Keywords: Terrestrial photogrammetry, neural networks, pavement cracking, roadways, image processing.
En Colombia, la evaluación del estado del pavimento en las vías se realiza mediante métodos que permiten recopilar y analizar información de estas. El método VIZIR (Visión Inspection de Zones et Itinéraires Á Risque) se utiliza para concreto flexible y permite clasificar los deterioros en degradaciones de tipo A, debidas a insuficiencias en la capacidad estructural, y degradaciones de tipo B, debidas a deficiencias constructivas y a las condiciones locales. Por su parte, el método PCI (Paviment Condition Index) se utiliza para cualquier tipo de pavimento y establece clase, severidad y cantidad de daño presente. Estos métodos se aplican a partir de inventarios manuales e inspecciones visuales [
Las técnicas de fotogrametría y procesamiento de imágenes permiten realizar mediciones en sitio, rápido procesamiento de información y bajo costo [
Los principales métodos de inspección de carreteras conforman tres categorías: manuales, automáticas y por vibraciones. El método Dynaflect opera sobre el principio de una fuerza vibratoria, que se coloca sobre el pavimento por medio de dos pequeñas ruedas de metal [
Los métodos manuales o tradicionales, se utiliza un vehículo que viaja por la carretera, se observan imperfecciones del pavimento y se toman apuntes de ubicación y tipo de fisuras. Estos métodos son caros, dispendiosos y poco precisos debido a la subjetividad de la persona que realiza la inspección. En los métodos automáticos se incorpora un vehículo como sensor al realizar adaptaciones de cámaras con el fin de adquirir tomas de la superficie de la carretera [
Las redes neuronales son una herramienta de clasificación [
Este documento propone una metodología para la evaluación del pavimento flexible usando técnicas de fotogrametría terrestre y redes neuronales; técnicas que han sido utilizadas para resolver problemas en áreas adyacentes por diferentes autores. El artículo se ordena de la siguiente manera: la sección 2, muestra los materiales y métodos; la sección 3, los resultados obtenidos; la sección 4, la discusión de los resultados; y, la sección 5, las conclusiones.
La metodología de evaluación propuesta en este documento consta de seis etapas: i. Captura de las imágenes desde un automóvil, ii. Preprocesamiento que permite eliminar la distorsión presente en la imagen y la mejora del contraste, iii. Segmentación mediante técnicas de detección de bordes y la trasformada de Beamlet, iv. Extracción de características, v. Clasificación con redes neuronales artificiales (RNA) y vi. Evaluación del área de afectación (ver Figura. 1).
2.1 Captura de las imágenes
Se desarrolla un montaje experimental que permite recolectar información de forma semiautomática, similar a lo realizado por [
Para la recolección de la información se capturan imágenes de 2624 x 2880 pixeles a velocidades entre 25 y 30 km/h, en diferentes horas del día (11am- 1 pm y 3-5pm). Entre estas imágenes se escogen las 365 capturadas a una velocidad de 25 km entre 3-5 pm debido a que con estas condiciones de captura se obtienen imágenes con menor efecto de borrosidad y sombras. Las 365 imágenes seleccionadas se etiquetan manualmente y se obtienen 228 con el deterioro de tipo grieta longitudinal, 122 del deterioro piel de cocodrilo y 15 del deterioro de tipo bache. Se descartan las imágenes identificadas como defectuosas por cambios repentinos en las condiciones de captura. El dataset seleccionado consta de 30 imágenes con el deterioro grieta longitudinal, 84 con piel de cocodrilo y 15 con baches. A partir de este se conforma un dataset de entrenamiento balanceado con 10 imágenes de cada tipo de deterioro y un dataset de validación con 10 imágenes para los tipos de deterioro grieta longitudinal y piel de cocodrilo y 5 para baches, (ver Tabla 1).
2.2 Preprocesamiento
Dado que la cámara usada tiene una lente gran angular, se realiza la corrección geométrica de las imágenes mediante el modelo de Zhengyou Zang’s [
Para cada ventana se calcula el valor medio G'mean de los niveles de los pixeles que se encuentran dentro del rango comprendido entre rl y rh. Finalmente, se modifica la intensidad de la imagen I, como se muestra en (3) [
Donde B es la intensidad de fondo constante.
2.3 Detección de bordes
En las imágenes, el vector gradiente indica las zonas y bordes donde existen cambios de tonalidad [
Donde I es la imagen y b es el Beamlet (haz elemental). También se puede definir como la suma de valores de los píxeles I(x,y), (ver (5)) [
𝑇(𝑏) = ∑(𝑥,𝑦)∈ 𝑏 𝐼(𝑥, 𝑦) (5)
La transformada Beamlet ha sido usada con éxito en la detección de líneas, curvas y objetos en imágenes ruidosas provenientes de sensores remotos [
El tamaño de ventana que mejor define el deterioro tipo grieta longitudinal es de 16 y el umbral escogido de 0.5, ya que se logra detectar el borde sin perder la forma de este, (ver Figura 3). El umbral escogido para el caso de la piel de cocodrilo y los baches es de 0.7, con un tamaño de ventana de 16. Dado que no se encuentra un umbral en general para los tres tipos de deterioro en la detección de los bordes, las imágenes van a recorrer el mismo proceso con los dos umbrales de 0.5 y 0.7.
Las operaciones morfológicas permiten modificar la forma de los objetos en una imagen a partir de cambios en la intensidad de los pixeles en una vecindad [
Se rellenan los espacios que quedan vacíos después de la umbralización (ver Figura 5), y se esqueletizan los bordes con el fin de detectar el eje medio del borde. Sin embargo, al realizar esta operación morfológica, se generan una serie de ramificaciones no deseadas en el eje del borde que deben ser eliminadas para dejar solamente el deterioro [
En el caso de la grieta longitudinal, se tiene en cuenta la orientación como criterio para su identificación. Esta es obtenida a través del etiquetado de cada región de la imagen [
Debido a que no se logra encontrar un solo umbral, es necesario aplicar diferentes umbrales según el tipo de deterioro (ver Tabla 2), generando tres imágenes. A estas imágenes se les calcula el área de los objetos y se define un umbral de forma heurística, en donde si el área es menor a los 1000 pixeles se considera pavimento sano y la imagen sale del proceso.
2.4 Extracción de características
La extracción de características se utiliza para encontrar la información relevante que permita discriminar a qué clase pertenece un elemento. Un vector de características debe cumplir con 5 propiedades importantes: discriminación, fiabilidad, incorrelación, cálculo y dimensionalidad [
El vector de características definido para la metodología se forma al concatenar los cuatro primeros momentos invariantes de las tres imágenes resultantes de la etapa de detección de bordes. Así, el vector de características para la imagen es de 12 dimensiones.
2.5 Clasificación
Se usa un clasificador supervisado basado en redes neuronales artificiales tipo perceptrón multicapa (MLP) [
El número de neuronas en la capa oculta se determinó de forma experimental [
2.6 Evaluación del deterioro
Para evaluar el deterioro de las vías se adaptó el manual de deterioros de pavimentos flexible [
Para evaluar el desempeño de la metodología propuesta se realizó una captura de imágenes en pavimentos reales, se etiquetaron las imágenes manualmente. Además, se determinó la mejor estructura para una red MLP en la etapa de clasificación y se evaluó un conjunto de imágenes usando una adaptación del manual de deterioros de pavimento flexible.
La metodología presentó un tiempo de procesamiento de aproximadamente 9 minutos por imagen. A continuación, se describen las pruebas realizadas.
3.1 Clasificación usando RNA
Se construyeron 15 RNA con 12 neuronas en la capa de entrada. El vector de entrada está compuesto por los 4 primeros momentos invariantes de las tres imágenes resultantes de la etapa de detección de bordes; la capa de salida está compuesta por 3 neuronas que codifican el tipo de deterioro, como se muestra en la Tabla 3.
Debido a que solo se capturaron 15 deterioros de tipo bache y esto es un limitante en la cantidad de patrones a emplear de las demás clases, ya que en este proceso se debe tener en cuenta el máximo número de imágenes o patrones de cada clase para que la RNA no reconozca más un patrón que otro, se emplearon en el proceso de entrenamiento 30 imágenes, 10 por cada deterioro.
Para determinar el mejor clasificador basado en una red MLP, se entrenaron distintas redes variando la cantidad de neuronas en la capa oculta entre 1 y 15, entrenando con el dataset balanceado de 10 imágenes de cada deterioro y se escogieron las 6 redes de menor error medio cuadrático (ver Tabla 4).
N- de neuronas en la capa oculta | Error medio cuadrático | Exactitud (%) | Sensibilidad (%) | Precisión (%) | Kappa |
3 | 0.045 | 60.00 | 66.66 | 44.44 | 0.444 |
5 | 0.044 | 72.00 | 67.66 | 64.33 | 0.567 |
6 | 0.017 | 88.00 | 80.00 | 92.30 | 0.805 |
7 | 0.040 | 84.00 | 76.67 | 90.48 | 0.740 |
8 | 0.039 | 88.00 | 80.00 | 92.30 | 0.805 |
12 | 0.038 | 96.00 | 93.33 | 96.97 | 0.936 |
La red neuronal escogida presenta la siguiente configuración (12 12 3). A pesar de no ser la de menor error medio cuadrático obtuvo una mayor exactitud en la clasificación (ver Tabla 4). Esta presentó el mejor desempeño entre los clasificadores evaluados con una exactitud global del 96 %, una precisión de 96.97 %, una sensibilidad de 93.33 % y un índice kappa de 0.936.
La matriz de confusión obtenida para la RNA (12 12 3) se muestra en la Tabla 5. Esta confundió únicamente un deterioro de tipo bache con piel de cocodrilo. Teniendo en cuenta que algunas de las imágenes escogidas para la validación no se encontraban totalmente libres de ruido y presentaban el deterioro más de una vez, se trató de encontrar la red neuronal que mejor clasificara a pesar de estos problemas.
3.2 Evaluación del nivel de afectación
Se evaluó el nivel de afectación para cada una de las imágenes. Para el caso del deterioro tipo bache (ver Figura 6), la imagen A obtuvo un área de afectación del 6 %, lo que indica un grado de afectación medio; para el deterioro piel de cocodrilo imagen B, el área de afectación fue de aproximadamente el 12 %, lo cual muestra un grado de afectación de nivel medio; y, para la grieta longitudinal imagen C, el grado de afectación fue de 1.45 %, equivalente a nivel ligero. El cálculo se realizó considerando que el área del deterioro se encuentra en función del número de pixeles, por lo que el grado de afectación estará influenciado por ellos.
Como clasificador de los deterioros se utilizó una red neuronal perceptrón multicapa con configuración (12 12 3). El clasificador tuvo una exactitud general del 96 %, producto de confundir un deterioro tipo bache con el deterioro piel de cocodrilo. Esta arquitectura del clasificador es similar a la utilizada por [
Estudio | Exactitud del clasificador (%) | ||||||
Total | Grieta longitudinal | Grieta transversal | Grieta bloque | Piel de cocodrilo | Bache | Sin deterioro | |
[13] | 97.5 | 97.5 | 100 | - | - | 95.0 | - |
[11] | 92.5 | 88.0 | 100 | - | 97.5 | - | - |
[30] | 84.2 | 89.5 | 82.0 | - | 77.5 | - | 88.0 |
[3] | 98.6 | 98.4 | 98.4 | 97.6 | 100 | - | - |
Propio | 96.0 | 100 | - | - | 100 | 80 | - |
La transformada de Beamlet, a comparación de los operadores clásicos, ofrece una representación óptima y mayor precisión de la posición, localización y orientación en la detección del borde; sin embargo, es necesario aplicar una etapa de limpieza de bordes para evitar falsas detecciones de grieta, como lo menciona [
El tiempo de procesamiento en este proyecto es de aproximadamente 9 minutos para una imagen de 2624 x 2880 pixeles. Esta medición está influenciada por las características del hardware utilizado. La transformada de Beamlet es el proceso de la metodología propuesta que demanda más recursos computacionales, lo que aumenta considerablemente el tiempo de procesamiento reportado en [
A diferencia de [
Se desarrolló una metodología semiautomática que permite la detección de distintos deterioros en pavimentos (grieta longitudinal, bache y piel de cocodrilo) y realiza una evaluación cuantitativa de los mismos, lo que la convierte en insumo para la oportuna toma de decisiones en cuanto al mantenimiento de la malla vial.
Entre los clasificadores evaluados, la arquitectura con mejor desempeño para la clasificación de los deterioros presentes en el pavimento flexible es una red neuronal perceptrón multicapa con configuración (12 12 3), entrenada con el algoritmo Levenberg Marquardt de retro propagación. Este clasificador obtuvo un porcentaje de aciertos del 96 %, una precisión total del 96.97 %, una sensibilidad de 93.33 % y una índice kappa de 0.936. Para los tipos de deterioro piel de cocodrilo y grieta longitudinal se alcanzó una exactitud en la clasificación del 100 % y 80 % para el deterioro tipo bache.
El sistema propuesto para la evaluación del deterioro de las vías puede complementarse incorporando sistemas de iluminación que disminuyan el efecto de sombras en las imágenes e información de la ubicación espacial de los deterioros detectados. Además, se recomienda introducir clasificadores basados en redes convolucionales que pueden mejorar la precisión de la detección al usar mayores recursos computacionales y algoritmos más elaborados.
Finalmente, se recomienda adaptar y aplicar esta metodología para abarcar los tipos de pavimento flexible y rígido.
Universidad del Valle por el apoyo para el desarrollo de la investigación. El artículo no cuenta con ninguna financiación o apoyo económico.
Los autores declaran que no se presentan conflictos de interés.
Lizette Tello-Cifuentes autor de conceptualización, diseño y desarrollo de la investigación, para tesis de pregrado y escritora del artículo.
Marcela Aguirre- S. autor de conceptualización, diseño y desarrollo de la investigación, para tesis de pregrado y apoyo en la escritura del artículo.
Jean P. Díaz-Paz autor que contribuyó como director de tesis, durante el planteamiento y desarrollo de la investigación y apoyo en la escritura del artículo.
Francisco Hernández autor que contribuyó como director de tesis, durante el planteamiento y desarrollo de la investigación y apoyo en la escritura del artículo.