IMSITER
-
Sensor multimodal inteligente para identificación de características terramecánicas en vehículos autónomos rurales (IMSITER)
Entidad financiadora: Junta de Andalucia
Cuantía de la Subvención: 102.268€
Universidad: Universidad de Málaga
Duración: Desde 01/09/20 hasta 31/03/23
Investigadores Responsables: Carlos J. Pérez del Pulgar y Antonio Mandow Andaluz
Resumen
La innovación en sistemas de transporte inteligente no-urbano resulta crucial para el impulso y desarrollo de la movilidad y la logística en regiones que, como Andalucía, cuentan con una extensa red terrestre en entornos rurales que contribuye de manera notable a la economía de la región. En este sentido, la identificación inteligente de características del terreno constituye un reto tecnológico decisivo para lograr la movilidad segura y eficiente mediante vehículos inteligentes no-urbanos.
La misión del proyecto IMSITER es aportar un sistema multi-sensorial inteligente que permita la identificación de características del terreno relevantes para la movilidad de vehículos terrestres, tripulados o no, en entornos no-urbanos (off-road). Este sistema utilizará técnicas de aprendizaje automático (machine learning) en inteligencia artificial, como aprendizaje profundo (deep learning), para la identificación de características terramecánicas y de navegabilidad del suelo, tales como los coeficientes de derrape y de resistencia, a partir de la integración multimodal de un conjunto complejo de medidas. En concreto, está previsto que el sistema, concebido para su incorporación a bordo de un vehículo terrestre, integre información de cámaras multiespectrales, RGB-D, LIDAR, espectrometría y sensores proprioceptivos del vehículo. Mediante esta innovación, se proporcionará una capacidad cognitiva para vehículos y maquinaria en entornos no-urbanos que contribuirá a su seguridad y eficiencia. Los beneficios de este sistema incluyen la adaptabilidad del control de tracción ante distintos tipos y condiciones del terreno, la prevención de incidentes como el vuelco o atasco del vehículo, la reducción del impacto del vehículo en el suelo, la mejora de la eficiencia energética y, en definitiva, la evolución hacia una movilidad no-urbana inteligente con capacidades autónomas.
El sistema resultante del proyecto se validará y demostrará en vehículos robóticos no tripulados para escenarios de aplicación relevantes y estratégicas: explotaciones agrícolas y exploración planetaria. Con este fin, el proyecto cuenta con el apoyo de centros experimentales especializados, con lo que se facilitará la difusión de los resultados entre los potenciales usuarios finales del sistema.
Objetivos
La tecnología de los vehículos inteligentes está recibiendo un impulso enorme, tanto por parte de las empresas del sector de la automoción como del mundo académico y las instituciones públicas. Principalmente, las tecnologías que se están desarrollando están enfocadas en el ámbito urbano y las vías interurbanas, donde los sistemas inteligentes de a bordo pueden beneficiarse de las infraestructuras ya disponibles, como son el firme asfaltado y la señalización horizontal y vertical. Resulta indudable que el concepto de vehículo inteligente ofrece un potencial extraordinario para transformar la movilidad ciudadana, la distribución y la logística.
No obstante, la innovación en sistemas de transporte inteligente no-urbano resulta igualmente crucial para el impulso y desarrollo de la movilidad y la logística en regiones que, como Andalucía, cuentan con una extensa red terrestre en entornos rurales, la cual contribuye notablemente a la economía de la región. En definitiva, para lograr nuevos modelos sostenibles de movilidad, distribución y logística que puedan considerarse integrales, resulta imprescindible extender el concepto de vehículo inteligente a los entornos no-urbanos. En este sentido, uno de los retos de investigación más determinantes para el desarrollo de vehículos inteligentes no-urbanos seguros y fiables lo constituye la identificación inteligente de características terramecánicas del terreno, al no disponerse de un firme uniforme, estable y señalizado.
En el proyecto se partirá de experiencia investigadora e infraestructuras acumuladas por los grupos de investigación a los que pertenecen los investigadores que componen el equipo. Así, el grupo de Ingeniería de Sistemas y Automática (TEP 119) tiene experiencia consolidada en vehículos terrestres no tripulados para aplicaciones en robótica de campo, como la agricultura, las operaciones de respuesta a emergencias y la exploración planetaria. Dispone de vehículos robóticos resultado de ese trabajo previo, que incluyen el robot terrestre QUADRIGA y el vehículo de exploración todo-terreno RAMBLER. Otros recursos materiales de los que dispone el grupo incluyen: lidar 3D Uno-Laser y Uno-motion, patentados y transferidos a la industria por el grupo, sensores comerciales Velodyne VLP-16 y HDL-32, sistemas GPS diferencial con precisión centimétrica, comunicaciones LORAWAN, un vehículo ARGO 8x8 para terreno extremo y un sistema computacional de altas prestaciones para robótica cognitiva. También se dispone de un área de experimentación de 9 hectáreas con soporte técnico para la experimentación en campo abierto. Asimismo, el grupo de Procesado y Análisis de Materiales con Láser (FQM156) cuenta con resultados de investigación y soluciones técnicas eficaces en diversas áreas de aplicación del análisis y caracterización mediante espectrometría de plasmas inducidos por láser. Entre sus ámbitos de aplicación está la seguridad y defensa, así como la monitorización de la composición de suelo agrícola o del patrimonio cultural.
De la experiencia previa de los investigadores participantes en el proyecto se concluye que la identificación sensorial de las características terramecánicas del terreno requiere un esfuerzo de innovación que permita a los vehículos inteligentes la adaptabilidad del control de tracción ante distintos tipos y condiciones del suelo, la prevención de incidentes como el vuelco o el atasco en el terreno, la mejora de la eficiencia energética y, en definitiva, el aumento de la autonomía de manera fiable.
Objetivos generales
La misión del proyecto IMSITER es desarrollar un sensor multimodal inteligente que permita la identificación de características del terreno relevantes para la movilidad de vehículos terrestres, tripulados o no, en entornos rurales. El sistema permitirá identificar características terramecánicas y de navegabilidad del suelo, tales como los coeficientes de derrape y de resistencia, a partir de un conjunto complejo de medidas multimodales. Con objeto de lograr la integración y procesamiento de estas medidas, se desarrollaran nuevos procedimientos de identificación basados en técnicas de aprendizaje mediante aprendizaje computacional. En concreto, está previsto que el sistema, concebido para su incorporación a bordo de un vehículo, integre información de cámaras multiespectrales, RGB-D, lidar, un espectroscópio de reflectancia y sensores proprioceptivos del vehículo.
Mediante esta innovación, se proporcionará una importante capacidad cognitiva para vehículos y maquinaria en entornos rurales que contribuya a lograr una movilidad segura y eficiente en función de las características del terreno, como humedad, presencia de vegetación, tipo de suelo o granulometría. Los beneficios que persigue este sistema incluyen la adaptabilidad del control de tracción ante distintos tipos y condiciones del suelo, la prevención de incidentes como el vuelco del vehículo, la reducción de los efectos del paso del vehículo sobre el terreno, la mejora de la eficiencia energética y la evolución hacia una movilidad no-urbana inteligente con capacidades autónomas.
En última instancia, el reto tecnológico que se acomete en el proyecto implica la extracción automática de conocimiento útil del suelo para mejorar la seguridad y eficiencia de la movilidad cara a una futura generación de vehículos inteligentes para entornos rurales. El potencial de esta tecnología innovadora es enorme, pues no solo resultaría aplicable en vehículos inteligentes para transporte, explotación agrícola o logística a escala rural, sino también en otros entornos no-urbanos de elevado valor estratégico, como la exploración planetaria dentro de la industria aeroespacial.
En otro orden de ideas, el proyecto servirá para articular la colaboración multidisciplinar entre investigadores de dos grupos consolidados en la Universidad de Málaga. Además, el apoyo explícito de instituciones internacionales (Agencia Espacial Europea) y empresas contribuirá al objetivo de impulsar la futura participación de estos grupos de investigación andaluces en futuras convocatorias de proyectos transnacionales a nivel europeo.
Objetivos específicos
- Diseño y desarrollo de una sistema multi-sensorial embarcable capaz de proporcionar medidas multimodales con suficiente información útil para la estimación de parámetros terramecánicos. En principio, se consideran cámaras multiespectrales, RGB-D, lidar, un espectroscopía de reflectancia y sensores proprioceptivos del vehículo.
- Diseño y desarrollo de un espectrómetro de reflectancia pasiva integrable en el sistema multi-sensorial. Se considerará el diseño de componentes mecatrónicos para el enfoque y orientación dinámicos del sensor.
- Obtención y publicación de librerías de datos (data sets) georreferenciados obtenidos del conjunto de sensores del sistema para condiciones variadas de iluminación, ángulos de incidencia y tipos de terreno para distintas condiciones del suelo (e.g., humedad o compactación). Los datos serán útiles para el entrenamiento y validación de aprendizaje machine learning.
- Definición de un procedimiento de identificación de características terramecánicas que permita aplicar técnicas de machine learning basadas en redes neuronales, como deep learning. Este objetivo conlleva la defininición de un formato de representación de datos apropiado para el etiquetado y entrenamiento de la red.
- Integración del sistema multi-sensorial resultante en al menos un vehículo robótico terrestre autónomo, de manera que la componente cognitiva aportada por el sistema sirva para realizar operaciones de navegación segura con autonomía. El sistema embarcado se probará en distintos entornos de trabajo representativos de casos de aplicación.
Actividades realizadas durante la ejecución del proyecto
Actividad 1: Análisis de diferentes tipos de sensores
Se analizaron cámaras sensibles a diferentes rangos de onda, con el fin de discernir los rangos espectrales más idóneos para la caracterización de un terreno. En un primer momento, se planteó la posibilidad de emplear una cámara óptica sensible al rango visible e infrarrojo cercano (400-1100 nm). Esta cámara iría acompañada de una rueda de filtros que permitirían el paso de bandas de frecuencia especialmente seleccionadas, a saber, longitudes de onda de 500, 550, 600 y 900 nm. Sin embargo, se llegó a la conclusión de que los filtros dificultarían las mediciones en circunstancias de baja y media luminosidad al tener una transmitancia no ideal. A su vez, se consideró que la información de interés se podría obtener con los datos RGB recogidos por los filtros Bayer (450, 540 y 640 nm) empleados habitualmente en los sensores ópticos de las cámaras digitales de consumo.
También se planteó el uso de cámaras sensibles a parte del infrarrojo cercano (700-2500 nm). Este tipo de cámaras permitiría inferir la humedad de un terreno, ya que los puentes de hidrógeno del agua se encuentran naturalmente excitados en las longitudes de onda de 1450 y 1900 nm. Sin embargo, se descartaron debido a su elevado coste.
Por otra parte, se consideró el uso de cámaras termográficas que trabajasen en el infrarrojo lejano (7,5 - 13,5 µm), capaces de medir la temperatura del terreno de forma remota. Este tipo de sensores es adecuado para medir la inercia térmica de un terreno, parámetro estrechamente relacionado con la granularidad de éste, y por lo tanto su traversabilidad. Finalmente, se optó por realizar pruebas con ellas. La Figura 1 muestra la curva de temperatura de diferentes terrenos con diferente inercia térmica en función de la hora del día.
Figura 1. Curva de la temperatura de varios terrenos con diferente inercia térmica.
Actividad 2: Desarrollo de interfaz software con cada uno de los sensores
Se realizó una interfaz en C++ para la recogida y visualización de las imágenes en tiempo real obtenidas por la cámara termográfica. Además, se creó un programa en MATLAB para el posterior procesamiento y análisis de los datos. La Figura 2 muestra el interfaz desarrollado para la cámara termográfica, y la Figura 3 muestra el interfaz realizado para conectar los sensores exteriores.
Figura 2. Interfaz de la cámara termográfica.
Figura 3. Interfaz de los sensores en pruebas exteriores.
Además de esto, se ha trabajado en el diseño y fabricación de un sensor termográfico de bajo coste, basado en el dispositivo Teledyne FLIR Lepton, que permite la adquisición de imágenes termográficas en un dispositivo de tamaño reducido y bajo coste. La Figura 4 muestra este sensor que posee un tamaño de 10.5x10.5mm, y la Figura 5 muestra los resultados iniciales obtenidos de la adquisición de imágenes empleando este sensor.
Figura 4. Sensor termográfico Teledyne FLIR Lepton 3.5. Posee una resolución de 160x120 pixeles en un tamaño de 10.5x10.5mm.
Actividad 3: Realización de pruebas con sensores seleccionados
Se planificaron pruebas en exteriores con muestras de terreno de diferente navegabilidad. Los sensores empleados fueron:
- Una cámara termográfica, para medir la temperatura superficial de los terrenos.
- Un piranómetro, para obtener la irradiancia solar incidente en el terreno.
- Sondas de temperatura, para medir la temperatura subsuperficial del terreno.
- Un sensor de temperatura, presión y humedad ambiente.
Se comprobó que los terrenos mostraban diferentes perfiles debido a los cambios de temperatura ambiente ocasionados por la variación de la irradiancia solar incidente. La Figura 11 muestra la configuración del experimento, en el que se muestran tres cubetas que poseían tres terrenos claramente diferenciados, el primero de arena obtenida de la playa, el segundo se correspondía con un terreno mixto de arena con rocas, y el último era un terreno formado principalmente por rocas. En esta figura se pueden apreciar también los resultados obtenidos.
Figura 11. Pruebas de temperatura en exteriores.
Actividad 4: Preparación y realización de experimentos en cámara marciana
Se plantearon experimentos en los que varios tipos de terreno se introdujeron en la cámara marciana. Estos fueron sometidos a diversos perfiles de temperatura, simulando el perfil de irradiancia solar que se produce a lo largo de un día. También se experimentó con varios niveles de presión: terrestre y marciana. Previamente, se hizo un estudio en busca de un filtro que permitiese realizar mediciones térmicas desde el exterior de la cámara marciana. Esto es debido a que la cámara termográfica no funciona cuando se encuentra sometida a las temperaturas y presiones planificadas de la cámara marciana para estos experimentos. Se decidió optar por un filtro de germanio, adecuado para las condiciones operativas planteadas. La Figura 12 muestra las pruebas realizadas para comprobar que el cristal de germanio permitía tomar medidas de temperatura de manera correcta (izquierda), así como una imagen térmica del interior de la cámara en la que se colocaron dos terrenos diferentes. Se aprecia como uno de ellos alcanzar la temperatura máxima antes que el otro.
Figura 12. Pruebas del funcionamiento del filtro.
A partir de los resultados obtenidos se puede concluir que a menor presión, la variación de la inercia térmica para diferentes terrenos es mayor, dando lugar a una facilidad en la detección de diferentes tipos de sensores a menor presión atmosférica. Los resultados de este experimento han sido objeto de un artículo que se ha enviado para revisión al “Journal of Terramechanics” (IF: 2.284 Q4), cuyo pre-print ha sido publicado en arxiv.
Actividad 5: Investigación de algoritmos para la segmentación de terrenos
Esta investigación se ha llevado a cabo a través de dos líneas: el empleo de métodos tradicionales aplicados a visión por computador, junto con algoritmos de aprendizaje computacional (machine learning), y el empleo de redes neuronales.
Con respecto a la primera línea seguida, se ha propuesto una arquitectura basada en el procesado de imágenes aéreas y mapas de elevación (DEMs), las cuales son procesadas con el fin de obtener características de la imagen que puedan servir posteriormente para realizar la segmentación de las mismas a través de métodos de clasificación basados en aprendizaje computacional, como es el método k-means. La Figura 6 muestra la arquitectura propuesta. A partir de imágenes RGB y su correspondiente mapa de elevación, se aplica un procesado basado en la realización de diferentes transformaciones que permitirán la segmentación y clasificación de Diferentes terrenos dentro de una imagen aérea. A partir de la implantación de esta arquitectura, se pudo realizar la segmentación del terreno experimental que posee la Universidad de Málaga. La Figura 7 muestra la imagen aérea original, junto con la clasificación de diferentes terrenos en 5 y 10 grupos. Además de esto, la Figura 8 muestra el procesado que se realizó para la detección de zonas no transitables, debido a su inclinación y/o la presencia de obstáculos.
Figura 6. Arquitectura propuesta basada en técnicas tradicionales de visión por computador junto con el método de clasificación k-mean.
Figura 7. Ejemplo de segmentación del terreno.
Figura 8. Imagen con las zonas no transitables en negro.
Por otro lado, se han probado métodos basados en redes neuronales para la segmentación y clasificación de terrenos, así como la detección de obstáculos. En este último caso, se ha probado la red neuronal Mask R-CNN y se ha reentrenado para posibilitar la detección de obstáculos tales como rocas. La Figura 9 muestra varios ejemplos de las detecciones realizadas mediante en entrenamiento de esta red neuronal. Merece la pena destacar que esta configuración, no sólo permite la detección de los obstáculos, sino que muestra el área que ocupan dentro de la imagen, lo que es muy útil para determinar su tamaño y poder alimentar esta información al planificador del sistema robótico.
Figura 9. Resultados obtenidos con la red neuronal Mask R-CNN para la detección de obstáculos.
Ademas de esto, se ha realizado el diseño de una nueva arquitectura de red neuronal que fusiona dos existentes: OMNIVORE y uNET. La primera permite identificar objetos mediante información multisensorial, y la segunda permite realizar una segmentación de los objetos identificados. Mediante la fusión de estas dos arquitecturas en una nueva se ha conseguido mejorar el proceso de segmentación de terrenos empleando información multisensorial, en este caso, imágenes a color (RGB), distancia (D) y temperatura (T). La Figura 10 muestra los resultados obtenidos de una segmentación empleando todas las fuentes (RGB-D-T).
Figura 10. Segmentación y clasificación de imagen empleando información multisensorial. Azul: cielo, negro: desconocido, verde: vegetación, rojo: árboles, marrón: tierra, morado: grava.
El empleo de IA para el reconocimiento y segmentación de terrenos conlleva dos problemas a resolver. El primero relacionado con la dificultad de encontrar un dataset suficientemente grande para llevar a cabo el entrenamiento, de especial importancia en escenarios de exploración planetaria, y los requerimientos computaciones para el procesamiento de redes neuronales.
Para resolver el primer problema, se realizaron una serie de experimentos empleando entornos de simulación inmersivos, como el software Unreal Engine, éste software es empleado para la realización de animaciones 3D y juegos. En nuestro caso, se empleo para reconstruir un escenario marciano de alta resolución y así poder proporcionar un dataset se imágenes sintéticas que pudieran mejorar el entrenamiento en reconocimiento de objetos.
Por otro lado, el procesamiento de redes neuronales requiere procesadores potentes, los cuáles algunas veces no están disponibles, o bien por limitaciones de espacio, o por limitaciones en procesadores cualificados para trabajar en el espacio profundo. Para resolver este problema, realizamos una serie de experimentos con un chip específico (SoC) para el procesamiento de redes neuronales. En particular, se empleo el chip Google Coral, un dispositivo que se conecta por USB y permite ejecutar la inferencia de redes neuronales sin emplear la CPU.
Los resultados obtenidos mediante la aplicación de imágenes sintéticas junto con el uso de un hardware específico para el procesamiento de redes neuronales fue publicado en la revista “IEEE Robotics and Automation Letters”[3] (IF: 4,321 Q2).
Actividad 7: Pruebas con espectrógrafo láser de ruptura inducida (LIBS)
Con el fin de realizar una demostración preliminar sobre la dificultad de poder detectar diferentes terrenos con sistemas basados en espectrografía, se contactó con el Departamento de Física Aplicada I, que dispone de un espectrógrafo láser de ruptura inducida. Para esto se emplearon los mismos terrenos utilizados para los experimentos en la cámara marciana. Estos tres diferentes tipos de terrenos fueron expuestos al espectrómetro, obteniendo los espectros que se pueden apreciar en la Figura 14. A partir de los resultados obtenidos se llega a la conclusión que diferentes terrenos obtenidos de la misma área proporcionan un espectro parecido debido a que la composición química es bastante similar. Además, este tipo de sensores sólo puede realizar medida de un punto concreto, sin tener en cuenta un área mayor que sería la que posibilitaría la navegación de vehículos. Este tipo de sensores se considera interesante como un siguiente paso hacia el análisis químico de objetos que se pudieran encontrar en un proceso de exploración en el que se buscan composiciones químicas específicas.
Figura 14. Terrenos empleados para obtener los espectros (A, B y C).
Actividad 8: Diseño y fabricación de sensor multimodal
Como parte de los objetivos propuestos en esta actividad estaba el diseño y fabricación del sensor multimodal. Este sensor finalmente se ha basado en una cámara RGB-D Intel Real Sense i645i junto con una cámara termográfica Optris PI 640i. El diseño del encapsulado del sensor se ha realizado mediante impresión 3D. Éste se ha instalado en el robot OpenUMARov, desarrollado en la Universidad de Málaga, y en el rover MarTa propiedad de la Agencia Espacial Europea. La Figura 13 muestra la integración de este sensor en en la plataforma MarTa de la Agencia Espacial Europea.
Figura 13. Sensor multimodal instalado en MarTa.
Actividad 9: Planificación de caminos óptimo en terrenos irregulares
Los resultados obtenidos mediante la identificación y segmentación de terrenos necesitan ser procesados para generar el camino óptimo a seguir por un vehículo robótico. En este sentido, la forma en la que planifica y genera este camino depende normalmente de un coste que se asigna a cada punto de un mapa. Este coste, en la mayoría de los casos es un coste escalar, lo que significa que no tiene ninguna dirección. Sin embargo, a la hora de realizar una planificación eficiente, la dirección de coste cobra una relevancia especial, como es en el caso de terrenos con pendiente, en la cuál la dirección de la pendiente puede permitir al robot poder atravesar esa zona o no, incluso definiendo la orientación con la que podría atravesarla evitando su volcado.
Durante la ejecución de esta actividad se investigaron métodos novedosos que tuvieran en cuenta coste como un valor vectorial en lugar de escalar, permitiendo esto generar caminos de una forma más eficiente desde el punto de vista de consumo eléctrico, así como la seguridad para el vehículo.
Los resultados obtenidos fueron publicados en la revista Intelligent Service Robotics (IF: 2,468 Q3).
