[:es]Columna del jefe de la división de Aeronáutica y Defensa en Teradata[:]
10 Enero 2018
[:es]
Por: Christophe Conche, jefe de la división de Aeronáutica y Defensa en Teradata
Acompáñanos a conocer el funcionamiento preventivo de un BOEING 787
"Hola. Bienvenido a bordo del vuelo con destino a Toulouse. Por favor, coloque su asiento en posición vertical, pliegue su mesa y guarde todas sus pertenencias en la parte inferior del asiento de enfrente. Siéntase tranquilo y seguro, los 10,000 sensores de este Boeing 787 ayudarán a nuestro capitán y a su tripulación para garantizarle un vuelo agradable y seguro”.
Actualmente, los pasajeros desconocen que hay aviones que ya cuentan con sensores y computadoras a bordo, así como con los sistemas analíticos en tierra, que brindan a los equipos de mantenimiento de las aeronaves toda la información y análisis necesarios para optimizar las operaciones y mejorar la seguridad de un vuelo.
Pero si te estás yendo de vacaciones y deseas volar a algún lugar de país o del mundo, acompáñame a conocer cómo funciona el análisis de datos aeronáuticos:
Mientras descansas tranquilamente a varios miles de metros de altitud, un Boeing analiza todos sus componentes. Más de 10,000 sensores monitorean y miden continuamente lo que está sucediendo en la aeronave y en su entorno: el funcionamiento del motor, la temperatura, la presión, la vibración, la electricidad, si hay turbulencia, la altitud, la humedad... Los factores a estudiar son numerosos. Y, cuando ocurre un incidente, es la secuencia de acontecimientos y el estudio de todos estos parámetros los que permiten comprender qué sucedió y cómo debe repararse.
Pero los sensores no son la única fuente de información. Cuando el avión aterriza, mientras los pasajeros descienden -y antes de que se asigne a un próximo vuelo- se descargan y analizan varios tipos de datos:
En resumen, la famosa "caja negra", que desafortunadamente se menciona muchas veces durante los accidentes y que en realidad es naranja, es lo que se llama un "registrador de vuelo" y se utiliza para recopilar todos estos datos. Su contenido se descarga después de cada aterrizaje, antes de que se utilice la aeronave para un próximo vuelo.
El problema: poner en orden correcto 15GB de datos por vuelo
De acuerdo con lo mencionado anteriormente, toda la información almacenada en el datawarehouse se recupera de diversas fuentes y pueden ser datos estructurados y no estructurados, cuyo análisis permitirá hacer una toma oportuna de decisiones.
De esta forma, los tripulantes de mantenimiento pueden hacer frente a la siguiente situación: el piloto al mando anotó en el cuaderno de bitácora que oyó un ruido del motor izquierdo al comienzo del descenso durante quince segundos. ¿Qué hay que hacer? ¿Debe haber una operación de mantenimiento? ¿Qué originó este ruido y por qué parámetros fue causado? Y más específicamente... ¿Puede el avión partir a un próximo vuelo y ser seguro para los pasajeros y la tripulación?
Para realizar este análisis en unos minutos, debemos conectar el conjunto de datos y recrear la secuencia de eventos. Con esto ya estamos hablando de Big Data. Se estima que cada vuelo de un Boeing 787 generará alrededor de 15 GB de datos, en forma de una tabla de 60 millones de líneas. Y, por supuesto, hay que comparar los datos de un vuelo con los de otros vuelos, para establecer posibles correlaciones. Si tomamos en cuenta que hay aproximadamente 340,000 vuelos de 787 por año, se generaran miles de millones de líneas y varios petabytes de datos que deben ser analizados.
Por si esto fuera poco, también se debe tomar en cuenta que los sensores no envían sus datos al mismo tiempo. Ante esto, es imposible registrar la información de miles de sensores durante el segundo más cercano.
Existen también muchos sensores que envían una señal sólo cuando se cambia la información, es decir, que en estos casos ninguna señal significa que el último valor sigue siendo válido. En estos casos, el primer trabajo consiste en alinear el conjunto de datos para responder a la siguiente pregunta: ¿Cuál era el estado de todos los sensores del vuelo en un momento preciso?
Inicialmente Boeing había realizado este trabajo a través de una base de datos SQL tradicional. ¡Pero tardaban 200 horas de consultas para analizar 100 horas de datos de vuelo! Con estos tiempos, no se puede configurar un análisis en tiempo real, ni calcular modelos de aprendizaje automático.
La solución: una base de datos temporal para identificar enlaces entre eventos
Para lograr esto, Boeing decidió utilizar las funciones de análisis en tiempo real de la base de datos Teradata 14.10. Esta plataforma comprende un conjunto de funciones adicionales que optimizan el manejo y la consulta de datos temporales.
Desde un punto de vista técnico, quiere decir que los datos de los registradores de vuelo se descargan primero en un lago de datos a través de una estructura de archivos Hadoop de Hortonworks. A continuación, se normalizan, es decir que el conjunto de datos temporales vuelve a ser coherente y alineado. Luego, los datos se integran al almacén de datos de Teradata, a través de Hive y Teradata QueryGrid, en donde se implementan las funciones de gestión de datos en tiempo real, para que los datos queden disponibles como una "tabla de hechos" y pueden ser solicitados. Otro objetivo es reducir el volumen de los datos generados, transformando cada secuencia de instantes en un período de tiempo, es decir que cuando los datos no cambian, se vuelve innecesario mantener toda la información y sólo se conservan puntos de datos cuando cambian. De esta manera, en la base de datos un "periodo" se convierte en un tipo de datos de tiempo. Este trabajo permite resolver dos problemas: la alineación temporal de los datos y la intersección temporal, que permite, a través de un comando, conocer el estado del conjunto de sensores en un instante y así establecer correlaciones entre diferentes eventos.
Ganancias obvias: reducción del volumen de datos y la eficiencia de la consulta
Los números hablan por sí mismos: Una vez que se han procesado los datos temporales, se logran reducir los 15GB de datos por vuelo descargados de la grabadora de vuelo a 190MB. Con la función de normalización de datos de tiempo, se puede reducir hasta 292 veces el número de líneas de datos. Y en términos de análisis, las ganancias son aún más impresionantes.
Mencionamos anteriormente que se requerían 200 horas para ejecutar un análisis de 100 horas de vuelos... ¡Ahora son suficientes 17 minutos para analizar los datos de 1000 vuelos! Desde una perspectiva empresarial, esto significa que los científicos de datos pueden realizar más investigaciones, más comprobaciones cruzadas, probar varios modelos de posibles incidentes y, en última instancia, mejorar tanto la previsión de mantenimiento como la seguridad de los vuelos.
Y en el futuro, los datos de audio e imagen se podrán recopilar y analizar de la misma manera y volverse una cadena de eventos basada en el tiempo. Podremos entonces preguntar de la misma manera si dos sonidos o dos imágenes son idénticas en el mismo período de tiempo. Los mismos principios de normalización y gestión del período se aplicarán para los datos no estructurados.
Así, al abordar su próximo vuelo, usted tendrá una idea de los algoritmos que funcionarán en los siguientes minutos, para garantizarle una salida o retorno seguro. ¡Es la cara oculta de este maravilloso mundo de la aviación!
Sobre el autor
Christophe Conche tiene 19 años de experiencia con las principales compañías de software. Ahora es el jefe de la división de Aeronáutica y Defensa en Teradata. Previamente Christophe Conche, solía mostrar cómo las soluciones innovadoras podrían transformar el sector aeronáutico. Hoy en día, Christophe Conche también quiere convencer que una valorización de los datos podría servir al sector aeronáutico.[:]
Por: Christophe Conche, jefe de la división de Aeronáutica y Defensa en Teradata
Acompáñanos a conocer el funcionamiento preventivo de un BOEING 787
"Hola. Bienvenido a bordo del vuelo con destino a Toulouse. Por favor, coloque su asiento en posición vertical, pliegue su mesa y guarde todas sus pertenencias en la parte inferior del asiento de enfrente. Siéntase tranquilo y seguro, los 10,000 sensores de este Boeing 787 ayudarán a nuestro capitán y a su tripulación para garantizarle un vuelo agradable y seguro”.
Actualmente, los pasajeros desconocen que hay aviones que ya cuentan con sensores y computadoras a bordo, así como con los sistemas analíticos en tierra, que brindan a los equipos de mantenimiento de las aeronaves toda la información y análisis necesarios para optimizar las operaciones y mejorar la seguridad de un vuelo.
Pero si te estás yendo de vacaciones y deseas volar a algún lugar de país o del mundo, acompáñame a conocer cómo funciona el análisis de datos aeronáuticos:
Mientras descansas tranquilamente a varios miles de metros de altitud, un Boeing analiza todos sus componentes. Más de 10,000 sensores monitorean y miden continuamente lo que está sucediendo en la aeronave y en su entorno: el funcionamiento del motor, la temperatura, la presión, la vibración, la electricidad, si hay turbulencia, la altitud, la humedad... Los factores a estudiar son numerosos. Y, cuando ocurre un incidente, es la secuencia de acontecimientos y el estudio de todos estos parámetros los que permiten comprender qué sucedió y cómo debe repararse.
Pero los sensores no son la única fuente de información. Cuando el avión aterriza, mientras los pasajeros descienden -y antes de que se asigne a un próximo vuelo- se descargan y analizan varios tipos de datos:
- El diario de registro de la tripulación: Contiene información textual registrada por el capitán y su tripulación durante el vuelo. Este texto, que no está estructurado, se analiza automáticamente porque puede contener información valiosa sobre el progreso del vuelo.
- Datos enviados en tiempo real durante el vuelo: Cuando ocurrió un evento en uno de los motores generalmente se considera una anomalía benigna, que la mayoría de las veces pasa inadvertida para los pasajeros, pero alertará a los equipos de mantenimiento para que se lleve a cabo una operación de verificación.
- Los datos de todos los sensores: Estos datos, que no son de carácter de emergente, se almacenan en la aeronave durante el vuelo y se descargan al aterrizar.
En resumen, la famosa "caja negra", que desafortunadamente se menciona muchas veces durante los accidentes y que en realidad es naranja, es lo que se llama un "registrador de vuelo" y se utiliza para recopilar todos estos datos. Su contenido se descarga después de cada aterrizaje, antes de que se utilice la aeronave para un próximo vuelo.
El problema: poner en orden correcto 15GB de datos por vuelo
De acuerdo con lo mencionado anteriormente, toda la información almacenada en el datawarehouse se recupera de diversas fuentes y pueden ser datos estructurados y no estructurados, cuyo análisis permitirá hacer una toma oportuna de decisiones.
De esta forma, los tripulantes de mantenimiento pueden hacer frente a la siguiente situación: el piloto al mando anotó en el cuaderno de bitácora que oyó un ruido del motor izquierdo al comienzo del descenso durante quince segundos. ¿Qué hay que hacer? ¿Debe haber una operación de mantenimiento? ¿Qué originó este ruido y por qué parámetros fue causado? Y más específicamente... ¿Puede el avión partir a un próximo vuelo y ser seguro para los pasajeros y la tripulación?
Para realizar este análisis en unos minutos, debemos conectar el conjunto de datos y recrear la secuencia de eventos. Con esto ya estamos hablando de Big Data. Se estima que cada vuelo de un Boeing 787 generará alrededor de 15 GB de datos, en forma de una tabla de 60 millones de líneas. Y, por supuesto, hay que comparar los datos de un vuelo con los de otros vuelos, para establecer posibles correlaciones. Si tomamos en cuenta que hay aproximadamente 340,000 vuelos de 787 por año, se generaran miles de millones de líneas y varios petabytes de datos que deben ser analizados.
Por si esto fuera poco, también se debe tomar en cuenta que los sensores no envían sus datos al mismo tiempo. Ante esto, es imposible registrar la información de miles de sensores durante el segundo más cercano.
Existen también muchos sensores que envían una señal sólo cuando se cambia la información, es decir, que en estos casos ninguna señal significa que el último valor sigue siendo válido. En estos casos, el primer trabajo consiste en alinear el conjunto de datos para responder a la siguiente pregunta: ¿Cuál era el estado de todos los sensores del vuelo en un momento preciso?
Inicialmente Boeing había realizado este trabajo a través de una base de datos SQL tradicional. ¡Pero tardaban 200 horas de consultas para analizar 100 horas de datos de vuelo! Con estos tiempos, no se puede configurar un análisis en tiempo real, ni calcular modelos de aprendizaje automático.
La solución: una base de datos temporal para identificar enlaces entre eventos
Para lograr esto, Boeing decidió utilizar las funciones de análisis en tiempo real de la base de datos Teradata 14.10. Esta plataforma comprende un conjunto de funciones adicionales que optimizan el manejo y la consulta de datos temporales.
Desde un punto de vista técnico, quiere decir que los datos de los registradores de vuelo se descargan primero en un lago de datos a través de una estructura de archivos Hadoop de Hortonworks. A continuación, se normalizan, es decir que el conjunto de datos temporales vuelve a ser coherente y alineado. Luego, los datos se integran al almacén de datos de Teradata, a través de Hive y Teradata QueryGrid, en donde se implementan las funciones de gestión de datos en tiempo real, para que los datos queden disponibles como una "tabla de hechos" y pueden ser solicitados. Otro objetivo es reducir el volumen de los datos generados, transformando cada secuencia de instantes en un período de tiempo, es decir que cuando los datos no cambian, se vuelve innecesario mantener toda la información y sólo se conservan puntos de datos cuando cambian. De esta manera, en la base de datos un "periodo" se convierte en un tipo de datos de tiempo. Este trabajo permite resolver dos problemas: la alineación temporal de los datos y la intersección temporal, que permite, a través de un comando, conocer el estado del conjunto de sensores en un instante y así establecer correlaciones entre diferentes eventos.
Ganancias obvias: reducción del volumen de datos y la eficiencia de la consulta
Los números hablan por sí mismos: Una vez que se han procesado los datos temporales, se logran reducir los 15GB de datos por vuelo descargados de la grabadora de vuelo a 190MB. Con la función de normalización de datos de tiempo, se puede reducir hasta 292 veces el número de líneas de datos. Y en términos de análisis, las ganancias son aún más impresionantes.
Mencionamos anteriormente que se requerían 200 horas para ejecutar un análisis de 100 horas de vuelos... ¡Ahora son suficientes 17 minutos para analizar los datos de 1000 vuelos! Desde una perspectiva empresarial, esto significa que los científicos de datos pueden realizar más investigaciones, más comprobaciones cruzadas, probar varios modelos de posibles incidentes y, en última instancia, mejorar tanto la previsión de mantenimiento como la seguridad de los vuelos.
Y en el futuro, los datos de audio e imagen se podrán recopilar y analizar de la misma manera y volverse una cadena de eventos basada en el tiempo. Podremos entonces preguntar de la misma manera si dos sonidos o dos imágenes son idénticas en el mismo período de tiempo. Los mismos principios de normalización y gestión del período se aplicarán para los datos no estructurados.
Así, al abordar su próximo vuelo, usted tendrá una idea de los algoritmos que funcionarán en los siguientes minutos, para garantizarle una salida o retorno seguro. ¡Es la cara oculta de este maravilloso mundo de la aviación!
Sobre el autor
Christophe Conche tiene 19 años de experiencia con las principales compañías de software. Ahora es el jefe de la división de Aeronáutica y Defensa en Teradata. Previamente Christophe Conche, solía mostrar cómo las soluciones innovadoras podrían transformar el sector aeronáutico. Hoy en día, Christophe Conche también quiere convencer que una valorización de los datos podría servir al sector aeronáutico.[:]