Dark Data: la oportunidad de las compañías

Con la expansión brutal de la tecnología a la que estamos asistiendo en la última década, ciertos términos empiezan a ser de uso continuo. Algunos de ellos como Big Data, Internet of Things, o Virtual Reality son ya enormemente populares, sobre todo debido a la interacción con nuestro día a día que hace necesario su comprensión. Otros, han llegado más recientemente, pero lo han hecho para quedarse. Entre estos, destaca el Dark Data.

¿A qué nos referimos los tecnólogos cuando hablamos de Dark Data y cuál es su diferencia con otros tipos de datos generados en el uso de dispositivos electrónicos, en las redes o en los procesos industriales? ¿Cómo puedo explotar mejor estos "datos ocultos" en la actividad diaria de mi empresa y qué beneficio tiene su análisis? En pocas palabras se puede decir que la información que generan las empresas, los particulares y las organizaciones gubernamentales se dividen en tres tipos.

En primer lugar Business Data, son los datos que se utilizan para la operativa diaria de la empresa y que forman parte de la toma de decisiones clave de negocio. En segundo lugar están los datos redundantes y triviales ROT (Redundant, Obsolete and Trivial), que no se explotan y no juegan ningún papel en la organización. Por último está el Dark Data que son los resultantes del uso de las infraestructuras de telecomunicación, redes, navegación, y procesos industriales y que hasta hace poco, ni se coleccionaban, ni se almacenaban ni explotaban.

Ejemplos de Dark Data son los datos de registro de un TPV de un comercio, los datos de repetición de una antena de telecomunicación, la localización por GPS de un transporte, o las señales de los sensores de una máquina industrial o de un aparato de salud. Son datos que no forman parte del día a día de las grandes decisiones del negocio de una empresa u organización, como los Business Data, pero que sin embargo proporcionan una información valiosa si se capturan y explotan convenientemente, lo cual se ha empezado a hacer de forma reciente.

De acuerdo a un estudio reciente de IBM el 80% de los datos generados son Dark Data o datos desestructurados y esta cifra llegará al 93% en 2020. IBM también estima que el 60% de los datos pierden su valor si no se utilizan dentro de una ventana temporal adecuada.

La principal dificultad en la gestión del Dark Data es su captura, ya que requiere una decisión estratégica de la compañía: decidir qué información es interesante almacenar y cuál no, y además puede implicar una dificultad técnica su registro dada la variedad de dispositivos y máquinas a las que se debe acceder. Una vez capturados, se almacenan en bases de datos propias de las tecnologías de Big Data, para su posterior explotación mediante herramientas de Business Intelligence.

Los problemas clásicos de las compañías a la hora de explotar sus datos correctamente, varían entre la dificultad de la captura, incompletitud de los mismos o falta de habilidades analíticas para su explotación correcta. En particular, en el caso del Dark Data, una vez que se ha almacenado correctamente, el problema principal es que suelen ser información desestructurada en su mayoría, es decir, difícil de clasificar y categorizar, por lo cual su explotación posterior requiere mayor complejidad que con datos estructurados o clásicos. Se estima que sólo el 1% del Dark Data capturado se analiza posteriormente en las compañías, lo cual suscita preguntas sobre cuándo y cómo debe ser analizada esta información para que el ciclo de vida del dato sea efectivo.

En contraposición, se considera que la nueva ola de computación cognitiva ayudará en la tarea de procesar esta información proveniente del Dark Data que es, en su mayoría, desestructurada. Y es que si las empresas españolas quieren optimizar al máximo las posibilidades que ofrece el Big Data, será fundamental que apuesten por esta nueva fuente de información, dado que "los datos y su analítica son la base de la revolución industrial moderna", y entre ellos el Dark Data ocupa una parte esencial.