Procesamiento de datos, modelo de predicción

Procesamiento de datos, modelo de predicción

A partir de los datos obtenidos de los sensores, crear un modelo de análisis de datos, en diferentes fases. Siempre utilizando Software y Hardware libre:

 

Descripción:

Se parte de los datos generados por los sensores instalados en las colmenas. En la actualidad, se dispone de un conjunto de recursos de análisis casi manual y de capacidad limitada en volumen y plazo pues la arquitectura del sistema impide la operación con grandes volúmenes de datos.

 

Objetivo:

El objetivo será la modelización de una arquitectura de análisis de datos la cual recoja y procese toda la información posible y así poder explorarla teniendo en cuenta puntos clave.

  • Escalabilidad, para para poder tratar gran volumen de datos y su integración con datos externos.

  • Velocidad de procesamiento ante consultas de los analistas.

  • Crear un modelo de predicción útil para analizar el ciclo de vida de una colmena y poder detectar posibles problemas en la colmena y también descubrir posibles relaciones con otros parámetros ambientales, ecosistemas, etc.

 

Tecnologías a usar:

Herramientas software OpenSource, hardware a determinar durante el proyecto, valoraremos servicios cloud.

 

Origen de los datos:

Lectura de los sensores, dataset disponibles de diversas fuentes de Opendata y útiles para el proyecto.

 

Plan básico a seguir:

 

Análisis y diseño de la arquitectura

 

  1.  Carga de datos. Aprovisionar la infraestructura y modelo para carga de datos, procedente de los sensores. Investigar otras fuentes de datos, que puedan aportar valor, por ejemplo de meteorología (lluvia, viento, presión, humedad ambiente, radiación solar) niveles de polen, polución, geolocalización, redes e infraestructuras urbanas, etc. Diseñar la solución de carga de datos e infraestructura de almacenamiento. Elegir herramientas de carga de datos (Kettle, Kmine, etc.) Intentar usar infraestructuras urbanas como redes Wifi, etc para lectura de datos automatizado y en tiempo real.

 

  1. Despliegue de la arquitectura de análisis e integración de datos. Elegir herramientas de integración (Scoop, Pig, Hive, etc) y diseño de la base de datos (MongoDB, Cassandra, etc).

 

  1. Elaboración de modelo de análisis. En base al modelo de datos obtenido, mejorar el modelo de monitorización, y análisis de datos. Utilizar herramientas de análisis, R, Julia …

 

  1. Creación de recursos visuales para la exploración del modelo de análisis. Elegir herramienta de visualización e integración en servicio web. Creando un sistema automatizado de actualización y lo más cercano al tiempo real.

 

  1. Modelo predictivo. Crear un modelo escalable, con posibilidad de integración con otros proyectos de Smart Cities.

6 colaboradores
0 comentarios

Equipo

Coordinadores:

Colaboradores:

Estado del proyecto
Activo
Valoración conjunta

Timeline