{"id":446,"date":"2016-12-18T07:36:44","date_gmt":"2016-12-18T06:36:44","guid":{"rendered":"https:\/\/preblogs.deusto.es\/bigdata\/?p=446"},"modified":"2016-12-18T07:37:08","modified_gmt":"2016-12-18T06:37:08","slug":"tecnologias-de-ingesta-de-datos-en-proyectos-big-data","status":"publish","type":"post","link":"https:\/\/blogs.deusto.es\/bigdata\/tecnologias-de-ingesta-de-datos-en-proyectos-big-data\/","title":{"rendered":"Tecnolog\u00edas de ingesta de datos en proyectos \u00abBig Data\u00bb en tiempo real"},"content":{"rendered":"

Cuando hablamos de las etapas que compon\u00edan un proyecto de Big Data, y sus diferentes paradigmas para afrontarlo<\/a>, una cuesti\u00f3n que cit\u00e9 fue la siguiente:<\/p>\n

\n

Si antes dec\u00edamos que un proyecto \u201cBig Data\u201d consta de cuatro etapas \u2013(1) Ingesti\u00f3n; (2) Procesamiento; (3) Almacenamiento y (4) Servicio<\/em>-, con este enfoque, nada m\u00e1s ser \u201cingestados\u201d, son transferidos a su procesamiento<\/strong>. Esto, adem\u00e1s, se hace de manera continua. En lugar de tener que procesar \u201cgrandes cantidades\u201d, son, en todo momento, procesadas \u201cpeque\u00f1as cantidades\u201d.<\/p>\n<\/blockquote>\n

Hadoop, que marc\u00f3\u00a0un hito para procesar datos en batch, dejaba paso a Spark, como plataforma de referencia para el an\u00e1lisis de grandes cantidades de datos en tiempo real. Y para que Spark\u00a0traiga las ventajas que solemos citar (100 vez m\u00e1s r\u00e1pido\u00a0en memoria y hasta 10 veces m\u00e1s en disco que Hadoop y su paradigma MapReduce<\/a>), necesitamos sistemas \u00e1giles de \u00abalimentaci\u00f3n de datos\u00bb. Es decir, de ingesta de datos.<\/p>\n

Es el proceso por el cual los datos\u00a0que se obtienen en tiempo real van siendo capturados\u00a0temporalmente para un posterior procesamiento. Ese momento \u00abposterior\u00bb es pr\u00e1cticamente instant\u00e1neo a efectos de escala temporal.\u00a0Esto se est\u00e1 produciendo mucho, por ejemplo, en el mundo de los sensores y el\u00a0 IoT (Internet of Things). No podemos lanzar alarmas en tiempo real si no contamos con una arquitectura como esta. Muchos sectores son ya los que est\u00e1n migrando a estas arquitecturas de ingesta de datos en un mundo en tiempo real.<\/p>\n

Y es que el \u00abtiempo real\u00bb, el streaming<\/em>, comienza ya desde la etapa de ingesti\u00f3n de datos. Tenemos que conectarnos a fuentes de datos en tiempo real, como dec\u00edamos, para permitir su procesamiento instant\u00e9ano.\u00a0En la era del Business Intelligence, e incluso en la era del\u00a0\u00abBig Data batch\u00bb, los ETL eran los que permit\u00edan hacer estas cosas. Hemos\u00a0hablado ya de su importancia<\/a>. Sin embargo, son herramientas que en tiempo real, no ofrecen el rendimiento esperado, por lo que necesitamos alternativas.<\/p>\n

\"ETL<\/a>
ETL vs Spark (fuente: http:\/\/image.slidesharecdn.com\/k2ionstoica-151028153637-lva1-app6892\/95\/spark-summit-eu-2015-revolutionizing-big-data-in-the-enterprise-with-spark-10-638.jpg?cb=1469144488)<\/figcaption><\/figure>\n

Estas son el tipo de cosas que permiten hacer\u00a0Spark y Storm, cuyo paradigma en tiempo real ya comentamos en su d\u00eda<\/a>. Aparecen, junto a ellos, una serie de tecnolog\u00edas y herramientas que permiten implementar y dar sentido a todo este funcionamiento:<\/p>\n