Big data

Smart Cities + Big Data

20 enero, 2019 by M.B. 1 Comment

Anticiparse a los atascos, definir rutas óptimas de recogida de basura en tiempo real o contar con redes eléctricas inteligentes (Smart Grids) son algunos ejemplos de la “magia” del Big Data en una Smart City.

Una Smart City utiliza la tecnología para proporcionar de forma más eficiente sus servicios y así mejorar la calidad de vida de sus habitantes. Hoy en día, esta idea cada vez está tomando más fuerza y protagonismo, por ello empieza a convertirse en una oferta común por parte de todas las ciudades.

Un claro ejemplo de esta evolución son los servicios como la información en tiempo real sobre la llegada de los autobuses, la videovigilancia inteligente, los dispositivos de medición del ruido y gases contaminantes, etc.

[Read more…]

Mi experiencia como Data Scientist

16 enero, 2019 by ibonreinoso 1 Comment

Hoy vengo a hablar de mi experiencia como data scientist en IKUSI. La verdad es que tuve la suerte de trabajar con ellos gracias al Máster de Big Data & Business Intelligence realizado en el año pasado. Venía de trabajar como Becario en churning problem (fuga de clientes) para Eroski, en colaboración con Deusto.

Mi etapa fue corta, intensa y preciosa en la Ciencia de Datos. Seguramente, desde mi variada experiencia es la mejor de todas.

Por contextualizar, nos centramos en trabajar con productos del sector aeronáutico. Aparecí en la primera fase de Big Data, donde partiendo de la información existente teníamos que sugerir ideas. El motivo de hacerlo, era porque había muchísimos datos que eran potencialmente interesantes desde el punto de vista de este mundo. Recuerdo algún acrónimo como FIDS (naturaleza de la solución Dolphin, en IKUSI) o Beluga, para gestión de operaciones.

Veíamos el origen de los datos y las distribuciones de los mismos; buscábamos incoherencias y asociaciones así como anomalías… Me divertía como un niño la verdad. A ese proceso se le conoce como EDA (Exploratory Data Analysis).

Participé de manera activa en la generación de ideas para el desarrollo de I+D. A modo reflexión personal y autocrítica, he de admitir que parece fascinante (y para mí y mi cabeza, antes impensable) que se haya abierto un nuevo mundo donde a partir de los datos se pueda aportar valor hasta el punto en el que podamos trabajar exclusivamente sobre los mismos. Recuerdo temáticas como Gate Assigment Problems, Clasificadores de pasajeros, planificadores de anuncios… Para mí eran auténticos hallazgos de problemas que se resolvían con matemática y estadística que antes ni siquiera había escuchado. Se abrió todo un mundo nuevo para mí.

Otro aspecto que me encantaba era el tener que presentar a los distintos departamentos de IKUSI las conclusiones e ideas que se nos ocurrían. Había que ir a donde los departamentos (más concretamente, a donde los Product Owners) y plantearles vías de I+D para mejorar el producto y aportar valor. Me gustaba el no estar eternamente programando; el ser capaz de ofrecer soluciones que, primeramente, eran útiles (esto es, no sólo rentables a largo plazo sino que estas aportarían valor en el negocio) y segundo el realizar estas presentaciones resultado de un proceso de investigación propia. Me sentía como en familia, mejor dicho, en casa. Me sentía valorado y querido; me gané un sitio.

Es obvio que sin la evolución que ha sufrido la tecnología (y que ésta ha generado en el mundo, no sé si llamarlo en consecuencia o de manera recíproca) nada de esto sería posible. De hecho, menos mal que he nacido en esta época; si bien el mundo está globalizado y tiene sus contras tenemos el rol de cambiar las cosas a nuestra manera.

Por ir cerrando el post, he de confesar que muchas veces echo de menos la sensación de despertarme, tomarme un café y ponerme a trabajar en investigar, leer papers de innovación, explorar y atreverme a decidir si eran interesantes para las distintas soluciones dentro de la empresa. Me hacía sentirme un «artista» de alguna manera. Hoy tengo otros objetivos mucho más importantes y toca luchar por ellos y quien sabe, ya veremos si mañana volveremos a ese camino.

El valor añadido de los datos en el mundo organizacional

10 enero, 2019 by jon.iturmendi 1 Comment

En este último post expondré mi punto de vista sobre los aspectos comunes que he identificado en los diferentes textos. En primer lugar voy hablar sobre un tema que se encuentra presente en todos ellos: los datos.

Los datos se encuentran detrás de cada nuevo producto o innovación tecnológica. Podríamos decir que el producto o la tecnología en sí sería la maquinaria, y el dato su combustible. Por este motivo, el volumen de datos que producimos está aumentando exponencialmente. Esto puede ser un problema ya que si no gestionamos adecuadamente dichas cantidades de datos, podemos perder el control sobre ellos, lo que supone numerosas consecuencias: fuga datos, exceso de información, problemas de privacidad… Por lo tanto, pienso que una de las principales ocupaciones de las empresas debería ser el tener una correcta gestión de los datos que generan y procesan.

Para dicha gestión, en primer lugar se debería tener consciencia de aspectos como qué tipos de datos se tratan, dónde se encuentran localizados, en qué parte del negocio tienen impacto… Es decir, tener formalizada una buena base a partir de la cual posteriormente se tomará como punto de partida para explotar los datos. En segundo lugar, se debería de establecer un método para integrar las diferentes fuentes de datos, ya que uno de los grandes problemas del big data es que los datos se encuentran en una amplia variedad de formatos, entre los cuales no sólo están los archivos de texto, sino también datos biométricos, voz, patrones de usuario… Pienso que disponer de una herramienta o tecnología que consiga unificar todo el espectro de datos es clave para sacarles el máximo rendimiento.

Por otro lado, los usuarios no son la única fuente de datos. Los dispositivos conectados que conforman el IoT (Internet of Things) aportan grandes cantidades de información que las empresas pueden utilizar para mejorar la calidad de sus servicios. Relacionándolo con la idea del apartado anterior de unificar los datos, otra de las ideas que se presentan en los textos es la poca o nula compatibilidad entre los diferentes dispositivos IoT. En mi opinión, se debería de establecer un protocolo universal mediante el cual cualquier dispositivo pudiese interactuar con el resto. De esta manera, las empresas se centrarían en mejorar la calidad de su producto y no tendrían que preocuparse por la implementación del sistema de comunicación. Además, la eficiencia de los programas inteligentes que hiciesen uso de los datos proporcionados por los dispositivos IoT aumentaría considerablemente debido a que al disponer de mayores cantidades de información se prestaría un servicio mucho más personalizado para el usuario.

Por último, me gustaría hablar sobre los Data Scientists. Cuando la información ha sido clasificada, depurada e integrada, aún no aporta un valor añadido importante a la organización. Es cuando los expertos en datos (o los llamados Data Scientists) realizan análisis y procesamiento de los datos mediante técnicas de big data cuando realmente se genera un conocimiento que sea de vital importancia para la toma de decisiones. Con esta idea quiero destacar que sólo por disponer de una gran cantidad de datos no vamos a conseguir una ventaja competitiva. Por ello, el papel de los Data Scientists es cada vez más importante debido a que son éstos los que extraen el conocimiento de unos datos que a simple vista sólo son los registros de la actividad de la organización.

Big Data y la protección de los datos

22 diciembre, 2018 by Iván Martín 1 Comment

Hoy en día, si estamos mínimamente enterados del mundo tecnológico empresarial, seguramente que nos venga a la cabeza el término de Big Data, ya que ha sido uno de los conceptos más populares de las compañías los últimos años (como se puede ver en la imagen).

Todo eso ha hecho que parezca que todas las compañías tengan que invertir en ello, para poder sacar provecho a todos esos datos crudos que tenemos, transformarlos en información, y así, poder, por ejemplo, a encontrar posibles nichos de negocio sin explorar, que puedan beneficiar a la compañía.

Gracias a ello, se generan beneficios a las compañías, pero tiene un “problema”, que es básicamente, que, para hacer un análisis de Big Data, vas a necesitar datos (además de manera masiva), lo que termina generando una necesidad de los mismos, y para ello, al final, somos nosotros los que se los damos, muchas veces sin ningún tipo de control.

Aquí surge la típica frase, que define Internet, que es que “Si el producto es gratis, eres tú el producto”, ya que, en internet, nos hemos acostumbrado a que prácticamente todo sea gratis, y si no es así, pues prácticamente no lo queremos, sin darnos cuenta de que estamos pagando un gran peaje para poder entrar.

Todo esto puede parecer algo prácticamente exagerado, que no es para tanto, que es prácticamente imposible que todo esto me vaya a afectar… pero esto no está muy lejos de la realidad; ya es bastante común que, a la hora de contratar a un candidato, las compañías hagan un análisis previo de la actividad del candidato por las redes, y si encuentran algo que no les guste, pueden terminar no cogiéndote por eso.

Esto también es un problema de culturas: mientras que aquí, en Europa, se tiene una mentalidad más de protección de lo individual frente a la sociedad, en otros países, como en Estados Unidos, esto es prácticamente al revés (se le da prioridad a la sociedad, frente al individuo), a la hora de la protección de los datos; y claro, la mayoría de las compañías (Google, Facebook, Microsoft…) son americanas.

Por último, también recordar que no sabemos quién es el dueño final de nuestros datos, ya que algunas compañías venden esos datos sin ton ni son a otras compañías terceras, donde estos pueden hacer cualquier cosa con los mismos, como, por ejemplo, venderlos a otros…

Pero esto no solo se limita a la privacidad, también está el problema de las filtraciones de los datos, donde ya es casi costumbre que esto ocurra a las compañías, donde se roban cientos de miles de registros de información privada (y a veces crítica), sin poder hacer gran cosa para poder evitarlo.

Debido a esto, el nuevo reglamento de protección de datos busca poder “controlar” estos aspectos, aunque con las compañías externas parece que “no debe de cambiar mucho”, ya que, aunque los datos estén ahora en suelo europeo (si tratan con datos de ciudadanos europeos), prácticamente no hay ninguna garantía de que vayan a usarlos “correctamente”, porque el acuerdo se puede resumir en “vamos a usar los datos de los ciudadanos europeos de manera correcta”.

En conclusión, parece que el Big Data tiene un gran potencial, pero también un gran riesgo, si no se utiliza bien. Así que habría que tener una reflexión a la hora de usarlo, no solo teniendo en cuenta cuestiones de la compañía (qué me va a aportar…), sino también usando un poco la empatía, y pensar qué puede pasar a los usuarios finales por recolectar todos esos datos de los mismos, son ningún tipo de criterio.

Futuro del Big Data – ¿Qué nos espera?

5 noviembre, 2018 by Iván Martín 1 Comment

Nos vemos de vuelta por última vez en mi serie de posts. Al ser este de “tema libre”, creo que sería una buena idea el hablar sobre el futuro del Big Data, o qué le espera. Por supuesto, aquí nadie es vidente, así que no puedo asegurar que este posts refleje 100% lo que vaya a suceder en el futuro, pero de todas formas, vamos a hacer este ejercicio de predicción.

Pero antes de empezar con el tema de este post, me gustaría “completar” el post anterior, añadiendo una serie de controles para mitigar los posibles riesgos que surgieron: [1]

Objetivo de control	Posibles controles
Seguridad de la información	Existencia de programas de ciberseguridad en la empresa. Evaluación de los proveedores de servicios por el departamento de TI. Existencia de proceso administrado y validado de actualización de los sistemas. Existencia y revisión de logs para detectar “conductas sospechosas”. Existencia de niveles de privilegio que restringen el acceso a la información.
Acceso de terceras personas	Realización de análisis a los terceros que pretenden acceder a esos datos, antes de poder concederles acceso.
Privacidad de los datos	Inventariación de los datos, para asegurar que los críticos estén debidamente protegidos. Existencia de documento de respuesta ante incidentes, para manejar las posibles brechas de datos de manera apropiada.

Antes de ir al futuro, me gustaría hacer una pequeña introducción del presente. Como ya hemos visto, con nuestra actividad diaria generamos una gran cantidad de datos, donde las organizaciones se han dado cuenta de la importancia de estos datos, a la hora de tomar decisiones y a la mejora de la experiencia de los usuarios. De hecho, incluso una preocupación tan simple como conseguir una máquina de café para los empleados está basada hoy en día en los datos.

Todo esto nos hace suponer que el futuro de Big Data parece sólido, y que no va a parar de crecer. Para dar datos más exactos, como pudimos observar en el segundo post, Big Data ha estado presente entre los principales tópicos de empresa durante los pasados años, y parece que esto no va a cambiar en un futuro próximo. Esto a su vez es algo extraño en este mundo donde la tecnología avanza tan rápidamente que lo que hace un par de años era novedoso, hoy ya está obsoleto.

Tendencias futuras

Datos “oscuros”: los datos “oscuros“ (dark data) es una de las tendencias que se espera que llegue en el futuro. Estos son los datos de origen no digital y los datos que han sido descartados por su falta de valor; también se puede referir a ellos como “datos polvorientos” (dusty data). La evolución del Big Data hace pensar que esos datos “no explotados” serán el foco de atención en un futuro cercano, haciendo que la tecnología evolucione aún más.
Análisis cuántico: parece que, con todo el avance tecnológico, y la necesidad de más potencia para poder realizar ciertas tareas, los ordenadores actuales se están quedando anticuado. Por ello, parece que el ordenador cuántico ha llegado para quedarse, siendo IBM la primera compañía en presentar uno [2]. Esto puede suponer una gran revolución para la informática tal y como la conocemos, ya que estos superordenadores pueden llegar a ser capaces de procesar una gran cantidad de información en poco tiempo; y una de las ramas que se puede ver positivamente afectada es el del análisis de Big Data, ya que se estas máquinas serán capaces de procesar una gran cantidad de datos en mucho menos tiempo que los actuales [3].
Generación de un mayor volumen de datos: debido de la irrupción de nuevas tecnologías en nuestro día a día, las denominadas IoT, como relojes inteligentes, electrodomésticos inteligentes, vehículos inteligentes/autónomos… que son capaces de recopilar datos de manera masiva, generará el terreno perfecto para poder nutrir el análisis de Big Data.Se estima que, a partir de ahora, generamos aproximadamente 2,3 billones de gigabytes de datos cada día, y esto solo crecerá en el futuro [4].
Big Data y salud: La industria de la salud también desempeñan una parte importante en el auge de Big Data; ya que esta genera una gran cantidad de datos relevantes por cada paciente. Hasta ahora, los médicos utilizaban sus conocimientos y experiencia para poder decidir sobre qué tratamiento aplicar en qué circunstancia, pero en los últimos años se ha visto un cambio en la forma en que se toman estas decisiones. Los médicos revisan los datos clínicos y toman una decisión en base a esos datos sobre el tratamiento de un paciente [5].

Desafíos

Volumen: como ya hemos mencionado en múltiples ocasiones, cada vez se generan más datos y las empresas empiezan a tener problemas para poder almacenar ese enorme volumen de datos; añadido a esto, el crecimiento de los datos no estructurados agrava aún más la situación
Falta de personal cualificado: las empresas no tienen fácil el obtener personal cualificado para poder trabajar con Big Data. En el último año, la demanda de expertos en Big Data aumentó un 128%, mientras que hubo un incremento del 68% de estos profesionales en el mercado laboral [6].
Seguridad: En un mundo donde existe una amenaza constante respecto a la seguridad de los datos y la privacidad, el aseguramiento de estas debe ser fundamental para las empresas, especialmente por el enorme volumen de datos manejados con el Big Data [7].

Conclusión

En conclusión, el Big Data tiene todas las papeletas para quedarse por un largo tiempo en este mundillo de la informática. Las previsiones son positivas, y los desafíos se están teniendo en cuenta para mejorar lo que se dispone en el futuro.

Pues por mi parte, esto es todo lo que tengo que contarles. Solo me queda agradecer que dedicasen parte de su tiempo en leer lo que he dicho sobre el Big Data, y animar, si aún no lo han hecho, a leer el resto de entradas. Y con estas últimas líneas me despido; un saludo a todos mis lectores.

Referencias

1. Auditool.(2017) Auditando Big Data. Accedido el 05 de noviembre del 2018
2. Álvarez, R.(2017). La computación cuántica tiene un nuevo líder: ibm y su ordenador cuántico de 50 qubits. Accedido el 05 de noviembre del 2018.
3. Carillo, D. (2018). 10 Big Data Trends You Should Know. Accedido el 05 de noviembre del 2018
4. Tripathi. P. (2018) The Future of Big Data: A Sequential Analysis of the Disruptive Technology’s Scope. Accedido el 05 de noviembre del 2018
5. DATAFLAIR TEAM. Big Data in Healthcare – Real World Use-cases. Accedido el 05 de noviembre del 2018
6. MuyComputer.(2016). Se dispara la demanda de profesionales de Big Data. Accedido el 05 de noviembre del 2018
7. Outsource2india. BIG DATA IN 2020: FUTURE, GROWTH, AND CHALLENGES. Accedido el 05 de noviembre del 2018

Big Data en la auditoría

29 octubre, 2018 by Iván Martín 1 Comment

Otra vez nos encontramos aquí, en otra entrega de Big Data, trayendo otra parte importante de la misma. En esta ocasión, hablaremos sobre la auditoría de Big Data.

Como ya hemos mencionado en repetidas ocasiones en el resto de posts, el enorme volumen de datos, la variedad de fuentes, la velocidad necesaria para extraer conclusiones y la veracidad que deben de tener los datos a analizar, plantean una serie de desafíos, en cuanto a la tecnología utilizada, a la seguridad de los datos, a su almacenamiento y a su análisis. Todo esto supone que el uso del Big Data plantea una serie de nuevos riesgos para las organizaciones, donde la auditoría interna será la que se encargue de gestionarlo.

Me gustaría profundizar en el ámbito de la seguridad, ya que es un ámbito del que yo, personalmente, dispongo de una mayor cantidad de conocimientos al respecto. Hoy en día no es nada nuevo que ocurra cualquier fuga de información personal en las compañías, ya que, como podemos ver, de media se fugan 74 archivos [1], así que nos podemos imaginar la proporción de datos perdidos, o simplemente extraídos al otorgar a aplicaciones permisos que no tendríamos que darlos; como, por ejemplo, al ejecutar programas en modo administrador donde estos no lo requieren. Esto hace que se esté expuesto a gran cantidad de riesgos, ya que se les abre un gran abanico de posibilidades, sin que la persona responsable sepa exactamente qué está pasando.

Aparte, aquí también se plantea el problema de la privacidad, donde las empresas que se aprovechan del Big Data pueden descubrir que disponen de “demasiados datos” en su poder, lo que puede jugar en su contra. Por ejemplo, una compañía que recolecta datos de comportamiento de los usuarios de sus aplicaciones, pueden buscar poder adaptar mejor sus aplicaciones a las necesidades/comportamientos de estos; pero de igual manera, si se dispone de demasiados datos, se podría llegar a disponer de un perfil de ese usuario “demasiado completo”,lo que juega en contra de la compañía, si esos datos se usan de manera inadecuada, como por ejemplo, haciéndole sugerencias que pueda llegar a violar su privacidad; o si esa información cae en malas manos, o llega a gente que no tiene que llegar.

Entonces, aquí nos surge la duda de hasta dónde se debería realizar el análisis de Big Data, y cómo habría que limitarlo.Debido a esto, gracias a la auditoría interna y a sus actividades de aseguramiento se puede ayudar a una organización a lograr ese equilibrio entre la obtención de datos útiles y la incursión excesiva dentro de la privacidad de una persona [2].

Aquí, los expertos afirman que «se necesita un sistema que permita determinar los niveles de acceso» por distintos parámetros, como, por ejemplo, la posición dentro de la compañía, e incluso, de las edades. Además, también se necesita un mecanismo que sea capaz de dejar registros, para así evitar posibles problemas legales [3].

Elaboración del análisis de auditoría

La elaboración comienza con una visión del estado final desarrollada conjuntamente por la administración y la auditoría. Tras esto, se realiza un análisis para identificar las diferencias entre las personas, la tecnología y los procesos. Luego, el equipo puede desarrollar un plan de proyecto para evolucionar las habilidades analíticas básicas a avanzadas.

A medida que la auditoría interna comienza a implementar un análisis, surgen varios aspectos a tener en cuenta. Primero, el apoyo ejecutivo es esencial para la efectividad del programa. En segundo lugar, el uso de incentivos adecuados para mejorar las habilidades y el conocimiento de todo el equipo de auditoría. En tercer lugar, la analítica no puede ser simplemente un añadido mínimo a la auditoría; sino que se debe de incorporar en todas las fases del trabajo de la auditoría.

Añadido a esto, para poder realizar auditoría de manera correcta, se debe de encontrar el talento adecuado para analizar las operaciones de Big Data, y eso hoy en día es un desafío importante; ya que la mayoría de las compañías tienen una escasez de empleados con sólidas habilidades en las estadísticas, y profundo conocimiento del negocio de la compañía.

Esta escasez de personal cualificado implica que las conclusiones extraídas de los análisis de Big Data pueden llegar a resultar erróneas. Por ello, el análisis de auditoría interna debe ser capaz de identificar los conjuntos de habilidades y competencias que una compañía requiere para complementar el uso actual de los analistas de datos.

Estas habilidades se pueden dividir en 2 ámbitos:

Técnicas: estas son las relacionadas con el conocimiento de la tecnología a usar y de sus procesos. Estas incluyen:
- Pruebas y validación.
- Consulta SQL.
- Modelado de datos.
- Analítica de datos.
- Generación de informes.
De negocios: estas son relativas al conocimiento del entorno de negocio, que incluye:
- Compresión del uso de la tecnología para resolver problemas de negocio.
- Comprensión de la estrategia comercial de la empresa y las tendencias de la industria.
- Identificación de los identificadores clave del negocio.
- Habilidades blandas, la capacidad de transmitir los resultados obtenidos.

Por último, recordar que es responsabilidad de todos dentro de la auditoría el desarrollar una comprensión de lo que pueden aportar los análisis realizados [4].

De esta forma, me despido por hoy no sin antes recordando que si no lo habéis hecho aún, que leáis mis posts anteriores, e invitándoos a leer el próximo post, que será el último. Nos vemos.

Referencias

1. Breach level index. Data break statistics. Accedido el 29 de octubre del 2018
2. Tabuena, J.(2016). What Every Internal Auditor Should Know About Big Data. Accedido el 29 de octubre del 2018
3. Tasón, M. (2013). Introducción: Big Data. Pasado, presente y futuro. Accedido el 29 de octubre del 2018
4. Deloitte. For Internal Audit, Big Data Represents a Big Opportunity. Accedido el 29 de octubre del 2018

Riesgos del Big Data

23 octubre, 2018 by Iván Martín 1 Comment

Volvemos a la carga, tras una pequeña pausa. Como no, continuaremos hablando del Big Data, ese término que hoy en día que seguramente si están envuelto en el mundillo de la informática, será uno de los tópicos más populares y reconocidos.

Como no, antes de empezar hoy con el nuevo post, me gustaría aprovechar estas líneas para poder recordar a todos mis lectores que no se olviden de echar un vistazo a mi aportación anterior, donde repasé la relevancia del Big Data en la industria, y las aplicaciones que se les da en el negocio.

Hoy en día vivimos en una situación de constante riesgo. Esto se ve muy claro en el avance tecnológico,donde a la vez de facilitarnos la realización de tareas en nuestro día a día, también ha generado una ola de nuevos riesgos. Y estos nuevos riesgos, al final, nos afectan tanto a nosotros, como las empresas; y, por supuesto, el Big Data no está a salvo de incurrir en alguno de estos riesgos. Por ello vamos a revisar unos aspectos claves para el Big Data, en relación con el riesgo que supone.

Big Data y fraude

Hoy en día, las compañías están expuestas a múltiples tipos de fraudes, que pueden llegarles a suponer una gran cantidad de dinero. En este punto, me viene a la mente el caso del ataque al banco central de Bangladesh, donde utilizaron el sistema de transacciones bancarias SWIFT (que son las transferencias internacionales realizadas por el sistema de mensajes del mismo nombre)[1], para poder burlar los sistema de seguridad, y así poder hacerse pasar por transferencias legales, y así poder llegar a obtener 81 millones de dólares.Y añadido a esto, se cree que los atacantes tuvieron ayuda interna, ya que, según las investigaciones, los ejecutivos del banco llegaron a cobrar de los ladrones [2].

Debido a estas enormes pérdidas que supone casos como estos en las compañías, aquí es donde entra en juego el Big Data, luchando tanto contra el fraude interno, como el externo, que pueden llegar a generar a las compañías pérdidas mayores. Para ello, las empresas, al disponer de ese gran volumen de datos (como hemos mencionado ya en el apartado anterior), aprovechan todos esos datos para poder identificar ciertos, patrones, que se salen de lo habitual, para así poder analizar esos casos particulares.

Por ejemplo, en nuestro caso de ejemplo, se evitó que este robo fuera mucho peor para ese banco, ya que los atacantes llegaron a hacer peticiones por valor de hasta 950 millones de $, pero parte de esas operaciones fallaron, ya que el sistema rechazó varias de esas órdenes por estar mal formalizadas, o por ejemplo, por ciertas características que no concuerdan, como una orden de transferencia desde Estados Unidosa una empresa iraní, país al cual el gobierno de Estados Unidos mantenía un embargo comercial.

Big Data y privacidad

Las empresas, al disponer de tantos datos para realizar sus análisis de Big Data, al final, corren un grave riesgo de que parte de esos datos sean filtrados, llevando a consecuencias severas como desprestigio de la marca, e incluso, consecuencias legales para esa compañía. Como por ejemplo, el primer caso de brecha de seguridad relacionada con el Big Data, que se remonta al año 2011, donde fueron robados 77 millones de registros de clientes de la PlayStation Network, la red de Sony para Playstation, lo que les supuso una multa de 250.000£ [3] a la compañía.

Además, otro riesgo al que está expuesto es la venta de datos de consumidores, que se utilizan para crear perfiles de individuos, sin prácticamente ningún control o límites. Conocido es el caso de compañías que comenzaron a comercializar productos para una mujer embarazada, basada en sus búsquedas, antes de que se lo contara a otros miembros de su familia, descubriendo su estado un familiar por ello [4][5].

Otros riesgos

Aparte del mencionado riesgo en la lucha contra el fraude y el de la privacidad, el Big Data se enfrenta a otros desafíos, como pueden ser:

La complejidad del enorme volumen de datos que dispone hoy en día (hablamos de petabytes y exabytes), y además proceden de una gran variedad de formatos (texto, imágenes, videos…), lo cual genera una dificultad a la hora de procesar todo lo que disponemos.
Añadido a lo anterior, muchas organizaciones están enfrentándose al aumento exponencial de los volúmenes de datos. Para poder resolver este problema, se necesita reducir la cantidad de datos que se almacenan, y explorar las nuevas tecnologías de almacenamiento que mejoran el rendimiento.
Por último, el Big Data también plantea una serie de problemas legales, ya que los datos son diferentes respecto a otros activos. Por ejemplo, una parte de los datos puede duplicarse y combinarse fácilmente con otros, a diferencia de otros activos clásicos [6].

En conclusión, parece que el Big Data también trae consigo sus propios riesgos, aunque supone una gran ventaja, por ejemplo, a la hora de detectar posibles conductas fraudulentas en el mundo. Por ello, parece que el Big Data tiene asegurado un gran futuro en este mundo de constante cambio, y generación de riesgo. Y con esto me despido hasta el siguiente post, donde espero veros ahí.

Referencias

1. Transfer wise. ¿Qué son los pagos swift?. Accedido el 23 de octubre del 2018
2. El periódico. (2016). El mayor ciberataque del mundo tuvo topos en el banco. Accedido el 23 de octubre del 2018
3. Tech world. (2018). The most infamous data breaches. Accedido el 23 de octubre del 2018
4. Armerding, T. (2017). The 5 worst big data privacy risks (and how to guard against them). Accedido el 23 de octubre del 2018
5. Estuate. (2017). Are you fighting the 5 biggest risks of big data?. Accedido el 23 de octubre del 2018
6. KnowledgeLeader (2014). Big Data analysis Guide. Accedido el 23 de octubre del 2018

Big Data en la industria

20 octubre, 2018 by Iván Martín 1 Comment

Tras realizar en el anterior post una mera introducción de qué es Big Data, y sobre todo, cómo nos afecta, en este post hablaremos sobre la relevancia del Big Data en la industria.

Hoy en día, hay muchos más sistemas comunicándose entre sí, que los tenemos incluso dentro de nuestras casas (los IoT). Además de la proliferación del uso de los teléfonos móviles, donde generamos una gran cantidad de datos, incluso sin ser casi conscientes de ello. Se estima que la generación de datos crecerán en torno al 15-20% cada año, llegando a ver más de 30 mil millones de dispositivos conectados a Internet en el año 2020 [1].

Respecto a la industria de las TI, esta está actualmente viviendo una revolución enorme, además de que lo está sufriendo casi constantemente, con la inclusión de nuevos conceptos como: cloud, mobile, visualización… Que buscan explotar para poder obtener beneficios.Estas buscan poder analizar ese enorme volumen de datos que las empresas disponen, con la mayor celeridad posible, y que estos sean lo suficientemente diversos y fiables para que den una imagen de lo que se quiere encontrar.

Debido a esa necesidad, las empresas requieren disponer de las herramientas necesarias para poder analizar los datos disponibles, y así proporcionar información relevante para actuar de inmediato en caso de detectar algún tipo de fraude u oportunidad de negocio, y así poder actuar antes de que esto ocurra; y aquí es donde entra las técnicas de Big Data.

Para dar unos números de su presencia en el negocio, según un informe de la auditora Deloitte sobre los tópicos relevantes de la auditoría interna de las TI en el año 2018 en el Reino Unido, los tópicos relacionados con el Big Data han estado entre los 10 más relevantes para las auditorías internas en los pasados 7 años (los resultados solo muestran los pasados 7 años, así que puede haber sido relevante más años atrás), estando en 3º posición desde 2016, como se puede ver en la imagen de abajo [2]. Esto es debido a la necesidad de poder predecir/actuar ante ciertas situaciones peligrosas para la empresa, como pueden ser el incremento del fraude a las empresas, los nuevos riesgos surgidos o la insatisfacción del cliente cuando un producto/servicio no satisfacen sus expectativas.

Ejemplos de uso del Big Data contra el fraude [3]

Fraude contra las compañías de seguros

La industria de los seguros está tomando la delantera en el uso del Big Data. Muchas aseguradoras ahora analizan sus datos internos, como llamadas a sus centros, junto con datos de redes sociales y detalles de terceros para obtener información sobre reclamaciones potencialmente fraudulentas. Por ejemplo, si alguien declarara que su coche sufrió daños por unas inundaciones, en sus redes sociales podría haber publicado fotos de ese día, donde se ve que era un día totalmente soleado.

Según Morgan Stanley [4], este tipo de análisis ayuda a las aseguradoras a mejorar las tasas de detección de fraude en un 30%. Además de los ahorros en costes, estos análisis ayudan a las empresas a mejorar la experiencia del cliente.

Fraude contra las telecomunicaciones

La industria de las telecomunicaciones también está utilizando el análisis de datos para combatir el fraude que asciende a unos 38.000 millones de $ al año. Para ello, analizan los registros de llamadas diarias junto con otros datos de clientes para crear perfiles de usuarios más completos, y así se puede detectar irregularidades de manera más efectiva y rápida.

Por ejemplo, los operadores móviles están compartiendo datos de GPS de los teléfonos inteligentes de sus clientes con los bancos para monitorearlos, y así, prevenir el fraude con las tarjetas de crédito, al verificar el uso de la tarjeta de una persona con su ubicación.

Fraude a la atención médica

El Big Data también se está utilizando para detectar reclamaciones fraudulentas en la atención médica. El Servicio Nacional de Salud británico (NHS) implementó una nueva infraestructura de análisis que le ha permitido identificar aproximadamente 100 millones de libras en ahorros potenciales, gracias a la reducción en el fraude y el riesgo de error humano.

Otras áreas de relevancia [5]

Otra área que se beneficia del Big Data es la implementación de planes de modernización de las empresas, ya que estas están empezando a utilizar ese gran volumen de información que disponen para poder trazar su estrategia de modernización.

Gracias al Big Data, se pueden ofrecer las fuentes de datos posibles, además de ciertas ideas, para así poder concretar el área de análisis a mejorar. De esta forma, se puede detectar más rápidamente las aplicaciones que requieren de cambios, y así hacer ese proceso de modernización mucho más ágil.

Añadido a lo anterior, gracias a esos planes de mejora, las empresas llegan a generar un enorme volumen de datos, como puede ser la monitorización de sus componentes. Por ello, gracias al Big Data se puede analizar todas esas trazas, y de esa forma, se obtiene información relevante respecto a posibles fallos que puedan ocurrir, y así, poder actuar antes de que ocurran.

En conclusión, parece que el Big Data está aquí para quedarse, debido a que permite a las empresas detectar posibles conductas sospechosas en las actividades de sus clientes, y así poder evitar posibles fraudes; además, también permiten a las empresas el poder monitorizar sus actividades, para así poder encontrar ciertas áreas de mejora. Dicho esto, me despido por hoy, y espero veros el la próxima entrada.

Referencias

1. Universitad de Barcelona (2015). En 2020, más de 30 mil millones de dispositivos estarán conectados a Internet. Accedido el 20 de octubre del 2018
2. Deloitte UK (2018). 2018 Hot Topics for IT internal Audit in financial services. Accedido el 20 de octubre del 2018
3. Trotman, W. (2017). 3 Big Data Analytics Use Cases Against Fraud. Accedido el 20 de octubre del 2018
4. Stanley, M. (2014). Evolution and Revolution in a Digital World
. Accedido el 20 de octubre del 2018
5. Mohapatra, B., Parisa, B & Banerjee, J. (2014). The Value of Big Data Analytics to the Business. Accedido el 20 de octubre del 2018

Big Data: el uso de los datos para saber todo

18 octubre, 2018 by Iván Martín 1 Comment

Me gustaría comenzar esta serie de posts haciendo una simple pregunta, ¿ Qué es lo primero que se nos viene a la cabeza cuando pensamos en “Big Data”? Seguramente, de los primeros conceptos que se nos vengan a la cabeza serán los de gran volumen de información, además de que eso se usa en un ámbito de empresa, algo que a nosotros, en nuestro día a día, queda muy lejos.

Big Data es, al final, un gran volumen de datos, que tienen que cumplir ciertos reglas, para que estos datos puedan ser útiles para facilitarnos la toma de decisiones, en un marco temporal, para que las decisiones sean útiles en el momento de tomarlas. En concreto, el conjunto de normas se denominan: “las 5 V´s” [1], aunque hay ciertos autores que se refieren solo a 4. De todas formas, las 5 V´s son las siguientes:A

Volumen:las empresas disponen de una gran cantidad de datos de las actividades que realizan.
Velocidad: fundamental para las empresas en la sociedad actual, donde las cosas cambian tan rápido.
Variedad: las fuentes de información proceden de distintas fuentes, como visitas a páginas.
Veracidad: fundamental en el mundo de la desinformación constante en el cual vivimos.
Valor: que nos aporten algo respecto a nuestras actividades.

Tras ver cuales son las bases, puede seguir pareciendo que, como he mencionado al principio, esto es algo completamente ajeno a nosotros, a nuestro día a día, que no nos sentimos identificados con él…Pero, aunque no lo creas, todos los días realizamos un proceso similar para poder tomar decisiones. Por ejemplo, cuando queremos informarnos de un suceso de actualidad, para posicionarnos, solemos consultar diversas fuentes, para tener una idea más amplia de lo que ha sucedido. Además, el tipo de información puede variar, puede venir de un artículo de un periódico de prestigio, o puede ser simplemente de un Tuit. Asimismo, también es importante ser rápido, ya que hoy en día, esa noticia primordial hace dos días, hoy ya es pasado. Por último, también es fundamental analizar si la información es veraz, debido a que, sobre todo en la época de la información, es bastante común que haya gente que intenta desinformar; aparte de que la información te tiene que aportar algo a ti.

También, cabe recordar que las empresas, aunque parezcan un lugar frío y dominado por tecnología, estas están gobernadas (al menos de momento) por personas que, al igual que tú o yo, tienen que tomar decisiones, en un lapso de tiempo, y hoy en día más que nunca, limitado.

Aparte, tenemos que recordar que esa información que requieren se la otorgamos nosotros con nuestras compras, hábitos, posts… Donde, sin darnos cuenta, somos sus bancos de extracción de datos, que al final, les ayudamos a poder mejorar sus negocios de manera “altruista”.

Cuando entramos en el hiperespacio, hemos, sin darnos cuenta, hecho un pago por todo, y estos son mediante nuestros datos personales. Las empresas, tras décadas de centrándose en la comercialización del producto, se han dado cuenta de que lo fundamental es el consumidor [2], y por ello, se han dedicado a recabar información de nosotros (sus consumidores) para saber qué es lo que queremos, y cuando lo queremos; es decir, ahora nosotros somos el producto que tienen que vender, y les estamos ayudando a venderlo. En la actualidad, si realizamos una pequeña reflexión, podemos llegarnos a asustar de la cantidad de información que las compañías disponen de nosotros, que hemos ido regalando poco a poco, como semillas que hemos ido esparciendo por el campo, que han ido creciendo, diciendo quiénes somos, y qué queremos, y las empresas han sido lo suficientemente hábiles como para recoger sus frutos. De hecho, compañías como Facebook o Google han hecho público una herramienta que nos permiten saber cuánta información saben de nosotros, por si nos queremos asustar con todo lo que nos dicen que saben, donde solo podemos imaginarnos lo que no dicen que tienen de nosotros, o qué hacen con ello.

Todo esto me recuerda a que parece que solo somos conscientes de la gran cantidad de datos que disponen de nosotros cuando es demasiado tarde. Recientemente se ha descubierto el fallo de seguridad de Facebook que permitía acceder a información personal [3] (que no era crítica) donde se ha revivido el interés por este tema, a pesar de que seguramente el tema se diluya en el futuro próximo; sin ser conscientes del todo de lo que Facebook sabe de nosotros, que al fin y al cabo, se lo hemos dado nosotros con nuestras actividades, siendo seguramente mucho más crítico que alguien cualquiera sepa en qué país/ciudad vives.

En conclusión, hoy en día parece que el precio a pagar para poder entrar en este mundo tan hiperconectado es mediante nuestra información, y también decir que este asunto solo nos parece importante cuando le vemos las orejas al lobo, aunque sólo percibamos la punta del iceberg. Lo que a mí me parece preocupante es que las empresas puedan saber ya todo de nosotros, e incluso que lleguen a saber sobre nosotros mejor que nosotros mismos, si es que no está sucediendo ya, como, por ejemplo, con las ofertas personalizadas de Amazon, que más de una vez al ver un producto que se me recomienda, como mínimo, he tenido la tentación de guardármelo en la lista de pedidos, aunque ni siquiera supiera de antemano algo sobre ese producto.

Referencias

1. JainBig, A. (2016). The 5 Vs of Big Data. Accedido el 18 de octubre del 2018
2. Gamez, M. (2017). Por qué todas las empresas quieren apostar por el consumer-centric. Accedido el 18 de octubre del 2018
3.Rus, C. (2018). Una brecha de seguridad afecta a casi 50 millones de usuarios de Facebook. Accedido el 18 de octubre del 2018

Cuando el producto es gratis, el producto eres tú.

22 enero, 2017 by Ruben Ares Sánchez 4 Comments

En 2012, un adivino montó una carpa en una plaza de Bruselas para mostrar sus extraordinarios poderes. Sus ayudantes invitaron a los viandantes a tomar asiento frente al clarividente, y uno por uno se quedaron sin habla al escuchar a aquel hombre, al que no habían visto jamás, describirles su vida al detalle: cómo era su familia, a qué se dedicaban, sus aficiones y vidas amorosas, sus miedos y enfermedades… y también su cuenta bancaria, el dinero que tenían y en qué lo gastaban, sus contraseñas, …

Por supuesto, aquel hombre no tenía ningún poder místico, no era ningún adivino. Lo que sí tenía era un equipo de personas que investigaban, con la ayuda de ordenadores, a cada uno de los que entraban en la carpa, y un pinganillo para recibir su información. Se trataba (podéis verlo en el vídeo anterior) de una campaña viral de una organización por una banca online segura. Redes sociales, Google, registros en páginas web o comercios digitales: la cantidad de veces que entregamos nuestra información privada en Internet es ya incontable, hasta el punto de que es una batalla que casi damos por perdida.

Nuestro afán por revelar nuestra propia intimidad es ya una forma de vida: retransmitimos nuestro día a día en directo, utilizamos multitud de redes sociales (Facebook, Instagram, Twitter, Snapchat, …) a diario para publicar fotos de lo que comemos y dónde lo comemos, todas las cosas que compramos y cómo y dónde las compramos, las películas y series que estamos viendo, los libros que estamos leyendo, nuestra opinión sobre cualquier noticia o asunto de actualidad, publicamos el destino de nuestras vacaciones, así como los días que estaremos de vacaciones e incluso qué haremos durante esos días, las rupturas amorosas, el nacimiento de un hijo o la adopción de un animal. ¿A quién le va a interesar esta información?, nos solemos preguntar para tranquilizarnos, y nos tranquilizamos más aún pensando que de todas formas es información inocua. Pero la localización geográfica revela nuestro domicilio o nuestra ubicación actual, un comentario de indignación política puede establecer una orientación y perfil político concretos, nuestras compras y gastos mensuales pueden reflejar nuestro capital económico, y esto es sólo la punta del iceberg.

Todos tenemos más o menos asumido que es el precio que pagamos por disfrutar de servicios muy útiles, sin los que ya no sabríamos vivir, algo que se junta al exhibicionismo y la vanidad inherentes a la naturaleza humana. El problema es que a menudo olvidamos las implicaciones de pagar ese precio, la pérdida de la privacidad, la pérdida de una derecho fundamental.

En un paper de 2013 de los economistas Savage y Waldman, titulado “The Value of Online Privacy“, sugerían que los humanos estamos dispuestos a pagar porque nuestros datos no sean recopilados por las apps. Es decir, lo decimos, pero luego no nos preocupamos por ello. ¿Pereza? ¿Dificultad? ¿Ignorancia? Por otro lado, nos contradecimos. En el paper “The value of privacy in Web search“, solo el 16% de los que participaron en la encuestas estarían dispuestos a pagar porque su navegación en la web fuera totalmente privada. En un reciente paper de dos investigadores de la Universidad de Chicago titulado “Is Privacy Policy Language Irrelevant to Consumers?“, aparece como solo una pequeña fracción de usuarios está dispuesta a pagar 15 dólares para detener la invasión de privacidad.

No hay mucho que podamos hacer para recuperar esa privacidad perdida salvo que queramos desconectarnos de Internet, desaparecer del mundo digital y hacer como que los últimos 20 años no han ocurrido. Como decía unas líneas atrás, el mundo es el que es, las redes sociales y el big data han venido para quedarse y el concepto de privacidad e intimidad ha cambiado. Aún así, es importante que seamos conscientes de lo que estamos entregando a cambio de todos esos servicios “gratuitos”.

En esta economía digital, nuestra privacidad, los datos que generamos en el día a día son la nueva divisa. ¿Somos conscientes de ello? ¿Pagaríamos porque dejara de ser así? ¿El beneficio compensa el coste? En mi humilde opinión, la respuesta a estas preguntas se obtuvo en 2013, con la aparición de un nuevo sistema de mensajería. Por aquella época la prensa se hizo eco de noticias que atentaban sobre una brecha de privacidad que acompañaba al actual sistema de mensajería, WhatsApp, en las cuales se demostró que dicha compañía compartía con terceros la información recopilada en sus sistemas. A raíz de dichas noticias surgió Telegram, un nuevo sistema de mensajería que prometía cubrir el aspecto más dañado de WhatsApp, la seguridad y privacidad de los datos de sus usuarios, y que desde el principio demostró que así era.

Fue en este momento cuando tuvimos la oportunidad de velar por nuestra privacidad a cambio de un coste ínfimo, el uso de otro sistema de mensajería, pero a pesar de ello, la mayoría de usuarios decidimos seguir utilizando WhatsApp, decidimos seguir utilizando el mismo sistema bajo el pretexto de la comodidad, el rechazo al cambio, y la exclusión social que ello representaría, ya que solamente podríamos comunicarnos con aquellas personas que también utilizasen Telegram. En mi opinión, las personas todavía no somos conscientes de todos los datos sobre nosotros que son almacenados y analizados por terceros. Suponemos que se trata de una pequeña porción de información sobre nosotros y que no supone el suficiente coste como para dejar de lado todos los beneficios que nos aportan hoy en día las tecnologías gratuitas que utilizamos.

Al fin y al cabo somos seres humanos, muchas veces cerramos los ojos a la realidad y hacemos oídos sordos para no descubrir aspectos de esta que no nos interesan conocer, nos sentimos cómodos viviendo parcialmente en la ignorancia, para posteriormente justificar nuestros errores con ella, y de este modo trasladar la responsabilidad de nuestras acciones fuera de nosotros. Pero tarde o temprano cada uno de nosotros tropezaremos con la piedra de la privacidad, y cuando ya sea demasiado tarde querremos reivindicar un derecho fundamental que hace tiempo vendimos conscientemente a cambio de comodidades.

REFERENCIAS:

[1] La privacidad en juego | FS Gamer

[2] La privacidad en la era del Big Data