Big Data: hot trends and implementation results of 2018

Big Data: tendencias actuales y resultados de implementación de 2018

Mientras 2018 está llegando a su fin rápidamente, los científicos y analistas de datos de todo el mundo miran a su alrededor para ver qué tendencias dominaron el panorama de Big Data y conocer los resultados de la implementación empresarial. de soluciones de Big Data.

Este artículo proporciona una breve descripción de las opiniones expresadas por múltiples expertos en datos, analistas, mentores e ingenieros. Estos comentarios se dieron hace casi un año y es interesante ver cuántos de ellos se hicieron realidad.

En primer lugar, aunque todavía hay mucha discusión sobre qué es Big Data y cómo es mejor usado, muchos líderes de pensamiento insisten en que el término ya no es correcto.

Podemos simplemente decir datos, como está implícito y comprendido de forma predeterminada, que los ámbitos de datos generados y procesados por las empresas digitales modernas son enormes. Esto fue reflejado por Gartner en 2015, quienes eliminaron el término Big Data de su Gartner Curve .

Sin embargo, la gran mayoría de las personas no son líderes de opinión, y aún perciben el Big Data como un Término general para análisis de negocios basado en inteligencia artificial (AI) y aprendizaje automático (ML).

Para ser honesto, esta es la forma predominante de aplicar soluciones de Big Data, ya que las empresas de la industria del petróleo y gas, telecomunicaciones, productos farmacéuticos, electrónica de consumo, están intentando activamente implementar las capacidades de IoT, AI y ML en sus productos y servicios.

Enumero algunas de estas opiniones aquí y luego las apoyo con breves descripciones de los casos de uso de Big Data en 2018 de varias industrias. No recito textualmente los textos, sino que simplemente resalto la idea principal del mensaje.

Big Data tendencias de 2018: opiniones de los visionarios

Marcus Borba CEO @ Borba Consulting, dijo que “Big Los datos dejan de ser una palabra de moda y se convierten en el enfoque ampliamente aceptado de agregar IoT, algoritmos AI y soluciones ML a los procesos analíticos y de inteligencia empresarial.

Las nuevas empresas se vuelven impulsadas por datos e implementan el modo de operaciones en la nube para sus análisis de datos, encontrando nuevas formas de generar más valor para sus negocios y ofrecer más valor a sus clientes “.

Craig Brown, Ph.D. un mentor, experto en tecnología, coach y experto en Big Data dijo que “en 2017 las empresas han reevaluado en gran medida sus iniciativas de Big Data para alejarse de Hadoop y concentrarse más en Visualización de Big Data administración e implementación de entornos de nube híbrida para el procesamiento de datos. Predijo que 2018 será el año en el que se dispararán los datos y los análisis sobre la marcha, junto con un uso más detallado y productivo de NoSQL “.

Meta S. Brown autor de Data Mining for Dummies expresó su opinión de que “en el ejemplo de Documentos de Panamá podemos ver, cómo los análisis de datos modernos pueden descubrir la corrupción entre los poderosos y los ricos.

Dicho esto, el éxito en el uso de la analítica de datos no depende de la magia, sino del proceso claramente definido, la diligencia y la voluntad de cooperar de todas las partes involucradas “.

Vasant Dhar profesor en NYU, el editor jefe de la revista “Big Data”, dijo que “2018 vio el aumento general de la adopción de Big Data en las ciencias, la salud, el gobierno y otras industrias.

El análisis predictivo basado en la nube ayuda a aumentar la eficiencia del negocio, mientras que las regulaciones legales se concentran en la seguridad, el gobierno de los datos y la estabilidad del rendimiento “.

Tamara Dull Directora de SAS Best Practices, afirma que” 2018 será un año ocupado en el que continuaremos por el camino de IoT / ML / AI mientras intentamos entender dónde es mejor almacenar y procesar los datos, tanto a largo como a corto plazo. ¿Será la nube local o híbrida, la computación perimetral o la nube privada? El tiempo se mostrará ”.

William Schmarzo también llamado“ el Decano de Big Data ”es un CTO @ Big Data de servicios de EMC de Dell. Dijo que “el análisis de Big Data continuará transformándose de una tarea del departamento de TI en una doctrina de negocios.

Los resultados de un análisis de datos correcto pueden generar millones en valor agregado, mientras que su costo marginal de reutilización es literalmente cero.

Big Data tiene un enorme potencial económico y es un activo valioso: el que podemos recibir de forma gratuita sin CAPEX ni OPEX, y debemos aprender a usarlo de la manera más eficiente. Big Data es el nuevo sol para el negocio “.

Mark Van Rijmenam fundador de Datafloq y reconocido internacionalmente Big Data & blockchain estratega, declaró que” 2018 será un Un año emocionante en el que la IA se volverá más inteligente e ICO se convertirá en la verdadera carrera de armamentos.

Una vez que la IA deje de capacitarse en datos humanos y se eliminen las últimas posibilidades de opinión sesgada, las empresas podrán implementar el análisis prescriptivo y obtener los beneficios proporcionados por esta última etapa del análisis de Big Data “.

Matei Zaharia uno de los autores del proyecto Apache Spark y el Tecnólogo en Jefe de Databricks dijo que “a lo largo de 2017 y 2018 vimos un crecimiento estable en el despliegue de análisis basados en la nube. Múltiples proveedores de nube mejoran constantemente sus ofertas existentes de Big Data en la nube y aumentan su rango.

“La industria se mueve para comprender que el análisis de datos nativo de la nube no es el montacargas para los almacenes de datos locales, sino que aprovecha la facturación PAYG y la computación sin servidor, además del almacenamiento en la nube escalable mueve el análisis de datos a un nivel completamente nuevo”.

Casos de uso de Big Data de 2018

Se comprobó que estos pensamientos y opiniones eran ciertos y, a continuación, enumero varios casos de uso de negocios, destacando la creciente adopción de análisis de negocios basados en datos.

Uso de GPU para procesar Big Data con superior velocidad

Las GPU estándar son chips de subprocesos múltiples con al menos 5.000 núcleos informáticos destinados a realizar la representación de imágenes, el procesamiento de vectores y los cálculos de alta velocidad necesarios para los juegos. Ami Gal CEO y co-fundador de SQream propuso usar GPU en lugar de CPU para el procesamiento de datos a alta velocidad .

Si la GPU funciona según lo previsto, pero los vectores que procesa están en realidad en una base de datos con una consulta SQL en la parte superior, esta velocidad superior se puede utilizar en el análisis de datos.

El principal desafío fue encontrar una base de datos capaz de trabajaban sobre una GPU, y tenían que construir su propia solución para eso.

Su solución demostró ser un enfoque eficiente cuando un operador de telecomunicaciones con más de 40 millones de suscriptores activos quería acelerar su Business Analytics.

El Almacén de datos MPP existente demoró 1–3 minutos para completar una consulta simple contra una base de datos de 14 TB de perfiles de clientes, registros de llamadas y otros datos. SQream DB hizo el trabajo en tan solo 8 segundos al tiempo que pudo escalar a 40 TB con facilidad.

Big Data promete grandes ingresos para la industria del petróleo y el gas

La exploración geológica en la actualidad había evolucionado lejos de aburrir simplemente las aberturas de prueba en un intento por localizar campos de petróleo o gas.

Se procesan enormes volúmenes de imágenes sísmicas en 2D, 3D y 4D para identificar la imagen de los depósitos de petróleo / gas a continuación y maximizar la posibilidad de encontrar firmas de traza sísmica productivas, los puntos dulces para perforaciones, que no se identificaron anteriormente.

Dicho esto, cuando se combinan la infraestructura de IoT, la computación perimetral, los modelos de ML y las soluciones analíticas de Big Data, se pueden minimizar los gastos de la industria de petróleo y gas y maximizar sus ingresos. Incluso permite usar los datos meteorológicos y geológicos públicos para predecir los campos de petróleo y gas sin siquiera realizar una exploración costosa.

La otra área importante de la aplicación de Big Data en la industria del petróleo y el gas es maximizar la relación de costo-eficiencia de todas las operaciones .

Los sensores de IoT en los orificios y tuberías, en las estaciones de bombeo y dispersos en los campos de perforación petrolera ayudan a analizar la eficiencia del equipo utilizado y maximizar el retorno de la inversión.

Es mejor reemplazar el cabezal de perforación por uno más resistente inmediatamente después de encontrarse con la capa de granito denso que pagar por todas las reparaciones y revisiones del equipo si el problema se descubre demasiado tarde.

La seguridad del procesamiento del aceite es la tercera área de aplicación, como las cámaras inteligentes y los sensores pueden analizar los patrones normales de procesamiento de aceite y alertar a los operadores / detener las operaciones inmediatamente si algo sale mal.

Este es un gran paso adelante del análisis posterior al incidente y los sistemas de alerta externos ampliamente adoptados en los días anteriores.

Big Data en la industria farmacéutica: una amplia gama de aplicaciones

La industria farmacéutica se encuentra en el troves de datos y está activamente tratando de darles un buen uso a través del poder del análisis predictivo basado en Big Data.

Los casos de uso en cuestión pueden incluir recetas personalizadas, la elección correcta de los pacientes para los ensayos clínicos, la correlación del volumen de las recetas, así como actividades auxiliares como la logística, la comercialización y la venta de nuevos medicamentos.

La principal complicación es la estricta necesidad de cumplir con múltiples regulaciones con respecto a los datos personales de los pacientes y el hecho de que las ventas dependen en gran medida de las recomendaciones del médico.

Estas son algunas de las formas en que las grandes compañías farmacéuticas intentan superar estos desafíos con Big Data.

Un motor de recomendación personalizada podría construirse para aprovechar la vista de 360 ° de los pacientes, incluidas sus condiciones pasadas, antecedentes familiares, etc. al emitir recetas personalizadas adaptadas a sus casos específicos.

Un mecanismo de seleccionando a los pacientes para ensayos clínicos se puede mejorar enormemente desde el enfoque burocrático existente. Si el algoritmo de AI puede identificar a los individuos que pueden beneficiarse más de las pruebas de detección de drogas, o agregar algún grupo subrepresentado que no participó previamente en la investigación, el valor de los resultados finales aumentará considerablemente.
Las redes de regresión pueden ser usado para probar las posibles interacciones de varias mezclas químicas durante el desarrollo experimental de fármacos . Lo que lleva décadas hoy en día, puede reducirse a años o meses, al tiempo que reduce significativamente el riesgo potencial para los pacientes de prueba.
Las personas no compran drogas si no están enfermas, y una vez que lo hacen, compran lo que El doctor los prescribe . Como la propagación de la enfermedad no es lineal, es esencial emplear un análisis predictivo para evaluar cómo los diferentes médicos recetan los medicamentos y recompensan a los defensores de la marca para impulsar aún más las ventas. Dicha analítica ayuda a escoger los frutos ocultos en lugar de participar en guerras de precios irritantes.
La capacitación continua de los modelos de LM involucrados se requiere para garantizar que la analítica predictiva tenga su máxima eficiencia . El costo del error podría ser una vida humana, por lo que la mejora constante de la precisión de las predicciones es esencial para la industria farmacéutica.

Al aprovechar todos los datos disponibles públicamente, además de las minas de oro internas del conocimiento, las compañías farmacéuticas pueden identificar las anteriores. áreas desatendidas de interés y utilícelas en todo su potencial.

Blockchain y Big Data: una gran combinación

He descrito los proyectos que combinaron blockchain y Big Data hace casi un año. Desde entonces, se lanzaron múltiples proyectos piloto en todo el mundo en industrias como el sector de bienes raíces y energía, seguros y servicios financieros, banca y salud.

Literalmente, cada sector empresarial puede beneficiarse de datos inmutables, transparentes y consistentes. Esto también hace que los datos sean mucho más valiosos, ya que el análisis es capaz de detectar los patrones y las perspectivas que no fueron observables anteriormente.

Notorious Big Data Projects of 2018

Aparte de las aplicaciones puramente comerciales, hay múltiples proyectos prominentes de Big Data. que actualmente están en desarrollo activo o recién están comenzando. A continuación, enumero brevemente tales logros (o revelaciones) de Big Data.

Nvidia hace que su motor PhysX sea de código abierto bajo la licencia BSD-3 para reforzar la comunidad de desarrollo de juegos. Nvidia pasa del uso de imágenes generadas físicamente a generadas por AI en sus iniciativas de desarrollo de juegos.
AWS presenta el servicio para la recopilación directa de datos de satélites lo que permite a las empresas capturar los datos de sus satélites y procesarlo sin siquiera dejar sus cuentas de AWS.
Keras, la plataforma de aprendizaje de máquina para humanos está desarrollado activamente por una comunidad apasionada. Vio una actualización importante (v2.2.0) en junio de 2018 y se mejoró constantemente.
OpenCV, un algoritmo popular de visión por computadora se actualizó a v4.0.0, lo que ofrece una multitud de nuevas funciones. así como también mejoras en el rendimiento.
Google presenta Google Duplex un servicio innovador para los propietarios de Google Pixel, que permite realizar llamadas de voz y reservar habitaciones de hotel, mesas de restaurantes y otras comodidades. Puede que no parezca importante todavía, pero seguramente ganará mucha más tracción en los próximos años.

Reflexiones finales sobre las tendencias de Big Data, casos de uso y proyectos de 2018

Como cualquier otra industria importante, Big Data La analítica no permanece inactiva. Crece y evoluciona constantemente, presentando a las empresas herramientas y enfoques para el análisis de datos que mejoran constantemente, lo que permite a las empresas de todos los tamaños aprovechar las últimas tecnologías y las mejores prácticas para generar más valor para sus clientes. Con suerte, este material lo ayudará a comprender mejor el potencial de Big Data para su negocio.

¿Perdí algo importante en el campo de Big Data que ocurrió en 2018? ¡Por favor comparta sus pensamientos en los comentarios a continuación!