Hadoop Analytics: Cuando las organizaciones usan SQL en Hadoop para su inteligencia empresarial, a menudo les resulta difícil hacer frente a las crecientes necesidades de los usuarios comerciales que esperan respuestas instantáneas a consultas complejas.

A medida que Big Data aumenta de tamaño y se vuelve más complejo, la escalabilidad y el rendimiento resultan ser las principales áreas de preocupación para los usuarios empresariales.

Forrester estima que más del 20% de los proyectos de Big Data fallan cada año.

Entonces, ¿por qué estos proyectos fallan?

Los usuarios comerciales necesitan sus respuestas y las necesitan rápidamente. Históricamente, eso significaba que se implementaron dos tecnologías: un Enterprise Data Warehouse que almacenaba grandes cantidades de datos y un SQL Engine que los “usuarios avanzados” podían usar para acceder a los datos.

En la mayoría de los casos, estos almacenes de datos eran difíciles de modificar cuando era necesario y, como resultado, se convirtió en una “caja negra” para el consumidor de datos.

La solución SQL le dio al usuario avanzado acceso a los datos subyacentes, pero era potencialmente “peligroso”:

¿qué pasaría si el usuario ejecutara una consulta “interminable”? ¿Qué pasaría si realiza una consulta incorrecta con los datos incorrectos y devuelve la respuesta incorrecta?

¿Por qué Hadoop Analytics se vuelve difícil?

La promesa de Big Data es el rendimiento y el almacenamiento. Por lo tanto, los grupos de TI ven Big Data como la respuesta al enigma EDW / SQL. TI crea una plataforma Hadoop y abre los datos para todos.

Las herramientas de análisis de datos pueden conectarse directamente a Hadoop o podemos escribir SQL en su contra. Y debido a que el clúster de Hadoop tiene “almacenamiento y procesamiento infinitos”, se espera que responda a todas las preguntas.

Desafortunadamente, los análisis que usan SQL en Hadoop Analytics no pueden satisfacer estas demandas. Las herramientas como Hive e Impala tardan minutos u horas en devolver los resultados a una consulta.

Además, conectarse a Hadoop directamente desde herramientas de análisis de datos como Tableau, Microstrategy o Excel a Hive o Impala agrava el problema. En resumen, los usuarios empresariales no obtienen el rendimiento que demandan y necesitan en el mundo actual.

“Esperando consulta” Impacto del costo

En promedio, los usuarios y analistas de negocios pasan 100 minutos cada semana esperando a que vuelvan sus consultas. Para poner eso en una perspectiva de dinero, eso es $ 53 por semana por persona que se desperdicia directamente. Eso no incluye el tiempo y el dinero perdido por el gerente o el ejecutivo que espera el informe. Entonces, si miramos a toda la empresa, podría haber unos pocos miles de usuarios o más esperando sus datos.

The Analyst’s Dilemma

Además del desperdicio de su costoso tiempo, la respuesta lenta para las consultas también crea renuencia sobre el uso de datos de Hadoop para análisis.

• Si va a llevar 10 minutos ejecutar esa consulta en el nuevo sistema, ¿por qué debería moverme a Hadoop?
• Si voy a perder capacidad y rendimiento, ¿realmente necesito más información sobre Hadoop?
• Mi administrador aceptó lo que les di en el pasado de SQL Server. Es lo suficientemente bueno.

Estas limitaciones no solo obstaculizan la adopción de Hadoop en las empresas, sino que también ponen a los equipos de TI en un punto difícil para recuperar su Hadoop. inversiones.

OLAP en Hadoop Solution

Entonces, ¿cómo eliminamos estos cuellos de botella?

Las empresas están recurriendo a OLAP en Hadoop Analytics para análisis después de descubrir que Hive o Impala simplemente no lo hacen responder contra miles de millones de filas de datos. Los cubos OLAP le permiten consultar los datos de su empresa para reunir las mismas respuestas. Los cubos proporcionan cálculos complejos, análisis de tendencias y sofisticados modelos de datos.

Los proveedores de soluciones de Big Data ahora ofrecen OLAP en Hadoop soluciones que permiten a los usuarios de toda la empresa consultar y analizar volúmenes masivos de información en segundos.

Mediante la estructuración, el cálculo y la agregación previa de los datos de Hadoop, esta tecnología logra la escalabilidad y el rendimiento que los usuarios empresariales necesitan.

Resuelve la escalabilidad al mantener los datos en la plataforma Hadoop; ahí es donde se supone que debe estar Big Data. Los cubos también se almacenan en Hadoop. El desafío de rendimiento se aborda mediante la agregación previa de datos en el cubo.

Por lo tanto, cuando un usuario solicita datos de ventas por año, solo se trata de encontrar esa intersección en los datos. El rendimiento de consulta mejorado no solo ayuda a los usuarios comerciales a comprender tendencias e identificar problemas, sino también a desarrollar estrategias futuras basadas en decisiones informadas.

Además del rendimiento y la escalabilidad, los usuarios pueden realizar fácilmente Hadoop utilizando su BI y análisis de datos preferidos herramientas como Tableau, Qlik, Excel, Power BI, Microstrategy, Business Objects y más. No solo eso, sino que los desarrolladores pueden conectarse a los cubos usando bibliotecas estándar en Python, Java y muchos otros lenguajes.

Finaliza la “Espera”

A medida que las empresas generan nuevas ideas para mejorar y crecer , lo que necesitan es una plataforma de Hadoop Analytics que tenga la capacidad de reducir la brecha entre una idea de análisis y el momento en que se entregan esos conocimientos.

La publicación es de Dhvani Shah, el Gerente de Marketing de Kyvos Insights y comenzó su carrera trabajando para marcas como Airbus y Philips hasta que se dio cuenta de su pasión por Data and Analytics. Ella ha sido parte del equipo de marketing de Kyvos desde el principio y tiene un conocimiento exhaustivo sobre la industria del Big Data.

The post El mayor desafío de Hadoop : se trata de Query Performance apareció primero en Big Data Analytics News .