Componentes de Bidoop Layer

Bidoop Layer es una capa de componentes Big Data para Hadoop que permite analizar diversas fuentes de información y acelerar el desarrollo de nuevos modelos analíticos o la creación de procesos operacionales, dotando de valor a grandes volúmenes de datos incluso en tiempo real.
La arquitectura de Bidoop Layer se divide en seis componentes principales modularizados que, en su conjunto, forman un producto robusto e innovador.

Ver la arquitectura de Bidoop Layer

  • Define modelos analíticos y reglas de negocio

    Motor de Workflow

    Define modelos analíticos y reglas de negocio

    Herramienta que permite definir modelos analíticos y reglas de negocio de forma sencilla utilizando algoritmos desarrollados previamente por personal técnico. La ventaja diferencial de este componente exclusivo de Bidoop Layer reside en su funcionalidad, ya que para su utilización no es necesario contar con conocimientos tecnológicos previos en materia de Big Data.

    Ventajas del Motor de Workflow:

    • Permite definir y ejecutar procesos y reglas que generan la información de valor.
    • Dota de modularidad y capacidad analítica inteligente al sistema (mediante los componentes Mahout y R, principalmente).
    • Dichas reglas se pueden lanzar a nivel de ETL, a nivel de procesamiento o a nivel de exportación de información.
    • Permite la utilización de las tecnologías HIVE, Pig, R y Mahout del ecosistema.
    • Posee una interfaz que agiliza la definición de nuevos procesos y reglas.
    • Permite dotar a la plataforma Big Data de mucha flexibilidad tanto a nivel de proceso como a nivel de exportación y compartición con otros sistemas.
    • Permitirá abordar la parte predictiva y de BI en las siguientes fases con todas las garantías.
  • Detección de eventos y creación de alarmas

    Motor de eventos en tiempo real

    Detección de eventos y creación de alarmas

    Ofrece la posibilidad de monitorizar flujos de información continuos y detectar eventos en tiempo real. Identifica correlaciones entre datos de diversas fuentes de información, desencadenando de forma casi inmediata alarmas o acciones predeterminadas. A su vez, combina el análisis de históricos de información con la analítica de datos en el presente.

    El motor de Workflow es capaz de realizar un filtrado preventivo de información y una categorización de los eventos que procesa. El sistema de detección de eventos es el encargado de monitorizar y encontrar, en tiempo real, secuencias de eventos y sucesos de acuerdo a una regla para luego almacenarlos en la memoria HBase. Estas reglas pueden ser creadas y ejecutadas en cualquier momento sin independencia de las tareas o cargas del sistema.

    A su vez, al ser Bidoop totalmente escalable, permite que los picos de información no alteren sus resultados.

  • Capa de gestión orientada a la seguridad

    Gestor de usuarios y accesos al sistema

    Capa de gestión orientada a la seguridad

    Capa de gestión orientada a mejorar la seguridad de la solución aplicada, incrementando el control sobre el acceso de los usuarios al sistema. Esta herramienta habilita distintos accesos y funciones en función de la tipología de cada usuario y permite la conexión con diferentes sistemas de legacy mediante LDAP, Active Directory o Kerberos.

    Uno de los fundamentos intregados desde Pragsis es ofrecer aplicaciones cien por cien seguras. Por ello, disponemos de un equipo de ingenieros expertos en seguridad informática que revisan cada una de las versiones de las que disponemos. La característica fundamental de la seguridad es que sólo unos determinados usuarios tengan acceso a las secciones que se les ha asignado, definiéndolas de la forma más concreta y posible con nuestro sistema de usuarios. La mayor parte de las empresas tienen integrados en sus equipos un sistema de indentificación de usuarios como son LDAP, Active Directory o Kerberos. Bidoop es capaz de integrarse con estos tres sistemas con gran facilidad, quedando incorporado en sus redes. El control del acceso no modifica en nada sus políticas de seguridad.

    También ofrecemos una solución designada a la gestión de la seguridad informática. En la medida que las empresas crecen sus necesidades y líneas de negocio, éstas influyen en los recursos humanos y sus actividades. Es necesario tener un estricto control de sus acciones y accesos sin perder la flexibilidad de la empresa. Para ello es necesario un sistema efectivo de gestión de usuarios, como es el Active Directory, LDAP y Kerberos. Bidoop, en la actualidad, se integra con ellos de forma que si se dispone de una gran cantidad de servidores que proporcionan estos servicios, estén unificados y analizados usando nuestra herramientas de Bidoop.

    Por ejemplo, el acceso de un usuario simultáneamente en dos localizaciones diferentes será detectado y se procesará dicho evento en tiempo real. O bien, se podrá realizar un estudio estricto en tiempo real de las actividades de un determinado grupo.

  • Integra componentes de monitorización y mantenimiento

    Bidoop Manager

    Integra componentes de monitorización y mantenimiento

    Esta herramienta integra componentes que permiten que la instalación, monitorización y mantenimiento de Bidoop Layer y de Hadoop sea más sencilla.

    • Incorpora una interfaz web que permite comprobar el estado del sistema y diagnosticar problemas, mostrando el porcentaje de espacio utilizado en el clúster, el balanceo de carga o la distribución de los nodos, entre otros datos.
    • También integra la interfaz visual del motor de WorkFlow, del Motor de Eventos y del Gestor de usuarios. Ofrece la posibilidad de definir nuevas fuentes de información para su utilización en el sistema, tipos de operaciones y transformaciones que se van a realizar con los datos de entrada, o los procesos analíticos que se van a ejecutar con el Motor de Workflow y el Motor de Eventos.
    • Bidoop Manager facilita la realización de diferentes implantaciones dentro de un mismo clúster Hadoop, posibilitando que distintas aplicaciones de negocio funcionen al mismo tiempo sobre la arquitectura Big Data que se haya definido previamente.
  • Informes y cuadros de mando

    Dashboards

    Informes y cuadros de mando

    Bidoop incorpora una capa de visualización de la información orientada a los usuarios finales del aplicativo. Con esta herramienta, un usuario sin conocimientos técnicos de Hadoop podrá tener acceso a informes y cuadros de mando con la información resultante de procesos analíticos u operacionales realizados con el Motor de Workflow o de Eventos.

  • Visualización de analítica de datos interactivos

    Herramientas de Visualización

    Visualización de analítica de datos interactivos

    Bidoop Layer integra herramientas open source de visualización de analítica de datos, permitiendo al usuario una mayor personalización en la consulta de la información.

    Para ello, se utilizan aplicaciones como:

    • R
    • Pentaho
    • Open Street Map
    • D3