Splunk

 

Splunk

Splunk es una empresa de software multinacional que ofrece su plataforma principal, Splunk Enterprise, así como muchas ofertas relacionadas creadas en la plataforma Splunk. La plataforma Splunk ayuda a una amplia variedad de personas, como analistas, operadores, desarrolladores, evaluadores, gerentes y ejecutivos. Obtienen información analítica a partir de datos creados por máquinas. Splunk recopila, almacena y proporciona potentes capacidades analíticas, lo que permite a las organizaciones actuar sobre la base de conocimientos a menudo derivados de estos datos.

Splunk es una plataforma de software que recopila y almacena todos estos datos de la máquina en un solo lugar. Hace que buscar e investigar esos datos sea tan fácil como usar Google. Básicamente, es Google para archivos de registro. Más allá de la resolución de problemas, puede utilizar esta capacidad de búsqueda para crear informes y paneles para monitorear el rendimiento, la confiabilidad u otras métricas en una colección completa de servidores y dispositivos relacionados, e incluso crear alertas para advertirle por mensaje de texto o correo electrónico cuando algo va mal. También se utiliza para detectar amenazas a la seguridad y, dado que tiene todos estos datos en un solo lugar, puede realizar la correlación de eventos en todos los dispositivos y aplicarle el aprendizaje automático con el fin de detectar anomalías, analizar el comportamiento del usuario e incluso análisis predictivo para identificar el potencial. problemas antes de que sucedan.



Productos Splunk

Hay varios tipos y modelos de licencia de Splunk disponibles:

Splunk Enterprise está diseñado para implementaciones locales; se puede escalar para admitir un número ilimitado de usuarios y volúmenes de ingesta agregando el número y los tipos necesarios de componentes de software funcional de Splunk (indexadores y cabezales de búsqueda) en los servidores proporcionados por el cliente. El costo de una licencia de Splunk Enterprise se basa en el volumen de ingesta diario. Una amplia gama de aplicaciones para Splunk Enterprise, escritas tanto por Splunk como por la comunidad de usuarios, que agregan valor al producto, están disponibles de forma gratuita en el sitio web de Splunkbase. Splunk también vende varias aplicaciones sofisticadas de soluciones premium, como inteligencia de servicios de TI, seguridad empresarial y análisis de comportamiento del usuario, con una licencia individual, y un kit de herramientas de aprendizaje automático está disponible de forma gratuita en Splunkbase si desea implementar sus propias soluciones de aprendizaje automático.

Splunk Cloud es una versión de software como servicio (SaaS) basada en la nube de Splunk Enterprise; también tiene licencia basada en el volumen de ingesta diaria y ofrece toda la funcionalidad del producto Splunk Enterprise en las instalaciones. La infraestructura central de Splunk es proporcionada y administrada por Splunk, mientras que el cliente administra las entradas de datos, las aplicaciones aprobadas, los informes, los paneles de control, las alertas, etc.

Splunk Light está diseñado para ser una solución a pequeña escala. Permite hasta 20 GB / día de volumen de ingestión, cinco usuarios e informes / paneles / alertas, pero no brinda soporte para implementaciones distribuidas, Splunkbase o aplicaciones de soluciones premium (excepto una aplicación para Amazon Web Services (AWS)), y varias otras limitaciones.

Splunk Free es una versión gratuita del producto principal de Splunk Enterprise que tiene límites de usuarios (un usuario), volumen de ingestión (500 MB / día) y otras funciones; Además, no se puede utilizar para una configuración desplegada / agrupada.

Componentes Splunk

Universal forwarder (UF) es una versión gratuita de tamaño reducido de Splunk Enterprise que se instala en cada aplicación, web u otro tipo de servidor (que puede ejecutar varios tipos de sistemas operativos Linux o Windows) para recopilar datos del registro especificado. archivos y reenviar estos datos a Splunk para su indexación (almacenamiento). En una implementación grande de Splunk, puede tener cientos o miles de forwarders que consumen y reenvían datos para su indexación.

Un indexer es el componente de Splunk que crea y administra índices, que es donde se almacenan los datos de la máquina. Los indexadores realizan dos funciones principales: analizar y almacenar datos, que se han recibido de reenviadores u otras fuentes de datos en índices, y buscar y devolver los datos indexados en respuesta a las solicitudes de búsqueda.

Un indexing cluster es un grupo de indexadores que se han configurado para trabajar juntos para manejar mayores volúmenes de datos entrantes que se van a indexar y solicitudes de búsqueda que se deben atender, además de proporcionar redundancia al mantener copias duplicadas de los datos indexados repartidos entre los miembros del clúster. Hay que tener en cuenta que los miembros del indexing cluster pueden denominarse nodos pares y pares de búsqueda en la documentación de Splunk, según el contexto, lo que puede resultar un poco confuso hasta que se acostumbre a la nomenclatura.

Un search head es una instancia de Splunk Enterprise que maneja las funciones de administración de búsqueda. Esto incluye proporcionar una interfaz de usuario basada en la web llamada Splunk Web, desde la cual los usuarios emiten solicitudes de búsqueda en lo que se denomina lenguaje de procesamiento de búsqueda (SPL). Las solicitudes de búsqueda iniciadas por un usuario (o un informe o panel de control) se envían a uno o más indexadores para localizar y devolver los datos solicitados; el search head formatea los datos devueltos para presentarlos al usuario.

Un search head cluster es un grupo de múltiples cabezales de búsqueda configurados para trabajar juntos para atender a un mayor número de usuarios y proporcionar redundancia para atender las solicitudes de búsqueda. Los miembros del search head cluster se denominan miembros del grupo en la documentación de Splunk.


Un deployment server es una instancia de Splunk Enterprise que actúa como un administrador de configuración centralizado para varios componentes de Splunk, pero que en la práctica se usa para administrar UF. Por ejemplo, todos los cientos o miles de UF que pueden instalarse en servidores en un entorno empresarial pueden "llamar a casa" periódicamente al servidor de implementación para recoger nueva información de configuración, lo que facilita mucho la tarea de administrar todas estas UF.

Un deployer es una instancia de Splunk Enterprise que se utiliza para distribuir aplicaciones de Splunk y algunas otras actualizaciones de configuración para buscar miembros principales del clúster.

Un cluster master es una instancia de Splunk Enterprise que coordina las actividades de un indexing cluster. En un clúster de índices, los datos se distribuyen en varias instancias de indexadores para proporcionar redundancia; el cluster master se encarga tanto de controlar cómo se distribuyen los datos como de ayudar a los search heads a saber dónde dirigir sus solicitudes de búsqueda para encontrar conjuntos de datos específicos. Un ccluster master también se denomina nodo maestro en la documentación de Splunk.

Un  license master es una única instancia de Splunk Enterprise que proporciona un servicio de licencias para las múltiples instancias de Splunk que se han implementado en un entorno distribuido. Si tiene una instancia independiente de Splunk Enterprise o un indexador independiente, puede instalar una licencia localmente en esa máquina; de lo contrario, necesitará una licencia maestra.

Un heavy forwarder es una instancia de Splunk Enterprise que puede recibir datos de otros forwarders o fuentes de datos y analizar, indexar y / o enviar datos a otra instancia de Splunk para su indexación. Un heavy forwarder tiene algunas características deshabilitadas para que no consuma tantos recursos como un indexador, pero retiene la mayor parte de la capacidad de un indexador, excepto que no puede atender las solicitudes de búsqueda. Un heavy forwarder se usa a menudo para analizar los datos entrantes y enrutarlos a varios destinos para indexarlos según la fuente y el tipo de datos recibidos, y / o para acelerar el procesamiento y reducir la carga de procesamiento en los indexadores, pero su uso es opcional.

Splunk Enterprise también tiene una función de herramienta de monitoreo llamada consola de monitoreo, que le permite ver información detallada sobre la topología y el rendimiento de toda su implementación distribuida desde una interfaz. Esta función se puede configurar para ejecutarse en uno de los otros componentes de Splunk, como el cluster master o el deployer, si los recursos lo permiten.




Etapas de procesamiento de Splunk

En la fase de Entrada de datos, Splunk consume el flujo de datos sin procesar de los forwarders u otras fuentes de datos, lo divide en bloques de 10K y anota cada bloque con metadatos como host, fuente, tipo de fuente y el índice al que están destinados los datos según la configuración en un archivo de configuración.

En la fase de parsing (analisis), Splunk divide los datos de estos bloques en eventos individuales e identifica, analiza y asigna marcas de tiempo a cada evento. Los metadatos del bloque de datos del que proviene el evento se asignan a cada evento y se completan las transformaciones necesarias a los datos o metadatos del evento.

En la fase de indexación, Splunk escribe los eventos individuales en el índice especificado en el disco. Escribe tanto datos sin procesar comprimidos como archivos de índice; Los archivos de índice contienen punteros a los datos sin procesar, así como algunos metadatos para facilitar y acelerar el proceso de búsqueda.

En una implementación distribuida, el análisis y la indexación generalmente se referencian juntos como el proceso de indexación, ya que ambas funciones se manejan en un indexador. Esto está bien en un nivel alto, pero si necesita inspeccionar el procesamiento de datos más de cerca o determinar cómo escalar y asignar componentes de Splunk, es posible que deba considerar los dos segmentos individualmente.

El la búsqueda (search) se gestiona todos los aspectos de cómo un usuario busca, visualiza y utiliza los datos indexados. Analiza e interpreta los comandos de búsqueda de SPL, solicita y recibe datos de los indexadores, y formatea y presenta los resultados al usuario. La función de búsqueda en Splunk también almacena y utiliza objetos de conocimiento creados por el usuario, como tipos de eventos, etiquetas, macros, extracciones de campos, etc.

En una implementación distribuida, la función de búsqueda se maneja en search head; en un servidor Splunk Enterprise de una sola instancia, las funciones de entrada, análisis, indexación y búsqueda se realizan en esa única instancia, como es de esperar. 




    Comentarios

    Entradas más populares de este blog

    Mejores practicas para migración de datos a Salesforce

    Arquitecturas de integración

    Tipos de relaciones en Salesforce