Splunk in the cloud con AWS

Es cierto que nosotros de sistemas cada día estamos apreciando más la herramienta de Splunk.

Es muy potente, la verdad, y nos permite poder ágilmente bucear en los logs y crear en tiempo real graficas muy interesantes.

Asi que nos puede venir bien poder montar un pequeño laboratorio “in the cloud” donde poder hacer pruebas subiendo logs y ver qué partido le podemos sacar (a parte de tener nuestro entorno de produccion para los servicios que llevamos)

Ya Michele en su post “Gestionar datos por las nubes con Splunk>Cloud”  ha indicado una vía para eso y hecho una muy buena introduccion a la herramienta.

Aqui la idea  para implementar este entorno es instalar manualmente el Splunk Enterprise en una máquina virtual anteriormente creada en el cloud.

Este post quiere indicar brevemente los pasos para hacerlo.

En nuestro caso asumiremos como pre-requisito tener una maquina Linux en Amazon Web Service ya creada y corriendo (una instancia EC2 por ejemplo es gratuita por 12 meses).

1) El primer paso es instalar el Splunk Enterprise en nuestra máquina aws.

Desde la web nos podemos descargar la última versión que actualmente es la 6.4.

Esta versión nos da una licencia de prueba de 60 dias y una posibilidad de indexar unos 500MB diarios, que al final no está tan mal para nuestros tests.



 

La instalación es muy sencilla, simplemente instalamos el rpm de esta manera

rpm -i splunk-6.4.0-f2c836328108-linux-2.6-x86_64.rpm

Para arrancarlo la primera vez

./splunk start –accept-license

Tip (!): una vez instalado si queremos poner Splunk para poderlo manejar con “service” , le damos

/opt/splunk/bin/splunk enable boot-start

[root@ip-172-31-26-171 ~]# service splunk status
Splunk status:
splunkd is running (PID: 19592).

De esta forma ya tenemos Splunk up-and-running y escuchando en el puerto 8000.

Ahora tenemos que abrir ese puerto desde la web de administración de nuestra máquina AWS, a través de la opción “Security Grups” de nuestra instancia.

Asi que ya podemos comprobar que llegamos a la web desde un navegador

ec2-52-33-213-153.us-west-2.compute.amazonaws.com:8000

y ya tenemos hecho el paso1!

2) El segundo paso es subir los datos que Splunk tiene que analizar.

Se podrían subir directamente al servidor, pero es mucho más interesante hacerlo desde uno o más clientes.

Para eso es necesario instalar en el cliente (en mi caso en mi máquina linux) un agente de splunk, el Splunk Forwarder.

Igual que en el paso anterior la instalación es muy rápida y sencilla

rpm -ivh splunkforwarder-6.4.0-f2c836328108-linux-2.6-x86_64.rpm

Lado Splunk Server tendremos que hacer dos cositas más para que el agente pueda comunicarse con él:

– Desde la web de Splunk habilitar la recepción de datos (desde Settings –> Forwarding and Receiving)

– Desde la web de nuestra maquina AWS abrir el puesto 9997 (donde se escucha de default para los datos del forwarder).

Lado Forwarder tenemos que indicar los ficheros de logs que queremos subir e indexar y qué  Splunk Server apuntar.

Los ficheros llave a tener en cuenta para esta configuración son los

/opt/splunkforwarder/etc/system/local/inputs.conf

donde configuramos los logs que queremos

y el

/opt/splunkforwarder/etc/system/local/outputs.conf

donde configuramos el servidor splunk destino y que tendrá un formato de este tipo

[tcpout:group2]

server=ec2-52-33-213-153.us-west-2.compute.amazonaws.com:9997

This is it, ya esta’ todo listo para entrar en la web y lanzar nuestras búsquedas de prueba…

y to “take the shit out of IT” , como comentas nuestro amigo Splunk cuando se reinicia