Siguiendo con la serie de posts sobre Kafka, hoy veremos cómo monitorizarlo desde el PRTG con un sencillo script en Python:

  1. ¿Qué es Apache Kafka?
  2. Cómo instalar y configurar el Oracle Java Development Kit.
  3. Cómo instalar y configurar en modo clúster el Apache Zookeeper.
  4. Cómo instalar y configurar en modo clúster el Apache Kafka.
  5. Operaciones habituales en Apache Zookeeper.
  6. Operaciones habituales en Apache Kafka.
  7. Cómo monitorizar Zookeeper desde el PRTG.
  8. Cómo monitorizar Apache Kafka con el PRTG.
  9. Mejoras de rendiemiento en Apache Kafka y valores óptimos de los sensores.
  10. Problemas frecuentes en la instalación, configuración y uso de un clúster Kafka.

Todos los ficheros de configuración de esta serie de posts estan publicados en gitlab.

Un post rápido para ver cómo podemos  monitorizar los parámetros más importantes del zookeeper. He publicado en github un pequeño script en Python que se puede llamar directamente desde el PRTG. El script sencillamente se conecta al zookeeper (que supone en el puerto 2181 en el localhost) y recupera los valores que se quieren monitorizar (¿recordáis los FOUR LETTER WORDS?) para parsearlos en un XML y devolver el resultado. Para que el PRTG pueda ejecutar este script tenemos que situarlo en el directorio /var/prtg/scriptsxml. Una vez en esa ruta el script ya nos aparecerá en la web para poder ejecutarlo.

El script devuelve un XML en el formato requerido por el PRTG y crea 18 canales dentro del mismo sensor. Los canales que se monitorizan son los siguientes:

zk_approximate_data_size
zk_are_you_ok
zk_avg_latency
zk_ephemerals_count
zk_followers
zk_max_file_descriptor_count
zk_max_latency
zk_min_latency
zk_num_alive_connections
zk_open_file_descriptor_count
zk_outstanding_requests
zk_packets_received
zk_packets_sent
zk_pending_syncs
zk_server_state
zk_synced_followers
zk_watch_count
zk_znode_count

El script lo dejamos en todos los servidores en los que tengamos instalado el zookeeper y así podemos monitorizarlos todos. Una vez lo hemos dado de alta podemos consultar el estado dentro del PRTG accediendo al nuevo sensor recientemente creado. En nuestro caso le hemos llamado zookeeper.

zookeeper-monitor-2

El PRTG se encarga del resto!

zookeeper-monitor-3

Saludos

 

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s