Instale y configure el complemento Kafka para monitorear el middleware Kafka de mensajería de alta capacidad y tolerante a fallas. Tome decisiones fundamentadas sobre la solución de problemas mediante el seguimiento de métricas críticas como el recuento de conexiones, la tasa de bytes entrantes y salientes, y mucho más.
En este documento, se describe cómo configurar el complemento Apache Kafka y las métricas de monitoreo para proporcionar visibilidad detallada del rendimiento, la disponibilidad y las estadísticas de uso de los servidores Kafka.
Métricas de monitoreo del rendimiento de Apache Kafka:
Utilice nuestra amplia gama de métricas y reciba notificaciones de errores peligrosos que requieren su atención. Realice un seguimiento de tendencias inesperadas a través de nuestros gráficos métricos y solucione los problemas lo más rápido posible. Las siguientes son las diversas métricas de uso inmediato compatibles:
Recuento de conexiones
El valor “connection_count” proporciona la cantidad actual de conexiones activas con el clúster Kafka
Tasa de bytes entrantes/salientes
Los valores “incoming_byte_rate” y “outgoing_byte_rate” proporcionan la cantidad promedio de bytes entrantes recibidos por segundo y de bytes salientes enviados por segundo, respectivamente
Latencia de solicitud promedio
Una medida de tiempo entre una solicitud enviada por el productor hasta que se recibe una respuesta del agente se muestra como “avg_request_latency”
Cantidad de operaciones de red
La cantidad promedio de operaciones de red (lectura o escritura) en todas las conexiones por segundo se indica como “network_io_rate”
Tasa de solicitud
La frecuencia según la cual los productores envían datos a los agentes se calcula mediante la métrica “request_rate”
Tasa de respuesta
El valor “response_rate” muestra la tasa de respuesta recibida de los agentes
Tiempo que dedicó el subproceso de entrada/salida
El valor “io_time_ns_avg” ofrece la duración promedio del tiempo que la cadena de entrada/salida pasa esperando un socket (en nanosegundos)
¿Cómo funciona?
- Inicie sesión con su cuenta de Site24x7. Regístrese aquí si no tiene una.
- Descargue e instale la versión más reciente del agente de Linux de Site24x7
- Instale el complemento Kafka
- El agente ejecutará el complemento Kafka y enviará los datos al servidor Site24x7
Requisitos previos:
- Descargue y extraiga el archivo “kafka-python-1.3.1.tar.gz” desde https://pypi.python.org/pypi/kafka-python
- Download the file from https://pypi.python.org/pypi/kafka-python
sudo wget https://pypi.python.org/packages/81/94/f9151888b40339f2624759df8241080020acafed49d3a4369ceedd72c096/kafka-python-1.3.1.tar.gz#md5=2494d82f096d21af7a72b3c5bd26bdfa - Extract the file
sudo tar -xvzf kafka-python-1.3.1.tar.gz - Go to the directory where the file is extracted
cd kafka-python-1.3.1/ - Instale el módulo
sudo python setup.py build
sudo python setup.py install
Instalación del complemento Kafka:
- Create a directory with the name "kafka_producer", under Site24x7 Linux agent plugin directory - /opt/site24x7/monagent/plugins/ sudo mkdir kafka_producer
- Descargue “kafka_producer.py” desde nuestro repositorio de GitHub y colóquelo en el directorio “kafka_producer”
- The default python path given in the plugin script is #!/usr/bin/python. If you wish to provide an alternate python path, replace the existing one preceded by the shebang character "#!". Por ejemplo: #!/usr/local/bin/python3
- Cambie los valores de BROKER_NAME y PORT para que coincidan con su configuración
- The server agent will report stats on the performance of Kafka under the Plugins tab in the Site24x7 web client. In case the plugin is not listed in the Site24x7 web client, restart the agent. sudo /etc/init.d/site24x7monagent restart