Monitorez les clusters Apache Kafka avec OpenTelemetry Collector pour une visibilité en temps réel et un streaming de données fiable. Cette solution sans fournisseur associé évite les temps d’arrêt coûteux dans les environnements auto-hébergés et Kubernetes.
Options du collecteur
New Relic prend en charge deux distributions OpenTelemetry Collector pour le monitoring de Kafka, offrant toutes deux des fonctionnalités identiques avec les mêmes fichiers de configuration et capacités de monitoring.
- NRDOT Collector (recommandé) : distribution New Relic de l'OpenTelemetry Collector avec le support New Relic pour l'assistance. Pour plus d'informations, consultez le dépôt GitHub NRDOT Collector.
- OpenTelemetry Collector: la distribution communautaire en amont. Pour plus d'informations, consultez le dépôt GitHub OpenTelemetry Collector Contrib.
Choisissez le collecteur le mieux adapté à vos besoins opérationnels et de support, puis configurez le monitoring pour votre environnement.
Monitorez vos clusters Kafka avec des dashboards complets affichant l'état du cluster, l'état du broker, les métriques des sujets et les performances du groupe de consommateurs.
Pourquoi le monitoring de Kafka ?
- Prévenez les pannes: recevez des alertes en cas de défaillances de broker, de partitions sous-répliquées et de sujets hors ligne avant qu’elles ne provoquent des temps d’arrêt
- Optimiser les performances: identifier le retard des consommateurs, les producteurs lents et les goulots d’étranglement du réseau qui affectent la vitesse de traitement des données
- Planifier la capacité: suivre l'utilisation des ressources, les débits de messages et le nombre de connexions pour évoluer de manière proactive
- Assurez l'intégrité des données: monitorez l'état de la réplication et l'équilibre des partitions pour éviter la perte de données
Cas d'utilisation courant
Le monitoring Kafka vous aide à détecter les problèmes avant qu'ils n'affectent votre entreprise. Soyez alerté lorsque les pics de retard des consommateurs menacent les dashboards en temps réel, que les pannes de broker risquent de provoquer une perte de données, ou que les goulots d’étranglement du réseau ralentissent les pipelines de données critiques. Essentiel pour les transactions financières, le traitement des données IoT, la communication des microservices, les plateformes d’e-commerce et l’analyse en temps réel.
Démarrer
Choisissez votre environnement Kafka pour commencer le monitoring. Chaque guide d'installation comprend des prérequis, des étapes de configuration et des conseils de dépannage.
Comment ça marche
Le collecteur recueille en continu des données de performance à l'aide de composants spécialisés :
Collecte de données :
Récepteur de métriques Kafka: se connecte au port bootstrap de Kafka pour la santé du cluster, le lag du consommateur, les métriques des topics et le statut des partitions
Collecte de métriques JMX: collecte les performances du broker, les données JVM et les informations opérationnelles détaillées via :
- Kafka auto-hébergé: agent Java OTel ou exportateur JMX Prometheus sur la JVM du broker
- Kubernetes (autogéré): agent Java OTel ou exportateur JMX Prometheus via un conteneur init
- Kubernetes (Strimzi): exportateur JMX Prometheus via celui de Strimzi
KafkaMetricsConfig
| Agent Java OTel | Exportateur JMX Prometheus | |
|---|---|---|
| Architecture | Basé sur le push | Basé sur le pull |
| Protocole | OTLP (gRPC ou HTTP) | Scrape HTTP (port par défaut 9404) |
| Configuration | Fichier de configuration JMX (.yaml) | Configuration YAML avec des modèles de métriques |
| Disponibilité | Auto-hébergé, Kubernetes autogéré | Auto-hébergé, Kubernetes autogéré, Kubernetes Strimzi |
Métriques clés : lag du consommateur, santé du broker, taux de requêtes, débit réseau, statut de réplication des partitions, utilisation des ressources et données de performance de la JVM.
Pour les noms de métriques complets, les descriptions et les recommandations d'alerte, consultez Référence des métriques Kafka.
Facultatif : Ajouter un monitoring au niveau de l'application
Monitorez les applications productrices et consommatrices pour une visibilité complète des producteurs → brokers → consommateurs.
Ajoute : latence des requêtes, métriques de débit, taux d’erreur et traces distribuées.
Configuration : utilisez l'agent Java OpenTelemetry pour l'instrumentation Kafka sans code.
Prochaines étapes
Configurer le monitoring :
Après la configuration :