net.leadware.kafka.embedded

Class KafkaSimulator

java.lang.Object

net.leadware.kafka.embedded.KafkaSimulator

public class KafkaSimulator
extends java.lang.Object

Classe représentant le simulateur KAFKA

Since:

23 mars 2019 - 23:06:45

Author:

Jean-Jacques ETUNE NGI (Java EE Technical Lead / Enterprise Architect)

Field Summary

Fields

Modifier and Type	Field and Description
private org.apache.kafka.clients.admin.AdminClient	adminClient Client d'administration KAFKA embarqué
private java.util.Map<java.lang.String,java.lang.String>	brokerProperties MAP des propriétés communes des instances de brokers
private java.util.Set<java.lang.String>	createdTopics Ensemble de noms de topics creees
private static int	DEFAULT_ADMIN_TIMEOUT Timeout du client d'administration
private java.lang.String	DEFAULT_HOSTS Hote par defaut
private org.springframework.kafka.core.KafkaAdmin	kafkaAdmin Simulateur Administration Kafka
private java.util.List<kafka.server.KafkaServer>	kafkaServers Liste de serveurs KAFKA
private org.springframework.kafka.core.KafkaTemplate<java.lang.String,java.lang.String>	kafkaStringProducerTemplate Template de production KAFKA (chaine de caractere)
private java.io.File	keystoreLocation Chemin vers le magasin de clés
private SimulatorProperties	simulatorProperties Proprietes de configuration du simulateur
private java.io.File	temporairyDir Répertoire temporaire de stockage
private java.io.File	truststoreLocation Chemin vers le magasin de clés de confiance
private kafka.zk.EmbeddedZookeeper	zookeeper Serveur embarqué ZooKeeper
private static int	ZOOKEEPER_CONNEXION_TIMEOUT Timeout de connexion à ZooKeeper
private static int	ZOOKEEPER_SESSION_TIMEOUT Timeout de session à ZooKeeper
private org.I0Itec.zkclient.ZkClient	zookeeperClient Client Zookepper
private java.lang.String	zookeeperConnexionUrl Chaine de connexion à Zookeeper

Constructor Summary

Constructors

Constructor and Description
KafkaSimulator()

Method Summary

Modifier and Type	Method and Description
private java.util.Properties	createBrokerProperties(int brokerId, BrokerProperties brokerConfig) Méthode permettant d'initialiser les propriétés communes des brokers
private void	createTopics(org.apache.kafka.clients.admin.AdminClient admin, java.util.List<org.apache.kafka.clients.admin.NewTopic> newTopics) Méthode permettant de créer une liste de topics
void	createTopics(java.lang.String... topicsNames) Méthode permettant de créer une liste de topics à partir de leur noms
void	deleteTopics(java.util.List<java.lang.String> topicsNames) Méthode permettant de supprimer les topics
void	deleteTopics(java.lang.String... topicsNames) Méthode permettant de supprimer une liste de noms de topics
void	destroy() Méthode permettant de détruire le simulateur KAFKA
private void	doWithAdmin(java.util.function.Consumer<org.apache.kafka.clients.admin.AdminClient> callback) Méthode permettant d'exécuter ine action sur le broker en mode Admin
private int	findAdminPort(BrokerProperties brokerProperties, int... excluded) Methode de recherche du port d'administration du broker
private int	findInternalProducerPort(BrokerProperties brokerProperties, int... excluded) Methode de recherche du port du producteur interne du broker
private java.lang.String	getAdminBrokersUrls() Méthode permettant d'obtenir l'ensemble des URL d'administration des Brokers
java.lang.String	getInternalProducerBrokersUrls() Méthode permettant d'obtenir l'ensemble des URL de producteur interne des Brokers
private java.lang.String	getListenerAdminUrl(ListenerProperties listener) Méthode permettant d'obtenir l'URL d'administration du Broker sous forme de chaine de caracteres
private java.lang.String	getListenerAllUrls(ListenerProperties listener) Méthode permettant d'obtenir l'ensemble des URL du listener du Broker sous forme de chaine de caracteres
private java.lang.String	getListenerInternalProducerUrl(ListenerProperties listener) Méthode permettant d'obtenir l'URL du consomateur interne du Broker sous forme de chaine de caracteres
private java.lang.String	getListenerProtocolMap(SimulatorProperties simulatorProperties) Méthode permettant d'obtenir la chaine de correspodances entre noms de protocole et protocole
private java.lang.String	getListenerPublicUrl(ListenerProperties listener) Méthode permettant d'obtenir l'URL publique du Broker sous forme de chaine de caracteres
void	initialize() Méthode permettant d'initialiser le simulateur KAFKA
private void	initializeBrokers() Méthode permettant d'initialiser les brokers
private void	initializeProducers() Méthode permettant d'initialiser les producteurs de messages
private void	initializeTopics() Méthode permettant d'initialiser les topics
private void	initializeZookeeper() Méthode permettant d'initialiser les composants zookeeper embarque
private void	internalCreateTopics(java.util.List<java.lang.String> topicsNames) Méthode interne permettant de créer une liste de topics à partir de leur noms
java.util.List<ConsumerGroup>	listConsumerGroup() Méthode permettant de lister les groupes de consommateurs
java.util.List<ConsumerGroupOffset>	listConsumerGroupOffsets(java.lang.String groupId) Méthode permettant de lister les offsets d'un groupes de consommateurs
java.util.List<Topic>	listTopics() Méthode permettant de lister les topics
java.util.List<Topic>	listTopics(boolean internal) Méthode permettant de lister les topics
void	sendMessage(java.lang.String topic, java.lang.String message) Méthode permettant d'envoyer un message via le simulateur KAFKA
void	sendMessage(java.lang.String topic, java.lang.String key, java.lang.String message) Méthode permettant d'envoyer un message via le simulateur KAFKA

Methods inherited from class java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Field Detail

DEFAULT_HOSTS

private java.lang.String DEFAULT_HOSTS

Hote par defaut

ZOOKEEPER_CONNEXION_TIMEOUT

private static final int ZOOKEEPER_CONNEXION_TIMEOUT

Timeout de connexion à ZooKeeper

See Also:

Constant Field Values

ZOOKEEPER_SESSION_TIMEOUT

private static final int ZOOKEEPER_SESSION_TIMEOUT

Timeout de session à ZooKeeper

See Also:

Constant Field Values

DEFAULT_ADMIN_TIMEOUT

private static final int DEFAULT_ADMIN_TIMEOUT

Timeout du client d'administration

See Also:

Constant Field Values

simulatorProperties

private final SimulatorProperties simulatorProperties

Proprietes de configuration du simulateur

brokerProperties

private java.util.Map<java.lang.String,java.lang.String> brokerProperties

MAP des propriétés communes des instances de brokers

kafkaServers

private final java.util.List<kafka.server.KafkaServer> kafkaServers

Liste de serveurs KAFKA

zookeeper

private kafka.zk.EmbeddedZookeeper zookeeper

Serveur embarqué ZooKeeper

zookeeperConnexionUrl

private java.lang.String zookeeperConnexionUrl

Chaine de connexion à Zookeeper

zookeeperClient

private org.I0Itec.zkclient.ZkClient zookeeperClient

Client Zookepper

kafkaAdmin

private org.springframework.kafka.core.KafkaAdmin kafkaAdmin

Simulateur Administration Kafka

adminClient

private org.apache.kafka.clients.admin.AdminClient adminClient

Client d'administration KAFKA embarqué

kafkaStringProducerTemplate

private org.springframework.kafka.core.KafkaTemplate<java.lang.String,java.lang.String> kafkaStringProducerTemplate

Template de production KAFKA (chaine de caractere)

temporairyDir

private java.io.File temporairyDir

Répertoire temporaire de stockage

truststoreLocation

private java.io.File truststoreLocation

Chemin vers le magasin de clés de confiance

keystoreLocation

private java.io.File keystoreLocation

Chemin vers le magasin de clés

createdTopics

private java.util.Set<java.lang.String> createdTopics

Ensemble de noms de topics creees

Constructor Detail

KafkaSimulator

public KafkaSimulator()

Method Detail

initialize

@PostConstruct
public void initialize()

Méthode permettant d'initialiser le simulateur KAFKA

initializeZookeeper

private void initializeZookeeper()

Méthode permettant d'initialiser les composants zookeeper embarque

initializeBrokers

private void initializeBrokers()

Méthode permettant d'initialiser les brokers

findInternalProducerPort

private int findInternalProducerPort(BrokerProperties brokerProperties,
                                     int... excluded)

Methode de recherche du port du producteur interne du broker

Parameters:

brokerProperties - Proprietes du Broker

excluded - Ports à exclure de la recherche

Returns:

Port du producteur interne

findAdminPort

private int findAdminPort(BrokerProperties brokerProperties,
                          int... excluded)

Methode de recherche du port d'administration du broker

Parameters:

brokerProperties - Proprietes du Broker

excluded - Ports à exclure de la recherche

Returns:

Port d'administration

createBrokerProperties

private java.util.Properties createBrokerProperties(int brokerId,
                                                    BrokerProperties brokerConfig)

Méthode permettant d'initialiser les propriétés communes des brokers

Parameters:

brokerId - ID du broker (On utilisera son numéro d'ordre dans la liste de configuration)

brokerConfig - current broker configuration

Returns:

Liste de proprietes

initializeTopics

private void initializeTopics()

Méthode permettant d'initialiser les topics

initializeProducers

private void initializeProducers()

Méthode permettant d'initialiser les producteurs de messages

doWithAdmin

private void doWithAdmin(java.util.function.Consumer<org.apache.kafka.clients.admin.AdminClient> callback)

Méthode permettant d'exécuter ine action sur le broker en mode Admin

Parameters:

callback - Callback de l'action

getListenerProtocolMap

private java.lang.String getListenerProtocolMap(SimulatorProperties simulatorProperties)

Méthode permettant d'obtenir la chaine de correspodances entre noms de protocole et protocole

Parameters:

simulatorProperties - Proprietes du simulateur

Returns:

Chaine de correspondance

getAdminBrokersUrls

private java.lang.String getAdminBrokersUrls()

Méthode permettant d'obtenir l'ensemble des URL d'administration des Brokers

Returns:

URLs d'administration des brokers

getInternalProducerBrokersUrls

public java.lang.String getInternalProducerBrokersUrls()

Méthode permettant d'obtenir l'ensemble des URL de producteur interne des Brokers

Returns:

URLs de producteur interne des brokers

getListenerAllUrls

private java.lang.String getListenerAllUrls(ListenerProperties listener)

Méthode permettant d'obtenir l'ensemble des URL du listener du Broker sous forme de chaine de caracteres

Parameters:

listener - Proprietes du listener source

Returns:

Urls du Brokers

getListenerPublicUrl

private java.lang.String getListenerPublicUrl(ListenerProperties listener)

Méthode permettant d'obtenir l'URL publique du Broker sous forme de chaine de caracteres

Parameters:

listener - Proprietes du listener source

Returns:

Url publique du Broker

getListenerAdminUrl

private java.lang.String getListenerAdminUrl(ListenerProperties listener)

Méthode permettant d'obtenir l'URL d'administration du Broker sous forme de chaine de caracteres

Parameters:

listener - Proprietes du listener source

Returns:

Url d'administration du Broker

getListenerInternalProducerUrl

private java.lang.String getListenerInternalProducerUrl(ListenerProperties listener)

Méthode permettant d'obtenir l'URL du consomateur interne du Broker sous forme de chaine de caracteres

Parameters:

listener - Proprietes du listener source

Returns:

Url du consomateur interne du Broker

internalCreateTopics

private void internalCreateTopics(java.util.List<java.lang.String> topicsNames)

Méthode interne permettant de créer une liste de topics à partir de leur noms

Parameters:

topicsNames - Liste des noms de topics

createTopics

private void createTopics(org.apache.kafka.clients.admin.AdminClient admin,
                          java.util.List<org.apache.kafka.clients.admin.NewTopic> newTopics)

Méthode permettant de créer une liste de topics

Parameters:

admin - Client d'administration

newTopics - Liste de topics a creer

createTopics

public void createTopics(java.lang.String... topicsNames)

Méthode permettant de créer une liste de topics à partir de leur noms

Parameters:

topicsNames - Tableau de noms de topics

listTopics

public java.util.List<Topic> listTopics()

Méthode permettant de lister les topics

Returns:

Liste de topics

listTopics

public java.util.List<Topic> listTopics(boolean internal)

Méthode permettant de lister les topics

Parameters:

internal - Etat interne ou non du topic

Returns:

Liste de topics

deleteTopics

public void deleteTopics(java.util.List<java.lang.String> topicsNames)

Méthode permettant de supprimer les topics

Parameters:

topicsNames - Liste des noms des topics a supprimer

deleteTopics

public void deleteTopics(java.lang.String... topicsNames)

Méthode permettant de supprimer une liste de noms de topics

Parameters:

topicsNames - Liste de noms de topics

listConsumerGroup

public java.util.List<ConsumerGroup> listConsumerGroup()

Méthode permettant de lister les groupes de consommateurs

Returns:

Liste de groupes de consommateurs

listConsumerGroupOffsets

public java.util.List<ConsumerGroupOffset> listConsumerGroupOffsets(java.lang.String groupId)

Méthode permettant de lister les offsets d'un groupes de consommateurs

Parameters:

groupId - ID du groupe de consommateurs

Returns:

Liste des offsets d'un groupes de consommateurs

sendMessage

public void sendMessage(java.lang.String topic,
                        java.lang.String key,
                        java.lang.String message)

Méthode permettant d'envoyer un message via le simulateur KAFKA

Parameters:

topic - Topic d'envoi

key - Clé du message

message - Contenu du message

sendMessage

public void sendMessage(java.lang.String topic,
                        java.lang.String message)

Méthode permettant d'envoyer un message via le simulateur KAFKA

Parameters:

topic - Topic d'envoi

message - Contenu du message

destroy

@PreDestroy
public void destroy()

Méthode permettant de détruire le simulateur KAFKA