--> nach Problemen mit kafkacat (installation ubuntu 18.04) und kafka 2.7 (weiss noch nicht ob das einen Zusammenhang hat) https://www.confluent.io/blog/kafka-client-cannot-connect-to-broker-on-aws-on-docker-etc/ https://www.confluent.io/blog/kafka-listeners-explained/ https://rmoff.net/2018/08/02/kafka-listeners-explained/ --> generell kafkacat docu https://docs.confluent.io/platform/current/app-development/kafkacat-usage.html --> dann der Versuch, mit der aktuellsetn version zu arbeiten (Docker) - Probleme bei Installation mit make (fehlende dependencies) kafkacat -b localhost:9092 -t -T -P -l /tmp/msgs Export des topic kafkacat -C -b mb-ka1:9092 -t fedora-output-json-records -K '\t' -o beginning | gzip > fedora-output1.json.gz Import des topic docker run --rm -v /home/swissbib/environment/code/repositories/memoriav/gitlab/services/postprocessing/rico-edm-transformer/data:/data -it --network host edenhill/kafkacat:1.6.0 -P -b VPN:9092 -t fedora-output-json-records1 -K '\t' -l /data/fedora-output-20210409.json export auf mb-ka1 kafkacat -C -b mb-ka1:9092 -t fedora-output-json-records -K '\t' -o beginning > fedora-output1.json import lokal docker run --rm -v /home/swissbib/environment/code/repositories/memoriav/gitlab/services/postprocessing/rico-edm-transformer/data:/data -it --network host edenhill/kafkacat:1.6.0 -P -b VPN:9092 -t fedora-output-json-records -K '\t' -l /data/fedora-output1.json docker run --rm -it --network host edenhill/kafkacat:1.6.0 -C -b VPN:9092 -t import-process-reporting -K '\t' docker run --rm -it --network host edenhill/kafkacat:1.6.0 -C -b VPN:9092 -t edm-es-records1 -K '\t' docker run --rm -it --network host edenhill/kafkacat:1.6.0 -C -b VPN:9092 -t import-process-reporting-es | grep FATAL andere Befehle: - Metadatamode (direkt auf ka8) - nach Absturz des Hosts Prüfung, ob server wieder funktionsfähig ist docker run --rm -it --network host edenhill/kafkacat:1.6.0 -b dd-ka8:9092 -L