kafkacatnotes.txt 1.63 KB
Newer Older
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
--> nach Problemen mit kafkacat (installation ubuntu 18.04) und kafka 2.7 (weiss noch nicht ob das einen Zusammenhang hat)
https://www.confluent.io/blog/kafka-client-cannot-connect-to-broker-on-aws-on-docker-etc/

https://www.confluent.io/blog/kafka-listeners-explained/
https://rmoff.net/2018/08/02/kafka-listeners-explained/

--> generell kafkacat docu
https://docs.confluent.io/platform/current/app-development/kafkacat-usage.html


--> dann der Versuch, mit der aktuellsetn version zu arbeiten (Docker) - Probleme bei Installation mit make (fehlende dependencies)
kafkacat -b localhost:9092 -t <my_topic> -T -P -l /tmp/msgs


Export des topic
16
kafkacat -C -b mb-ka1:9092 -t fedora-output-json-records -K '\t' -o beginning | gzip > fedora-output1.json.gz
17
18

Import des topic
19
docker run --rm -v /home/swissbib/environment/code/repositories/memoriav/gitlab/services/postprocessing/rico-edm-transformer/data:/data -it --network host edenhill/kafkacat:1.6.0 -P -b VPN:9092 -t fedora-output-json-records  -K '\t' -l /data/fedora-output.json
20

21
22
23
24
25
26


export auf mb-ka1
kafkacat -C -b mb-ka1:9092 -t fedora-output-json-records -K '\t' -o beginning > fedora-output1.json

import lokal
27
docker run --rm -v /home/swissbib/environment/code/repositories/memoriav/gitlab/services/postprocessing/rico-edm-transformer/data:/data -it --network host edenhill/kafkacat:1.6.0 -P -b VPN:9092 -t fedora-output-json-records  -K '\t' -l /data/fedora-output1.json
28
29


30
docker run  --rm -it --network host edenhill/kafkacat:1.6.0 -C -b VPN:9092 -t import-process-reporting  -K '\t'
31

32
docker run  --rm -it --network host edenhill/kafkacat:1.6.0 -C -b VPN:9092 -t import-process-reporting-es  | grep FATAL