Commit 36b0f15a authored by Jonas Waeber's avatar Jonas Waeber

Remove empty fields from output

This way the mapper does not have to check if a
field has any content to copy.
parent 56b12b32
Pipeline #8586 passed with stages
in 6 minutes and 13 seconds
......@@ -171,7 +171,7 @@ class KafkaTopology(private val settings: SettingsLoader) {
}
val keyValueMap = json {
obj(
headerProperties.zip(line)
zip(headerProperties, line)
)
}
val result = Pair(identifier, keyValueMap)
......@@ -186,6 +186,16 @@ class KafkaTopology(private val settings: SettingsLoader) {
return resultMessages
}
private fun zip(header: List<String>, line: List<String>): List<Pair<String, String>> {
val result = mutableListOf<Pair<String, String>>()
header.forEachIndexed { index, s ->
if (line[index].isNotEmpty()) {
result.add(Pair(s, line[index]))
}
}
return result
}
private fun excelMapper(value: JsonObject): List<Pair<Pair<String, JsonObject>, Report>> {
return emptyList()
}
......
......@@ -134,6 +134,15 @@ class Tests {
"AVGR13716",
"brandt_output"
)
/*,
TestParams(
"valid csv input",
"test2.yml",
"baugazh_csv_import.json",
"mapping_baugazh.csv",
"MEI_49884",
"baugazh_output"
)*/
)
}
......
{"titel":"«Villa Siegel», Zürich","beschreibung":"Villa mit Garten und Brunnen im Vordergrund. Vermutlich von Architekt Walz","genre":"Bauwerk","aufnahmeort":"Zürich","autorin":"Atelier Meiner","auftraggeber":"Walz","verwandte_dokumente":"Auftragsregister Bd. 6; Bildverzeichnis Bd. 7","erstellung":"19210914","rechteinhaber":"BAZ ","nutzungsrecht":"nach Absprache","medium":"Negativ Nitrat (NN)","format":"18x24","farbe":"sw","orientation":"Querformat","zustand":"Nitratschaden","konservatorische_bewertung":"B","original_id":"MEI_49884","alte_signatur":"49884","signatur_digitalisat":"MEI_49884","bearbeitungskontext":"Pilot Meiner"}
\ No newline at end of file
{"Exemplar-AVGRNr":"AVGR13716","Permalink":"https://www.gr.ch/Exemplare/13716","Titel-Title":"Wintersport in Arosa","Titel-ZusatzTitel":"","Titel-Beschreibung":"Pferdesport; Ski alpin; Skispringen; Eishochey; Tourismus","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Drehort":"Arosa","Titel-Weiteres":"Eisfest: teilweise identische Aufnahmen in AVGR12097 \u201eAnkunft David Zogg\u201c ; Schanzenspringen auf Carmenna: teilweise identische Aufnahmen in AVGR12115 \u201eTouristen auf dem Tschuggen\u201c","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13716/AVGR13716.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"0:17:02","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9942: Negativ, Nitrat (CS, Z 986-172.8); AVGR9943: Positiv Nitrat (CS, Z 986-172.7); AVGR12098: Interpositiv / Marron 2366, Kopie 2016 (KBG); AVGR13715: Internegativ 2234, Kopie 2016 (KBG); AVGR13716: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file
{"Exemplar-AVGRNr":"AVGR13716","Permalink":"https://www.gr.ch/Exemplare/13716","Titel-Title":"Wintersport in Arosa","Titel-Beschreibung":"Pferdesport; Ski alpin; Skispringen; Eishochey; Tourismus","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Drehort":"Arosa","Titel-Weiteres":"Eisfest: teilweise identische Aufnahmen in AVGR12097 \u201eAnkunft David Zogg\u201c ; Schanzenspringen auf Carmenna: teilweise identische Aufnahmen in AVGR12115 \u201eTouristen auf dem Tschuggen\u201c","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13716/AVGR13716.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"0:17:02","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9942: Negativ, Nitrat (CS, Z 986-172.8); AVGR9943: Positiv Nitrat (CS, Z 986-172.7); AVGR12098: Interpositiv / Marron 2366, Kopie 2016 (KBG); AVGR13715: Internegativ 2234, Kopie 2016 (KBG); AVGR13716: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment