Skip to content

GitLab

Commit da838af4 authored by Jonas Waeber's avatar Jonas Waeber
Browse files

Fix numeric values from excel issue 

Numbers for stored as doubles and transformed into strings.
parent 2bd0263a
Pipeline #10497 passed with stages
in 4 minutes and 4 seconds
Hide whitespace changes
Inline Side-by-side
Showing with 45 additions and 14 deletions
src/main/kotlin/KafkaTopology.kt
View file @ da838af4
......@@ -324,7 +324,7 @@ class KafkaTopology(private val settings: SettingsLoader) {
"The header index is missing a value in cell ${cell.address}"
)
}
})
}.map { it.trim() })
}
null
} else {
......@@ -405,7 +405,12 @@ class KafkaTopology(private val settings: SettingsLoader) {
CellType.BLANK -> ""
CellType.BOOLEAN -> cell.booleanCellValue.toString()
CellType._NONE -> ""
CellType.NUMERIC -> cell.numericCellValue.toString()
CellType.NUMERIC ->
if (cell.numericCellValue >= 1) {
cell.numericCellValue.toLong().toString()
} else {
cell.localDateTimeCellValue.toLocalTime().toString()
}
CellType.STRING -> cell.stringCellValue
CellType.FORMULA -> ""
CellType.ERROR -> ""
......
src/test/kotlin/Tests.kt
View file @ da838af4
......@@ -51,7 +51,8 @@ class Tests {
Pair("/memobase/test_record_set_2", "mapping_baugazh.csv"),
Pair("/memobase/test_record_set_3", "excel_test_file.xlsx"),
Pair("/memobase/test_record_set_4", "excel_test_file2.xlsx"),
Pair("/memobase/test_record_set_5", "B_MEI_ErfassungMemobase_20170626.xlsx")
Pair("/memobase/test_record_set_5", "B_MEI_ErfassungMemobase_20170626.xlsx"),
Pair("/memobase/test_record_set_6", "test-numeric-cells.xls")
)
for (pair in files) {
......@@ -169,16 +170,16 @@ class Tests {
listOf("AVGR13716", "AVGR13717", ""),
"excel_output_valid",
Klaxon().toJsonString(Report("table-data-transform", "SUCCESS", "Transformed table data into 2 records."))
)/*,
TestParams(
"example xlsx input",
"test5.yml",
"mei_test.json",
"B_MEI_ErfassungMemobase_20170626.xlsx",
listOf("MEI_49884", "AVGR13717", ""),
"mei_output",
Klaxon().toJsonString(Report("table-data-transform", "SUCCESS", "Transformed table data into 2 records."))
),
TestParams(
"test-numeric-cells",
"test6.yml",
"numeric-test.json",
"test-numeric-cells.xls",
listOf("1000106888"),
"numeric_cell_output",
Klaxon().toJsonString(Report("table-data-transform", "SUCCESS", "Transformed table data into 1 records."))
)/*,
TestParams(
"valid csv input",
"test2.yml",
......
src/test/resources/data/excel_output_valid/1.json
View file @ da838af4
{"Exemplar-AVGRNr":"AVGR13716","Permalink":"https://www.gr.ch/Exemplare/13716","Titel-Title":"Wintersport in Arosa","Titel-Beschreibung":"Pferderennen am Obersee bei strahlendem Sonnenschein, viel Publikum, Gedränge vor Wettbüro, Reiter in Armeeuniform, Fotografen, Skijöring \u2013 Eisfest mit kostümierten Teilnehmer/innen vor Hotel Altein bei Nacht \u2013 Pferderennen am Obersee \u2013 Eiskunstlauf \u2013 Pferderennen, diesmal winterlicher \u2013 Schanzenspringen im Skigelände und viel Volk um die Alpgebäude Carmenna \u2013 Skifahrer im Aufstieg, Winterwanderer und nochmals Sprünge auf der Schneeschanze, Gruppe Skifahrer in wilder Schussfahrt, Wartende um die Hütten \u2013 Eishockey-Match \u2013 Impressionen von einem Abfahrtsrennen und Rundsicht über Arosa und Umgebung","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Genres":"Pferdesport; Ski alpin; Skispringen; Eishochey; Tourismus","Titel-Drehort":"Arosa","Titel-Weiteres":"Eisfest: teilweise identische Aufnahmen in AVGR12097 \u201eAnkunft David Zogg\u201c ; Schanzenspringen auf Carmenna: teilweise identische Aufnahmen in AVGR12115 \u201eTouristen auf dem Tschuggen\u201c","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13716/AVGR13716.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"0.0118287037037037","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9942: Negativ, Nitrat (CS, Z 986-172.8); AVGR9943: Positiv Nitrat (CS, Z 986-172.7); AVGR12098: Interpositiv / Marron 2366, Kopie 2016 (KBG); AVGR13715: Internegativ 2234, Kopie 2016 (KBG); AVGR13716: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file
{"Exemplar-AVGRNr":"AVGR13716","Permalink":"https://www.gr.ch/Exemplare/13716","Titel-Title":"Wintersport in Arosa","Titel-Beschreibung":"Pferderennen am Obersee bei strahlendem Sonnenschein, viel Publikum, Gedränge vor Wettbüro, Reiter in Armeeuniform, Fotografen, Skijöring \u2013 Eisfest mit kostümierten Teilnehmer/innen vor Hotel Altein bei Nacht \u2013 Pferderennen am Obersee \u2013 Eiskunstlauf \u2013 Pferderennen, diesmal winterlicher \u2013 Schanzenspringen im Skigelände und viel Volk um die Alpgebäude Carmenna \u2013 Skifahrer im Aufstieg, Winterwanderer und nochmals Sprünge auf der Schneeschanze, Gruppe Skifahrer in wilder Schussfahrt, Wartende um die Hütten \u2013 Eishockey-Match \u2013 Impressionen von einem Abfahrtsrennen und Rundsicht über Arosa und Umgebung","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Genres":"Pferdesport; Ski alpin; Skispringen; Eishochey; Tourismus","Titel-Drehort":"Arosa","Titel-Weiteres":"Eisfest: teilweise identische Aufnahmen in AVGR12097 \u201eAnkunft David Zogg\u201c ; Schanzenspringen auf Carmenna: teilweise identische Aufnahmen in AVGR12115 \u201eTouristen auf dem Tschuggen\u201c","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13716/AVGR13716.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"00:17:02","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9942: Negativ, Nitrat (CS, Z 986-172.8); AVGR9943: Positiv Nitrat (CS, Z 986-172.7); AVGR12098: Interpositiv / Marron 2366, Kopie 2016 (KBG); AVGR13715: Internegativ 2234, Kopie 2016 (KBG); AVGR13716: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file
src/test/resources/data/excel_output_valid/2.json
View file @ da838af4
{"Exemplar-AVGRNr":"AVGR13717","Permalink":"https://www.gr.ch/Exemplare/13717","Titel-Title":"Schwimmfest am Untersee","Titel-Beschreibung":"Viel Publikum in alter Badi am Untersee \u2013 Wettkämpfe in Wasserball, Schwimmen, Staffel und einzeln - Turmspringen","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Genres":"Wassersport","Titel-Drehort":"Arosa","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13717/AVGR13717.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"0.00502314814814815","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9973: Negativ, Nitrat (CS, Z 986-123.5); AVGR9974: Positiv Nitrat (CS, Z 986-122.3); AVGR12099: Internegativ 2234, Kopie 2016 (KBG); AVGR13717: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file
{"Exemplar-AVGRNr":"AVGR13717","Permalink":"https://www.gr.ch/Exemplare/13717","Titel-Title":"Schwimmfest am Untersee","Titel-Beschreibung":"Viel Publikum in alter Badi am Untersee \u2013 Wettkämpfe in Wasserball, Schwimmen, Staffel und einzeln - Turmspringen","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Genres":"Wassersport","Titel-Drehort":"Arosa","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13717/AVGR13717.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"00:07:14","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9973: Negativ, Nitrat (CS, Z 986-123.5); AVGR9974: Positiv Nitrat (CS, Z 986-122.3); AVGR12099: Internegativ 2234, Kopie 2016 (KBG); AVGR13717: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file
src/test/resources/data/numeric-test.json 0 → 100644
View file @ da838af4
{
"path": "/memobase/test_record_set_6/test-numeric-cells.xls",
"format": "XLS"
}
\ No newline at end of file
src/test/resources/data/numeric_cell_output/1.json 0 → 100644
View file @ da838af4
{"Titre utilisé":"Histoire de Mr Vieux Bois","Titre utilisé (memobase)":"Histoire de Mr Vieux Bois","Description":"- Le premier films suisse d'animation! Le film est l'adaptation d'une fameuse « histoire en images » de l'écrivain, dessinateur et pédagogue genevois Rodolphe Töpffer (1799-1856) par Lortac (= Robert Collard, 1884-1973) et Cavé.","Sources":"- https://1895.revues.org/3917\n- http://fantoche.ch/fr/film/histoire-de-mr-vieux-bois)\n- https://vimeo.com/170942829","Genre":"dessin animé","Pays":"Suisse","Date Start":"1921","date":"1921","Autor":"Lortac (réalisation), Cavé (réalisation)","Société de production":"Pencil-Film","PROCEDE_SON":"muet","Langue(s) carton(s)":"français","Couleur":"nb","Cote":"2017-0640-02","ID informatique":"1000106888","ID film":"496","Vorschau":"496-1.jpeg","Nutzungsrechte":"Toute utilisation est soumise à l'autorisation par la Cinémathèque suisse","Rechtinhaber":"Cinémathèque suisse","Zugang":"onsite","Typ":"film","Claim":"Ce document a été sauvegardé grâce au soutien de Memoriav."}
\ No newline at end of file
src/test/resources/data/numeric_cell_output/r1.json 0 → 100644
View file @ da838af4
{"id" : "1000106888", "message" : "Successfully transformed row 2 into key-value map with identifier 1000106888.", "status" : "SUCCESS"}
\ No newline at end of file
src/test/resources/test6.yml 0 → 100644
View file @ da838af4
sftp:
host: localhost
port: 22000
user: user
password: password
app:
sheet: 1
header:
count: 1
line: 1
identifier: 24
kafka:
streams:
bootstrap.servers: localhost:12345
application.id: test-clinet-1234
topic:
in: test-topic-in
out: test-topic-out
process: process-topic-id-reporting
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment