Fix numeric values from excel issue

Numbers for stored as doubles and transformed into strings.

src/main/kotlin/KafkaTopology.kt

@@ -324,7 +324,7 @@ class KafkaTopology(private val settings: SettingsLoader) {
                                         "The header index is missing a value in cell ${cell.address}"
                                     )
                                 }
-                            })
+                            }.map { it.trim() })
                         }
                         null
                     } else {
@@ -405,7 +405,12 @@ class KafkaTopology(private val settings: SettingsLoader) {
                 CellType.BLANK -> ""
                 CellType.BOOLEAN -> cell.booleanCellValue.toString()
                 CellType._NONE -> ""
-                CellType.NUMERIC -> cell.numericCellValue.toString()
+                CellType.NUMERIC ->
+                    if (cell.numericCellValue >= 1) {
+                        cell.numericCellValue.toLong().toString()
+                    } else {
+                        cell.localDateTimeCellValue.toLocalTime().toString()
+                    }
                 CellType.STRING -> cell.stringCellValue
                 CellType.FORMULA -> ""
                 CellType.ERROR -> ""

src/test/kotlin/Tests.kt

@@ -51,7 +51,8 @@ class Tests {
             Pair("/memobase/test_record_set_2", "mapping_baugazh.csv"),
             Pair("/memobase/test_record_set_3", "excel_test_file.xlsx"),
             Pair("/memobase/test_record_set_4", "excel_test_file2.xlsx"),
-            Pair("/memobase/test_record_set_5", "B_MEI_ErfassungMemobase_20170626.xlsx")
+            Pair("/memobase/test_record_set_5", "B_MEI_ErfassungMemobase_20170626.xlsx"),
+            Pair("/memobase/test_record_set_6", "test-numeric-cells.xls")
         )
 
         for (pair in files) {
@@ -169,16 +170,16 @@ class Tests {
             listOf("AVGR13716", "AVGR13717", ""),
             "excel_output_valid",
             Klaxon().toJsonString(Report("table-data-transform", "SUCCESS", "Transformed table data into 2 records."))
-        )/*,
-        TestParams(
-            "example xlsx input",
-            "test5.yml",
-            "mei_test.json",
-            "B_MEI_ErfassungMemobase_20170626.xlsx",
-            listOf("MEI_49884", "AVGR13717", ""),
-            "mei_output",
-            Klaxon().toJsonString(Report("table-data-transform", "SUCCESS", "Transformed table data into 2 records."))
         ),
+        TestParams(
+            "test-numeric-cells",
+            "test6.yml",
+            "numeric-test.json",
+            "test-numeric-cells.xls",
+            listOf("1000106888"),
+            "numeric_cell_output",
+            Klaxon().toJsonString(Report("table-data-transform", "SUCCESS", "Transformed table data into 1 records."))
+        )/*,
         TestParams(
             "valid csv input",
             "test2.yml",

src/test/resources/data/excel_output_valid/1.json

-{"Exemplar-AVGRNr":"AVGR13716","Permalink":"https://www.gr.ch/Exemplare/13716","Titel-Title":"Wintersport in Arosa","Titel-Beschreibung":"Pferderennen am Obersee bei strahlendem Sonnenschein, viel Publikum, Gedränge vor Wettbüro, Reiter in Armeeuniform, Fotografen, Skijöring \u2013 Eisfest mit kostümierten Teilnehmer/innen vor Hotel Altein bei Nacht \u2013 Pferderennen am Obersee \u2013 Eiskunstlauf \u2013 Pferderennen, diesmal winterlicher \u2013 Schanzenspringen im Skigelände und viel Volk um die Alpgebäude Carmenna \u2013 Skifahrer im Aufstieg, Winterwanderer und nochmals Sprünge auf der Schneeschanze, Gruppe Skifahrer in wilder Schussfahrt, Wartende um die Hütten \u2013 Eishockey-Match \u2013 Impressionen von einem Abfahrtsrennen und Rundsicht über Arosa und Umgebung","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Genres":"Pferdesport; Ski alpin; Skispringen; Eishochey;  Tourismus","Titel-Drehort":"Arosa","Titel-Weiteres":"Eisfest: teilweise identische Aufnahmen in AVGR12097 \u201eAnkunft David Zogg\u201c ; Schanzenspringen auf Carmenna: teilweise identische Aufnahmen in AVGR12115 \u201eTouristen auf dem Tschuggen\u201c","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13716/AVGR13716.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"0.0118287037037037","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9942: Negativ, Nitrat (CS, Z 986-172.8); AVGR9943: Positiv Nitrat (CS, Z 986-172.7); AVGR12098: Interpositiv / Marron 2366, Kopie 2016 (KBG); AVGR13715: Internegativ 2234, Kopie 2016 (KBG); AVGR13716: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file
+{"Exemplar-AVGRNr":"AVGR13716","Permalink":"https://www.gr.ch/Exemplare/13716","Titel-Title":"Wintersport in Arosa","Titel-Beschreibung":"Pferderennen am Obersee bei strahlendem Sonnenschein, viel Publikum, Gedränge vor Wettbüro, Reiter in Armeeuniform, Fotografen, Skijöring \u2013 Eisfest mit kostümierten Teilnehmer/innen vor Hotel Altein bei Nacht \u2013 Pferderennen am Obersee \u2013 Eiskunstlauf \u2013 Pferderennen, diesmal winterlicher \u2013 Schanzenspringen im Skigelände und viel Volk um die Alpgebäude Carmenna \u2013 Skifahrer im Aufstieg, Winterwanderer und nochmals Sprünge auf der Schneeschanze, Gruppe Skifahrer in wilder Schussfahrt, Wartende um die Hütten \u2013 Eishockey-Match \u2013 Impressionen von einem Abfahrtsrennen und Rundsicht über Arosa und Umgebung","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Genres":"Pferdesport; Ski alpin; Skispringen; Eishochey;  Tourismus","Titel-Drehort":"Arosa","Titel-Weiteres":"Eisfest: teilweise identische Aufnahmen in AVGR12097 \u201eAnkunft David Zogg\u201c ; Schanzenspringen auf Carmenna: teilweise identische Aufnahmen in AVGR12115 \u201eTouristen auf dem Tschuggen\u201c","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13716/AVGR13716.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"00:17:02","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9942: Negativ, Nitrat (CS, Z 986-172.8); AVGR9943: Positiv Nitrat (CS, Z 986-172.7); AVGR12098: Interpositiv / Marron 2366, Kopie 2016 (KBG); AVGR13715: Internegativ 2234, Kopie 2016 (KBG); AVGR13716: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file

src/test/resources/data/excel_output_valid/2.json

-{"Exemplar-AVGRNr":"AVGR13717","Permalink":"https://www.gr.ch/Exemplare/13717","Titel-Title":"Schwimmfest am Untersee","Titel-Beschreibung":"Viel Publikum in alter Badi am Untersee \u2013 Wettkämpfe in Wasserball, Schwimmen, Staffel und einzeln - Turmspringen","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Genres":"Wassersport","Titel-Drehort":"Arosa","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13717/AVGR13717.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"0.00502314814814815","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9973: Negativ, Nitrat (CS, Z 986-123.5); AVGR9974: Positiv Nitrat (CS, Z 986-122.3); AVGR12099: Internegativ 2234, Kopie 2016 (KBG); AVGR13717: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file
+{"Exemplar-AVGRNr":"AVGR13717","Permalink":"https://www.gr.ch/Exemplare/13717","Titel-Title":"Schwimmfest am Untersee","Titel-Beschreibung":"Viel Publikum in alter Badi am Untersee \u2013 Wettkämpfe in Wasserball, Schwimmen, Staffel und einzeln - Turmspringen","Titel-ProduktionsjahrdesOriginals":"1920, 1920-1929, genaues Datum nicht eruierbar","Titel-FilmPersonen":"Brandt, Carl","Titel-Funktionen":"Autor/in","Titel-Genre":"Dokumentarfilm; Amateurfilm","Titel-Genres":"Wassersport","Titel-Drehort":"Arosa","Titel-Stream-Url":"https://s3-eu-west-1.amazonaws.com/streaming.av-portal.gr.ch/13717/AVGR13717.mov","Titel-Benutzerzugang":"Intranet","Medium-Materialbezeichnung":"Film","Medium-MedienFormat":"35-mm-Film, Negativ und Positiv, Nitrat","Medium-Ton":"stumm","Medium-Farbe":"s/w getönt","Medium-Dauer":"00:07:14","Medium-Bandlaenge":"Vorhandene Elemente: AVGR9973: Negativ, Nitrat (CS, Z 986-123.5); AVGR9974: Positiv Nitrat (CS, Z 986-122.3); AVGR12099: Internegativ 2234, Kopie 2016 (KBG); AVGR13717: Positivkopie Farbe 2383, Kopie 2016, eingefärbte Sequenzen (KBG)"}
\ No newline at end of file

src/test/resources/data/numeric-test.json

+{
+  "path": "/memobase/test_record_set_6/test-numeric-cells.xls",
+  "format": "XLS"
+}
\ No newline at end of file

src/test/resources/data/numeric_cell_output/1.json

+{"Titre utilisé":"Histoire de Mr Vieux Bois","Titre utilisé (memobase)":"Histoire de Mr Vieux Bois","Description":"- Le premier films suisse d'animation! Le film est l'adaptation d'une fameuse « histoire en images » de l'écrivain, dessinateur et pédagogue genevois Rodolphe Töpffer (1799-1856)  par Lortac (= Robert Collard, 1884-1973) et Cavé.","Sources":"- https://1895.revues.org/3917\n- http://fantoche.ch/fr/film/histoire-de-mr-vieux-bois)\n- https://vimeo.com/170942829","Genre":"dessin animé","Pays":"Suisse","Date Start":"1921","date":"1921","Autor":"Lortac (réalisation), Cavé (réalisation)","Société de production":"Pencil-Film","PROCEDE_SON":"muet","Langue(s)  carton(s)":"français","Couleur":"nb","Cote":"2017-0640-02","ID informatique":"1000106888","ID film":"496","Vorschau":"496-1.jpeg","Nutzungsrechte":"Toute utilisation est soumise à l'autorisation par la Cinémathèque suisse","Rechtinhaber":"Cinémathèque suisse","Zugang":"onsite","Typ":"film","Claim":"Ce document a été sauvegardé grâce au soutien de Memoriav."}
\ No newline at end of file

src/test/resources/data/numeric_cell_output/r1.json

+{"id" : "1000106888", "message" : "Successfully transformed row 2 into key-value map with identifier 1000106888.", "status" : "SUCCESS"}
\ No newline at end of file

src/test/resources/test6.yml

+sftp:
+  host: localhost
+  port: 22000
+  user: user
+  password: password
+app:
+  sheet: 1
+  header:
+    count: 1
+    line: 1
+  identifier: 24
+kafka:
+  streams:
+    bootstrap.servers: localhost:12345
+    application.id: test-clinet-1234
+  topic:
+    in: test-topic-in
+    out: test-topic-out
+    process: process-topic-id-reporting
\ No newline at end of file