Merge pull request #27 from SwimResults/develop

allow downloading pdf files from external hosts by using User-Agent H…

Author: konrad2002

importer/dsv_importer.go

@@ -22,7 +22,14 @@ func getFileReader(file string) (io.Reader, error) {
 
 	if strings.Contains(file, "http") {
 		// get file content from url
-		resp, err := http.Get(file)
+		req, err := http.NewRequest("GET", file, nil)
+		if err != nil {
+			return nil, err
+		}
+
+		req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT x.y; rv:10.0) Gecko/20100101 Firefox/10.0")
+		client := &http.Client{}
+		resp, err := client.Do(req)
 		if err != nil {
 			return nil, err
 		}

importer/pdf_importer_test.go

@@ -12,6 +12,12 @@ func TestGetPdfFileContent(t *testing.T) {
 	assert.Equal(t, "erzeugt mit \"EasyWk vom 16.05.2022\" - www.easywk.de25. Internationaler Erzgebirgs-Schwimmcup 2022Seite 1www.sv-zwickau04.deWettkampf 47 - 200m Schmetterling weiblichLauf 1 (ca. 15:01 Uhr)BahnSchwimmerinJg.VereinMeldezeitBahn 2 Kreißig, Lilly  2006 SV 1990 Zschopau 03:04,40Bahn 3 Epperlein, Linda  2008 SV Zwickau von 1904 03:18,54Lauf 2 (ca. 15:04 Uhr)BahnSchwimmerinJg.VereinMeldezeitBahn 1 Maraskova, Linda  2009 Plavecký klub Litvínov 03:02,55Bahn 2 Kunz, Jenny  2007 SV Zwickau von 1904 02:50,99Bahn 3 Richter, Nele  2002 ST Erzgebirge 02:57,21", text)
 }
 
+func TestGetPdfFileContent_External(t *testing.T) {
+	text, _ := GetPdfFileContent("https://bsv-sws.de/images/dateien/2025/BML/BM_lang_2025.pdf")
+	println(text)
+	assert.Contains(t, text, "Offene Bezirksjahrgangs- und Bezirksmeisterschaften 2025 - lange Strecken")
+}
+
 func TestImportPdfStartList_BMSWS24(t *testing.T) {
 	settings := model.ImportPdfStartListSettings{
 		OmitFirst:            nil,