#81 Linter for python

Author: ilesoft

.github/workflows/continuous-integration.yml

@@ -34,9 +34,11 @@ jobs:
         run: |
           python -m pip install --upgrade pip
           pip install 'djlint==1.36.3'
+          pip install 'ruff==0.8.2'
       - name: Check formatting
         run: |
           djlint --profile=django --lint --ignore "H006,H013,H030,H031,D018,T003" .
+          ruff check
   unit-tests-sqlite:
     runs-on: ubuntu-latest
     timeout-minutes: 15

docs/development.md

@@ -97,6 +97,10 @@ säännöistä on poistettu käytöstä:
 * D018: {% url ... %} templaateissa
 * T003: nimetyt endblock tagit templaateissa
 
+Python-tiedostojen tarkastamiseen käytetään lintteriä nimeltä Ruff.
+Repositorion juuressa on tiedosto ruff.toml, jossa määritellään tarvittavat
+poikkeukset Ruff:in oletussääntöihin.
+
 ## Selityksiä lähdekooditiedostoista
 
 * `web/tupa/`

generate_passwords.py

@@ -1,5 +1,7 @@
 from shutil import copyfile
-import string, random, crypt
+import string
+import random
+import crypt
 import MySQLdb
 
 

ruff.toml

@@ -0,0 +1,3 @@
+[lint.per-file-ignores]
+# Star imports are needed for proper setting overriding
+"web/settings/__init__.py" = ["F403"]

web/tupa/TehtavanMaaritys.py

@@ -73,7 +73,7 @@ def is_kaava(s):
         for h in haku:
             muuttujat[h.group(1)] = Decimal(numero)
         tulos = laskeTaulukko([[kaava]], muuttujat)
-        if tulos[0][0] == None or tulos[0][0] == "S":
+        if tulos[0][0] is None or tulos[0][0] == "S":
             return False
         else:
             return True
@@ -86,7 +86,7 @@ def validate(posti, field_name, testFunctions, prefix=""):
         value = posti[id]
     valid = True
     for f in testFunctions:
-        if f(value) == False:
+        if not f(value):
             valid = False
             break
     return valid
@@ -137,10 +137,6 @@ def syotteen_tyyppi_field(posti, data, prefix, syote_id, tyyppi):
     field_name = "tyyppi_" + nimi
     value = "piste"
 
-    validi = True
-    if "valid" in data.keys() and data["valid"] == False:
-        validi = False
-
     # formin taytto
     if data["tyyppi"] == tyyppi or (not posti and (tyyppi == "vk" or tyyppi == "pk")):
         maarite_index = 0
@@ -175,7 +171,7 @@ def field(posti, field_name, prefix, errors=""):
 def save_data(data, data_path, data_nimi, data_field, value):
     pos = data
     for p in data_path:
-        if not p in pos.keys():
+        if p not in pos.keys():
             pos[p] = {}
         pos = pos[p]
         uusi = True
@@ -210,7 +206,7 @@ def loadField(
         id = field_name
     pos = data
     for p in data_path:
-        if not p in pos.keys():
+        if p not in pos.keys():
             break
         pos = pos[p]
         for k, v in pos.items():
@@ -241,7 +237,7 @@ def syotteen_kuvaus_field(posti, data, prefix, syote_id, tyyppi):
         and (data["tyyppi"] == tyyppi or tyyppi == "pk" or tyyppi == "vk")
     ):
         # Formin data:
-        if not "maaritteet" in data.keys():
+        if "maaritteet" not in data.keys():
             data["maaritteet"] = {}
         maarite_index = 0
 
@@ -261,7 +257,7 @@ def syotteen_kuvaus_field(posti, data, prefix, syote_id, tyyppi):
                 formi = {
                     field_name: {"id": id, "name": id, "value": value, "errors": errors}
                 }
-                if not k in data["maaritteet"].keys():
+                if k not in data["maaritteet"].keys():
                     data["maaritteet"][k] = {}
                 data["maaritteet"][k]["nimi"] = nimi
                 data["maaritteet"][k]["kali_vihje"] = value
@@ -418,7 +414,7 @@ def lataa_parametrit(state, data, prefix, ot_tyyppi, muunnos=None):
                 if muunnos:
                     value = muunnos(state[prefix + ot_tyyppi + "_kiintea"])
                     state[prefix + ot_tyyppi + "_kiintea"] = value
-        except:
+        except Exception:
             pass
         try:
             if not state[prefix + ot_tyyppi + "_nollan_kerroin"] == "1":
@@ -427,15 +423,15 @@ def lataa_parametrit(state, data, prefix, ot_tyyppi, muunnos=None):
                 if muunnos:
                     value = muunnos(state[prefix + ot_tyyppi + "_nollan_kaava"])
                     state[prefix + ot_tyyppi + "_nollan_kaava"] = value
-        except:
+        except Exception:
             pass
         try:
             kerroin = state[prefix + ot_tyyppi + "_nollan_kerroin"]
             if not kerroin == "1" and not kerroin == "1.5" and not kerroin == "0.5":
                 state[prefix + ot_tyyppi + "_muu_kerroin"] = state[
                     prefix + ot_tyyppi + "_nollan_kerroin"
                 ]
-        except:
+        except Exception:
             pass
         try:
             if state[prefix + ot_tyyppi + "_arvio"] == "":
@@ -445,7 +441,7 @@ def lataa_parametrit(state, data, prefix, ot_tyyppi, muunnos=None):
                     value = muunnos(state[prefix + ot_tyyppi + "_oikea"])
                     state[prefix + ot_tyyppi + "_oikea"] = value
 
-        except:
+        except Exception:
             pass
 
 
@@ -499,7 +495,7 @@ def maksimisuoritus(
     try:
         if not state[prefix + ot_tyyppi + "_parhaan_haku"] == "":
             save_data(data, ["parametrit"], "parhaan_kaava", "arvo", "suor*muk")
-    except:
+    except Exception:
         pass
     formi.update(field(state, "kiintea", prefix + ot_tyyppi, errors))
     # Jaettavat pisteet:
@@ -774,11 +770,11 @@ def vapaaKaavaForm(posti, data, prefix):
     formit = []
     for i in range(maara):
         validi = True
-        if "valid" in data.keys() and data["valid"] == False:
+        if "valid" in data.keys() and not data["valid"]:
             validi = False
         formia = list(syotteen_kuvaus_field(posti, data, prefix, i, "vk").items())[0]
         formib = list(syotteen_tyyppi_field(posti, data, prefix, i, "vk").items())[0]
-        if validi and "valid" in data.keys() and data["valid"] == False:
+        if validi and "valid" in data.keys() and not data["valid"]:
             del data["valid"]
         formit.append(
             {
@@ -793,7 +789,7 @@ def vapaaKaavaForm(posti, data, prefix):
             maaritteet = list(data["maaritteet"].copy().items())
             for i in range(maara):
                 if maaritteet[i][1]["kali_vihje"] == "":
-                    if type(maaritteet[i][0]) == str and maaritteet[i][0][:1] == "#":
+                    if type(maaritteet[i][0]) is str and maaritteet[i][0][:1] == "#":
                         del data["maaritteet"][maaritteet[i][0]]
                     else:
                         data["maaritteet"][-maaritteet[i][0]] = maaritteet[i][1]
@@ -862,11 +858,11 @@ def puhdasKaavaForm(posti, data, prefix):
     formit = []
     for i in range(maara):
         validi = True
-        if "valid" in data.keys() and data["valid"] == False:
+        if "valid" in data.keys() and not data["valid"]:
             validi = False
         formia = list(syotteen_kuvaus_field(posti, data, prefix, i, "pk").items())[0]
         formib = list(syotteen_tyyppi_field(posti, data, prefix, i, "pk").items())[0]
-        if validi and "valid" in data.keys() and data["valid"] == False:
+        if validi and "valid" in data.keys() and not data["valid"]:
             del data["valid"]
         formit.append(
             {
@@ -881,7 +877,7 @@ def puhdasKaavaForm(posti, data, prefix):
             maaritteet = list(data["maaritteet"].copy().items())
             for i in range(maara):
                 if maaritteet[i][1]["kali_vihje"] == "":
-                    if type(maaritteet[i][0]) == str and maaritteet[i][0][:1] == "#":
+                    if type(maaritteet[i][0]) is str and maaritteet[i][0][:1] == "#":
                         del data["maaritteet"][maaritteet[i][0]]
                     else:
                         data["maaritteet"][-maaritteet[i][0]] = maaritteet[i][1]
@@ -1057,7 +1053,7 @@ def tehtavanMaaritysForm(
                     ot_formit.append(
                         osaTehtavaForm(posti, tv, prefix + str(k) + "_" + str(tk))
                     )
-                    if "valid" in tv.keys() and tv["valid"] == False:
+                    if "valid" in tv.keys() and not tv["valid"]:
                         del tv["valid"]
                         data["valid"] = False
                     osatehtava_id = osatehtava_id + 1
@@ -1193,9 +1189,8 @@ def luoTehtavaData(tehtavat):
 
 
 def tallennaTehtavaData(data):
-    ser = []
     tehtava_id = None
-    if "valid" in data.keys() and data["valid"] == True:
+    if "valid" in data.keys() and data["valid"]:
         del data["valid"]
         for k, v in data.items():
             # jokainen tehtava:
@@ -1204,7 +1199,7 @@ def tallennaTehtavaData(data):
             teht["sarja_id"] = teht["sarja"]
             del teht["sarja"]
             tehtava = Tehtava(**teht)
-            if not type(k) == str:
+            if type(k) is not str:
                 tehtava.id = k
             tehtava.save()
             tehtava_id = tehtava.id
@@ -1219,7 +1214,7 @@ def tallennaTehtavaData(data):
                 if "tehtava" in osateht.keys():
                     del osateht["tehtava"]
                 osa_tehtava = OsaTehtava(**osateht)
-                if not type(ot_k) == str:
+                if type(ot_k) is not str:
                     osa_tehtava.id = ot_k
                 osa_tehtava.tehtava = tehtava
 
@@ -1231,7 +1226,7 @@ def tallennaTehtavaData(data):
                             if "osa_tehtava" in p_v.keys():
                                 del p_v["osa_tehtava"]
                             parametri = Parametri(**p_v)
-                            if not type(p_k) == str:
+                            if type(p_k) is not str:
                                 parametri.id = p_k
                             parametri.osa_tehtava = osa_tehtava
                             if parametri.id is None or parametri.id > 0:
@@ -1247,7 +1242,7 @@ def tallennaTehtavaData(data):
                             if "osa_tehtava" in m_v.keys():
                                 del m_v["osa_tehtava"]
                             maarite = SyoteMaarite(**m_v)
-                            if not type(m_k) == str:
+                            if type(m_k) is not str:
                                 maarite.id = m_k
                             maarite.osa_tehtava = osa_tehtava
                             if maarite.id is None or maarite.id > 0:

web/tupa/TulosLaskin.py

@@ -216,7 +216,8 @@ def luoTehtavanKaava(t, v):
         while korvautuu:
             korvautuu = False
             vanha = ot_lause
-            ot_lasue = re.sub("vartio" + r"(?!\w+)", str(v.nro), ot_lause)
+            # TODO: Check out how this SHOULD work. It is just a typo
+            ot_lasue = re.sub("vartio" + r"(?!\w+)", str(v.nro), ot_lause)  # noqa: F841
             if not ot_lause == vanha:
                 korvautuu = True
 
@@ -232,15 +233,15 @@ def luoTehtavanKaava(t, v):
     tehtava_lause = ""
     # Suora summa osatehtavien välillä:
     if t.kaava.lower() == "ss" and len(ot_lauseet):
-        for l in ot_lauseet:
-            tehtava_lause = tehtava_lause + "max([0," + l[1] + "])+"
+        for x in ot_lauseet:
+            tehtava_lause = tehtava_lause + "max([0," + x[1] + "])+"
         tehtava_lause = tehtava_lause[:-1]
     else:
         tehtava_lause = t.kaava.lower()
-        for l in ot_lauseet:
-            lause = l[1]
+        for x in ot_lauseet:
+            lause = x[1]
             tehtava_lause = re.sub(
-                r"(?<!\w|[.])" + l[0] + r"(?<![.])(?!\w+)(?![.])",
+                r"(?<!\w|[.])" + x[0] + r"(?<![.])(?!\w+)(?![.])",
                 "max([0," + lause + "])",
                 tehtava_lause,
             )
@@ -272,8 +273,6 @@ def laskeSarja(sarja, syotteet, vartiot=None, tehtavat=None):
         vartiot = sarja.vartio_set.all()
     if not tehtavat:
         tehtavat = sarja.tehtava_set.all()
-    if vartiot and tehtavat:
-        jee = 1  # Pakotetaan tietokantahaku.
 
     # Lasketaan tulokset:
     muuttujat = luoMuuttujat(sarja.vartio_set.all(), tehtavat, syotteet)
@@ -307,9 +306,9 @@ def laskeSarja(sarja, syotteet, vartiot=None, tehtavat=None):
                 tulokset[i][t] = "S"
 
         # Merkataan siirrettäviksi ulkopuolella olevat:
-        if not vartiot[i].keskeyttanyt == None or not vartiot[i].ulkopuolella == None:
+        if vartiot[i].keskeyttanyt is not None or vartiot[i].ulkopuolella is not None:
             # Merkataan keskeyttaneille tuloksiin "K" keskeyttämisestä eteenpäin
-            if not vartiot[i].keskeyttanyt == None:
+            if vartiot[i].keskeyttanyt is not None:
                 kesk = vartiot[i].keskeyttanyt - 1
                 for t in range(kesk, len(tulokset[i])):
                     tulokset[i][t] = "K"
@@ -325,7 +324,8 @@ def laskeSarja(sarja, syotteet, vartiot=None, tehtavat=None):
                     )
                     try:
                         tulokset[i][t] = Decimal(tuom[0].pisteet)
-                    except:
+                    except Exception:
+                        # TODO: stricter type
                         tulokset[i][t] = tuom[0].pisteet
 
         # Lisää varoitus, jos vartion pisteet ylittävät tehtävän max. pisteet
@@ -334,7 +334,11 @@ def laskeSarja(sarja, syotteet, vartiot=None, tehtavat=None):
             # Tarkistetaan, että pisteet on laskettu (numeerinen arvo).
             # Vartion pisteet voivat olla myös esim. H, E tai K (katso
             # silmukka vähän ylempää), tällöin tarkistus on turha.
-            if pisteet and type(pisteet) != str and tehtavat[t].maksimipisteet != "":
+            if (
+                pisteet
+                and type(pisteet) is not str
+                and tehtavat[t].maksimipisteet != ""
+            ):
                 # Onko pisteet > max pisteet
                 if pisteet > float(tehtavat[t].maksimipisteet):
                     # Lisää huomautus tulosluetteloon
@@ -343,7 +347,7 @@ def laskeSarja(sarja, syotteet, vartiot=None, tehtavat=None):
         # Kokonaispisteet:
         summa = 0
         for s in tulokset[i]:
-            if s and type(s) != str:
+            if s and type(s) is not str:
                 summa += s
         tulokset[i].insert(0, summa)
         # Vartio objekti jokaisen rivin alkuun:
@@ -352,7 +356,7 @@ def laskeSarja(sarja, syotteet, vartiot=None, tehtavat=None):
     # Kirjataan välivaiheisiin lopputulos
     try:
         log.logString("\n<b>TULOS = " + str(tulokset[0][2]) + "</b>")
-    except:
+    except Exception:
         pass
     # Siirretään ulkopuoliset ja mukana olevat omiin taulukkoihinsa
     mukana = []
@@ -378,7 +382,7 @@ def laskeSarja(sarja, syotteet, vartiot=None, tehtavat=None):
         try:
             if int(t.maksimipisteet):
                 pisteet_yhteensa += int(t.maksimipisteet)
-        except:
+        except Exception:
             pass
         t_list.append(t)
     t_list[0].maksimipisteet = pisteet_yhteensa
@@ -400,7 +404,8 @@ def laskeSarja(sarja, syotteet, vartiot=None, tehtavat=None):
     try:
         tulokset.sort(key=operator.itemgetter(1, tasa1, tasa2, tasa3), reverse=True)
         ulkona.sort(key=operator.itemgetter(1, tasa1, tasa2, tasa3), reverse=True)
-    except:  # tehtäviä < 3
+    except Exception:  # tehtäviä < 3
+        # TODO: stricter type
         pass
 
     # Etsitään tasapistetulokset :

web/tupa/UnicodeTools.py

@@ -1,4 +1,6 @@
-import csv, codecs, io
+import csv
+import codecs
+import io
 
 
 class UnicodeWriter:

web/tupa/formit.py

@@ -243,7 +243,7 @@ def clean(self, value):
 def initPisteSyote(self, fieldName):
     kesk = self.vartio.keskeyttanyt
     nro = self.maarite.osa_tehtava.tehtava.jarjestysnro
-    if not kesk == None and not nro == None:
+    if kesk is not None and nro is not None:
         if kesk <= nro:  # Keskeyttänyt
             self.fields[fieldName].widget.attrs["class"] = "kesk"
             self.fields[fieldName].widget.attrs["readonly"] = "readonly"
@@ -254,7 +254,6 @@ def savePisteSyote(self, syote, field, fieldName, alternateName):
     syote.maarite = self.maarite
     syote.vartio = self.vartio
     if self.cleaned_data[fieldName] or self.cleaned_data[alternateName]:
-        field = self.cleaned_data[fieldName]
         syote.save()
     elif syote.id:
         syote.delete()
@@ -356,7 +355,7 @@ def is_valid(self):
 
         def save(self):
             tulos = None
-            if self.pisteet == None or len(self.pisteet) == 0 and self.taulu:
+            if self.pisteet is None or len(self.pisteet) == 0 and self.taulu:
                 self.taulu.delete()
             if self.pisteet and len(self.pisteet):
                 tulos, created = tauluTyyppi.objects.get_or_create(