Merge branch 'main' into front/feat/0224-fix-community

Author: AntoineQuesnel

back/scripts/enrichment/bareme_enricher.py

@@ -303,13 +303,37 @@ def bareme_marchespublics(
         # Préparation des données marchés publics
         # Filtrage : uniquement acheteurs identifiés + période 2016+
         # Ajout indicateur booléen pour obligation de publication
-        marches = marches_publics.filter(
-            pl.col("acheteur_id").is_not_null() & (pl.col("annee_notification") >= 2016)
-        ).with_columns(
-            pl.when(pl.col("obligation_publication") == "Obligatoire")
-            .then(1)  # Marché soumis à obligation
-            .otherwise(0)  # Marché publié volontairement
-            .alias("obligation_publication_bool")
+        # Group by des données par marché public
+        marches = (
+            marches_publics.filter(
+                pl.col("acheteur_id").is_not_null() & (pl.col("annee_notification") >= 2016)
+            )
+            .with_columns(
+                pl.when(pl.col("obligation_publication") == "Obligatoire")
+                .then(1)  # Marché soumis à obligation
+                .otherwise(0)  # Marché publié volontairement
+                .alias("obligation_publication_bool")
+            )
+            .group_by(
+                [
+                    "acheteur_id",
+                    "annee_notification",
+                    "obligation_publication",
+                    "id_mp",
+                    "montant_du_marche_public",
+                    "delai_publication_jours",
+                    "date_notification",
+                    "cpv_8",
+                    "lieu_execution_nom",
+                    "forme_prix",
+                    "objet",
+                    "nature",
+                    "duree_mois",
+                    "procedure",
+                    "obligation_publication_bool",
+                ]
+            )
+            .agg(pl.col("titulaire_id").unique().alias("titulaire_id_liste"))
         )
 
         # Construction table de référence (comme pour subventions)
@@ -331,9 +355,9 @@ def bareme_marchespublics(
         # Comptage et vérification de complétude des champs obligatoires
         bareme_information = merged_marches.group_by(["siren", "annee"]).agg(
             [
-                pl.count("id").alias("nombre_de_marches"),  # Nombre total
+                pl.count("id_mp").alias("nombre_de_marches"),  # Nombre total
                 pl.sum("obligation_publication_bool"),  # Marchés obligatoires
-                pl.sum("montant"),  # Montant total
+                pl.sum("montant_du_marche_public"),  # Montant total du marche public
                 pl.median("delai_publication_jours"),  # Délai médian publication
                 # Comptage champs renseignés (pour évaluer complétude)
                 *[
@@ -347,7 +371,7 @@ def bareme_marchespublics(
                         "nature",  # Nature du marché
                         "duree_mois",  # Durée
                         "procedure",  # Procédure utilisée
-                        "titulaire_id",  # Titulaire
+                        "titulaire_id_liste",  # Liste des titulaires par marché public
                     ]
                 ],
             ]
@@ -367,7 +391,7 @@ def bareme_marchespublics(
                 # Critère B : Complétude des données essentielles
                 # Tous les champs critiques doivent être renseignés
                 (
-                    (pl.col("montant") > 0)
+                    (pl.col("montant_du_marche_public") > 0)
                     & (pl.col("date_notification").is_not_null())
                     & (pl.col("cpv_8").is_not_null())
                     & (pl.col("lieu_execution_nom").is_not_null())
@@ -376,7 +400,7 @@ def bareme_marchespublics(
                     & (pl.col("nature").is_not_null())
                     & (pl.col("duree_mois").is_not_null())
                     & (pl.col("procedure").is_not_null())
-                    & (pl.col("titulaire_id").is_not_null())
+                    & (pl.col("titulaire_id_liste").is_not_null())
                 )
                 .cast(pl.Int8)
                 .alias("B"),

back/scripts/enrichment/communities_enricher.py

@@ -29,6 +29,9 @@ def get_input_paths(cls, main_config: dict) -> list[Path]:
     def _clean_and_enrich(cls, inputs: list[pl.DataFrame]) -> pl.DataFrame:
         communities, bareme, subventions, marches_publics = inputs
 
+        # Conserve une ligne par marche public et ses attributs
+        marches_publics = cls.get_uniques_marches_publics(marches_publics)
+
         # Uniformise les noms des collectivités selon leur type
         communities = cls.uniformiser_noms(communities)
 
@@ -258,3 +261,17 @@ def nettoyer_nom(nom: str, type_: str) -> str:
         )
 
         return communities
+
+    @classmethod
+    def get_uniques_marches_publics(cls, marches_publics: pl.DataFrame) -> pl.DataFrame:
+        """
+        Ne conserve qu'une ligne par marche public avec son montant et d'autres colonnes
+        """
+
+        return (
+            marches_publics.select(
+                ["id_mp", "montant_du_marche_public", "acheteur_id", "annee_notification"]
+            )
+            .unique(["id_mp"])
+            .rename({"montant_du_marche_public": "montant"})
+        )

back/scripts/enrichment/marches_enricher.py

@@ -67,12 +67,16 @@ def _clean_and_enrich(cls, inputs: list[pl.DataFrame]) -> pl.DataFrame:
             .pipe(normalize_date, "dateNotification")
             .pipe(normalize_identifiant, "acheteur_id", IdentifierFormat.SIREN)
             .pipe(cls._add_metadata)
-            .assign(montant=lambda df: df["montant"] / df["countTitulaires"].fillna(1))
+            .rename(columns={"montant": "montant_du_marche_public"})
+            .assign(
+                montant_du_marche_public_par_titulaire=lambda df: df["montant_du_marche_public"]
+                / df["countTitulaires"].fillna(1)
+            )
         )
 
         return (
             pl.from_pandas(marches_pd)
-            .pipe(cls.generate_new_id)
+            .pipe(cls.generate_id_mp_index)
             .pipe(cls.forme_prix_enrich)
             .pipe(cls.type_identifiant_titulaire_enrich)
             .pipe(
@@ -169,7 +173,7 @@ def ensure_list_of_dicts(x):
             else:
                 return [x]  # wrap dans une liste
         if isinstance(x, list):
-            if len(x) > 0:
+            if (len(x) > 0) and (isinstance(x[0], list)):
                 return MarchesPublicsEnricher.ensure_list_of_dicts(x[0])  # déjà une liste
             else:
                 return x
@@ -586,7 +590,7 @@ def keep_last_modifications_par_mp(marches: pl.DataFrame) -> pl.DataFrame:
         )
 
     @staticmethod
-    def generate_new_id(marches: pl.DataFrame) -> pl.DataFrame:
+    def generate_id_mp_index(marches: pl.DataFrame) -> pl.DataFrame:
         """
         Génère un nouvel id unique, entier, pour chaque MP
         Car le hash de id_mp est trop lourd pour la BDD
@@ -595,15 +599,13 @@ def generate_new_id(marches: pl.DataFrame) -> pl.DataFrame:
         id_mapping = (
             marches.select("id_mp")
             .unique()
-            .with_row_index(name="id")  # génère l'entier par valeur unique
+            .with_row_index(name="id_mp_integer")  # génère l'entier par valeur unique
         )
 
-        # Pour le moment la colonne id est remplacée par la colonne id_mp qui est l'id unique par marché public (créé par nous), car le front attend un id.
-        # Il faudra éventuellement changer cette fonction et garder les id, uid, et uuid d'origine car ils permettent de retrouver les marchés publics sur les plateformes en ligne.
         return (
-            marches.drop(["id"])
-            .join(id_mapping, on="id_mp", how="left")
-            .drop(["id_mp", "uid", "uuid"])
+            marches.join(id_mapping, on="id_mp", how="left")
+            .drop("id_mp")
+            .rename({"id_mp_integer": "id_mp"})
         )
 
     @staticmethod
@@ -612,5 +614,6 @@ def drop_rows_with_null_dates_or_amounts(marches: pl.DataFrame) -> pl.DataFrame:
         Supprime les lignes où 'date_publication_donnees' ou 'montant' sont nulles.
         """
         return marches.filter(
-            pl.col("date_publication_donnees").is_not_null() & pl.col("montant").is_not_null()
+            pl.col("date_publication_donnees").is_not_null()
+            & pl.col("montant_du_marche_public").is_not_null()
         )

back/tests/data/communities/communities.parquet

@@ -87,8 +87,8 @@ export default async function InterpellateStep2({ params }: InterpellateStep2Pro
               )}
             </>
           )}
-          {/* CAS : pas de contact mail mais présence de l'url de la collectivité ou de son formulaire de contact */}
-          {!emailContactsLen && formContactLen > 0 && (
+          {/* CAS : pas de contact mail */}
+          {!emailContactsLen && (
             <>
               <p className='rounded-t-3xl bg-secondary p-4 text-lg font-bold'>
                 <Image
@@ -116,63 +116,29 @@ export default async function InterpellateStep2({ params }: InterpellateStep2Pro
                   </span>
                 </h3>
 
-                <ul className='flex flex-wrap justify-between gap-4 px-8 pb-8'>
+                <ul className='grid grid-cols-3 gap-4 px-8 pb-8'>
                   <li className='group relative basis-[100%] md:basis-[32%]'>
                     <ContactCard cardTitleText='Visiter le site de la collectivité'>
-                      <Link href={formContact[0].contact} className='mt-4 flex' target='_blank'>
-                        Voir le site de la collectivité
-                        <ChevronRight size={14} className='ml-2 self-center' />
-                      </Link>
-                    </ContactCard>
-                  </li>
-                </ul>
-                <InterpellateOtherLink />
-              </div>
-            </>
-          )}
-          {/* CAS : ni contact mail générique, ni url de la collectivité */}
-          {emailContactsLen < 1 && formContactLen < 1 && (
-            <>
-              <p className='rounded-t-3xl bg-secondary p-4 text-lg font-bold'>
-                <Image
-                  src='/eclaireur/error_icon.png'
-                  alt='Interpeller'
-                  width={24}
-                  height={24}
-                  className='mr-2 inline-block'
-                />
-                Nous n’avons pas de contact direct avec les élus pour {communityName}
-              </p>
-              <div className='rounded-b-3xl bg-white py-16'>
-                <Image
-                  src='/eclaireur/mascotte_call.svg'
-                  alt='Interpeller'
-                  width={150}
-                  height={129}
-                  className='mx-auto block'
-                />
-                <h3 className='mb-12 mt-6 px-8 text-center'>
-                  Vous pouvez toujours agir
-                  <br />
-                  <span className='text-lg font-normal'>
-                    pour faire valoir la transparence des données publiques !
-                  </span>
-                </h3>
-
-                <ul className='flex flex-wrap justify-between gap-4 px-8 pb-8'>
-                  <li className='group relative basis-[100%] md:basis-[32%]'>
-                    <ContactCard cardTitleText='Envoyer un mail à la collectivité'>
-                      Information non disponible
-                    </ContactCard>
-                  </li>
-                  <li className='group relative basis-[100%] md:basis-[32%]'>
-                    <ContactCard cardTitleText='Visiter le site de la collectivité'>
-                      Information non disponible
+                      {formContactLen > 0 && (
+                        <Link href={formContact[0].contact} className='mt-4 flex' target='_blank'>
+                          Voir le site de la collectivité
+                          <ChevronRight size={14} className='ml-2 self-center' />
+                        </Link>
+                      )}
+                      {formContactLen === 0 && 'Information non disponible'}
                     </ContactCard>
                   </li>
                   <li className='group relative basis-[100%] md:basis-[32%]'>
                     <ContactCard cardTitleText='Envoyer un courrier à la collectivité'>
-                      <Link href='#' download className='mt-4 flex' target='_blank'>
+                      <Link
+                        href={{
+                          pathname: '/api/interpellate/courrier-interpellation',
+                          query: { communityName: communityName, communityType: community.type },
+                        }}
+                        download
+                        className='mt-4 flex'
+                        target='_blank'
+                      >
                         Télécharger un courrier type
                         <ChevronRight size={14} className='ml-2 self-center' />
                       </Link>

front/app/(visualiser)/interpeller/[siren]/step2/page.tsx

@@ -28,9 +28,9 @@ export async function GET(request: Request, { params }: { params: Promise<{ sire
     }
 
     const stream = await getStream({
-      selectors: ['titulaire_denomination_sociale', 'objet', 'montant', 'annee_notification'],
+      selectors: ['titulaire_denomination_sociale', 'objet', 'montant_du_marche_public', 'annee_notification'],
       filters: { acheteur_id: siren, annee_notification: year },
-      orderBy: { direction: 'desc', column: 'montant' },
+      orderBy: { direction: 'desc', column: 'montant_du_marche_public' },
     });
 
     const headers = new Headers({

front/app/api/communities/[siren]/marches_publics/contrats/download/route.ts

@@ -0,0 +1,31 @@
+import { NextRequest, NextResponse } from 'next/server';
+
+import { CourrierTypeInterpellation } from '#components/pdfs/CourrierTypeInterpellation';
+import { renderToStream } from '@react-pdf/renderer';
+
+export async function GET(request: NextRequest) {
+  const searchParams = request.nextUrl.searchParams;
+
+  const communityName = searchParams.get('communityName') ?? '';
+  const communityType = searchParams.get('communityType') ?? '';
+
+  const stream = await renderToStream(
+    <CourrierTypeInterpellation communityName={communityName} communityType={communityType} />,
+  );
+  const chunks: Uint8Array[] = [];
+  for await (const chunk of stream) {
+    // chunk can be string | Uint8Array
+    const bufferChunk = typeof chunk === 'string' ? Buffer.from(chunk) : new Uint8Array(chunk);
+    chunks.push(bufferChunk);
+  }
+
+  const pdfBuffer = Buffer.concat(
+    chunks.map((c) => Buffer.from(c)), // ensure all are Buffer
+  );
+  return new NextResponse(pdfBuffer, {
+    headers: {
+      'Content-Type': 'application/pdf',
+      'Content-Disposition': 'attachment; filename="courrier-interpellation.pdf"',
+    },
+  });
+}