Integrare i bulk data Akoma Ntoso del Senato (GitHub) come fonte complementare

[aborruso]

Contesto

Il Senato pubblica su GitHub i bulk data in formato Akoma Ntoso: https://github.com/SenatoDellaRepubblica/AkomaNtosoBulkData (CC BY 4.0, aggiornato quotidianamente, legislature 13–19). Tutto documentato e verificato in docs/lod-wiki/senato/akn-bulk-data.md.

Perché conta: stesso ID dei ddl del LOD (Leg19/Atto00060233 ↔ ddl/60233, join diretto da ddl_uri) e niente WAF (raw.githubusercontent con curl semplice, a differenza di senato.it).

Gap noti che colma (verificati 2026-07-10)

1. amendments Senato fermo ad agosto 2024 (amendments (Senato): dataset osr:Emendamento fermo da agosto 2024 #38): emend//emendc/ contengono gli emendamenti anche per DDL del 2026 (verificato sul Piano Casa Atto00060233). I file AKN contengono anche il proponente (amendments (Senato): aggiungere il proponente via parsing AKN (simmetria con camera-amendments) #30), finora dietro WAF.
2. bill-text: ddlpres/ (testo presentato), ddlcomm/ (relazione), ddlmess/ (messaggio) in XML senza passare dal fascicolo PDF WAF-ato.
3. Votazioni COVID 2020 assenti dal LOD (Gap dataset Senato: votazioni assenti per mar-apr 2020 (leg.18) — nota wiki + emptyHint + segnalazione gestore #36): il resoconto d'Aula del 9/4/2020 (Leg18/Atto00052873/resaula/01150035-ra.akn.xml) contiene la proclamazione della fiducia sul Cura Italia con i contatori — testo narrativo, serve parsing.
4. committee-sessions (committee-sessions (Senato): arricchire con link resoconto/veste/orari via listasommcomm (fonte fuori LOD, dietro WAF) #33), parziale: sommcomm/ per-atto senza WAF.

Non copre: audizioni (organizzazione per-atto), votazioni strutturate.

Costruzione URL senza API GitHub (verificato)

• Path cartella deducibile al 100%: Leg<leg>/Atto<id ddl zero-padded 8>/<tipologia>/.
• Emendamenti nel LOD: filename = ultimo segmento di osr:URLTestoXml zero-padded (verificato: em. 900011 → Leg18/Atto00053429/emend/01181876-em.akn.xml). Conversione WAF→raw con pura sostituzione di stringa, zero listing.
• Resto (post-2024, resoconti, testi): endpoint JSON della web UI (GET github.com/.../tree/master/<path> con Accept: application/json → .payload.codeViewTreeRoute.tree.items[]), senza token e fuori dal rate limit REST (60/h anonimo). Non documentato: throttle prudenziale + fallback (partial clone git per usi batch).

Candidati concreti

• amendments: fallback bulk per DDL con dataPresentazione > 2024-08-09 (oggi vuoto muto mitigato solo da emptyHint) + proponente dal file AKN.
• bill-text: aggiungere i link raw ai testi AKN accanto a quelli WAF-ati.
• Valutare (non tool): nota advocacy Gap dataset Senato: votazioni assenti per mar-apr 2020 (leg.18) — nota wiki + emptyHint + segnalazione gestore #36 — il dato 2020 esiste in forma ufficiale machine-readable, cambia la richiesta ai gestori (da 'digitalizzate' a 'strutturate ciò che già pubblicate').

Attenzione

• Verificare la raggiungibilità di raw.githubusercontent e dell'endpoint JSON dal Worker Cloudflare (stessa classe di problema di Verificare raggiungibilità di documenti.camera.it dal Worker Cloudflare (camera-amendments) #28 per documenti.camera.it).
• Repo ~1,7 GB: mai clone integrale nei tool, solo fetch puntuali.

[aborruso]

Analisi comparata delle fonti non-LOD in docs/analisi-fonti-non-lod.md: questa fonte è P1, la prima da implementare.

Motivo: è l'unica delle tre senza WAF, quindi l'unica fetchabile lato server (Worker incluso — il canale MCP primario). Verificato oggi da rete locale: file raw HTTP 200 (Leg19/Atto00060233/emend/01511393-em.akn.xml, 23 KB), listing via endpoint JSON web-UI HTTP 200.

Interventi raccomandati (invariati rispetto ai candidati in testa alla issue):

1. amendments: fallback AKN per DDL con dataPresentazione > 2024-08-09 + proponente opzionale via parsing an:docProponent (chiude amendments (Senato): dataset osr:Emendamento fermo da agosto 2024 #38 e amendments (Senato): aggiungere il proponente via parsing AKN (simmetria con camera-amendments) #30)
2. bill-text: colonne link AKN raw con auth=none

Resta da verificare la raggiungibilità di raw.githubusercontent + endpoint JSON dal Worker post-deploy (stessa classe di #28).

[aborruso]

Verifica pendente chiusa: raggiungibilità del bulk AKN GitHub dal Worker Cloudflare confermata in produzione (v0.24.0, deploy 2026-07-10).

Testato live amendments con withProponents: true sul Worker (https://italianparliament-mcp.andy-pr.workers.dev/mcp): il fetch a raw.githubusercontent.com funziona, proponente estratto correttamente (first_proponent: "DE CRISTOFARO", first_proponent_uri: "http://dati.senato.it/22918").

Implementata la priorità P1 dell'analisi (PR #47, mergiata): fallback bulk AKN in amendments, colonna akn_xml_url, proponenti via --with-proponents. Chiude #38 e #30. Restano da valutare P2 (rss_url su bills/bill) e P3 (sommari_json_url su committee-sessions), e gli altri spunti dell'analisi non ancora implementati (es. bill-text con link AKN raw).