logs.log

USGS 3-YEAR IV DATA INGEST — EXECUTION LOG SUMMARY
--------------------------------------------------

This log captures a full end-to-end run of the asynchronous USGS IV
downloader (collect3.py). For each U.S. state, the script:

  1. Loads all stream-gage ("ST") sites for that state.
  2. Asynchronously requests Instantaneous Values (IV) data for:
         • Temperature (00010)
         • Specific Conductance (00095)
         • Dissolved Oxygen (00300)
         • pH (00400)
     covering a 3-year window:
         2022-11-07 → 2025-11-07 (UTC)
  3. Flattens JSON time-series into tidy rows.
  4. Writes one Parquet file per state:
         state_parquet_3yrs/states_iv_{STATE}_3yrs.parquet
  5. Supports automatic resume: states already processed are skipped.

INTERPRETING THE LOG
--------------------
Each block contains:
    • Number of ST sites for the state.
    • Progress bar showing async fetches.
    • Total number of observations written.
    • Confirmation that a completed state is skipped on re-runs.

The "wrote N rows" count reflects:
    • All valid measurements across the 4 parameter codes.
    • 3-year date filtering.
    • Flattened observations (one row per timestamp-parameter pair).
    • Missing / sentinel values cleaned (e.g., "-999999.00").

Large row counts (e.g., CA, CO, OR, PA, GA) indicate states with:
    • Dense monitoring networks, AND/OR
    • Sensors with higher reporting frequency.

Smaller counts (e.g., SD, ME, HI, DC) reflect fewer stream gages.

PERFORMANCE NOTES
-----------------
• Async concurrency = 30.
• All states completed successfully without critical failures.
• Resume logic verified: after first full run, re-execution correctly
  detected and skipped previously written Parquet files.

OUTPUT
------
Total output: 51 Parquet files, one per state/DC.
Each file contains:
    site_no, state, datetime, date,
    param_code, param_name, unit, value

This log serves as both a proof-of-work record and 
a benchmark reference for future ingestion runs.

---

wrs(base) ➜  when_rivers_speak-pydataboston2025 python3 collect3.py
Loaded site list with 1749351 rows

=== Processing AL ===
AL: 2664 ST sites
AL: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2664/2664 [00:34<00:00, 78.03it/s]
AL: wrote 3179177 rows → state_parquet_3yrs/states_iv_AL_3yrs.parquet
AL: already completed → skipping

=== Processing AK ===
AK: 2693 ST sites
AK: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2693/2693 [01:28<00:00, 30.30it/s]
AK: wrote 6842205 rows → state_parquet_3yrs/states_iv_AK_3yrs.parquet
AK: already completed → skipping

=== Processing AZ ===
AZ: 2072 ST sites
AZ: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2072/2072 [00:26<00:00, 77.73it/s]
AZ: wrote 2339673 rows → state_parquet_3yrs/states_iv_AZ_3yrs.parquet
AZ: already completed → skipping

=== Processing AR ===
AR: 8344 ST sites
AR: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8344/8344 [02:01<00:00, 68.75it/s]
AR: wrote 6433051 rows → state_parquet_3yrs/states_iv_AR_3yrs.parquet
AR: already completed → skipping

=== Processing CA ===
CA: 6710 ST sites
CA: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6710/6710 [03:13<00:00, 34.72it/s]
CA: wrote 19431802 rows → state_parquet_3yrs/states_iv_CA_3yrs.parquet
CA: already completed → skipping

=== Processing CO ===
CO: 6099 ST sites
CO: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6099/6099 [02:53<00:00, 35.16it/s]
CO: wrote 22380905 rows → state_parquet_3yrs/states_iv_CO_3yrs.parquet
CO: already completed → skipping

=== Processing CT ===
CT: 1190 ST sites
CT: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1190/1190 [00:30<00:00, 38.96it/s]
CT: wrote 1439328 rows → state_parquet_3yrs/states_iv_CT_3yrs.parquet
CT: already completed → skipping

=== Processing DC ===
DC: 87 ST sites
DC: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 87/87 [01:05<00:00,  1.33it/s]
DC: wrote 315582 rows → state_parquet_3yrs/states_iv_DC_3yrs.parquet
DC: already completed → skipping

=== Processing DE ===
DE: 246 ST sites
DE: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 246/246 [00:33<00:00,  7.33it/s]
DE: wrote 3398248 rows → state_parquet_3yrs/states_iv_DE_3yrs.parquet
DE: already completed → skipping

=== Processing FL ===
FL: 4464 ST sites
FL: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4464/4464 [02:09<00:00, 34.47it/s]
FL: wrote 17775366 rows → state_parquet_3yrs/states_iv_FL_3yrs.parquet
FL: already completed → skipping

=== Processing GA ===
GA: 4480 ST sites
GA: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4480/4480 [02:18<00:00, 32.39it/s]
GA: wrote 23385582 rows → state_parquet_3yrs/states_iv_GA_3yrs.parquet
GA: already completed → skipping

=== Processing HI ===
HI: 2392 ST sites
HI: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2392/2392 [00:24<00:00, 96.90it/s]
HI: wrote 314210 rows → state_parquet_3yrs/states_iv_HI_3yrs.parquet
HI: already completed → skipping

=== Processing ID ===
ID: 3624 ST sites
ID: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3624/3624 [00:46<00:00, 78.72it/s]
ID: wrote 3350848 rows → state_parquet_3yrs/states_iv_ID_3yrs.parquet
ID: already completed → skipping

=== Processing IL ===
IL: 2311 ST sites
IL: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2311/2311 [01:38<00:00, 23.49it/s]
IL: wrote 8592495 rows → state_parquet_3yrs/states_iv_IL_3yrs.parquet
IL: already completed → skipping

=== Processing IN ===
IN: 2981 ST sites
IN: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2981/2981 [01:43<00:00, 28.75it/s]
IN: wrote 2422046 rows → state_parquet_3yrs/states_iv_IN_3yrs.parquet
IN: already completed → skipping

=== Processing IA ===
IA: 1581 ST sites
IA: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1581/1581 [00:44<00:00, 35.55it/s]
IA: wrote 1792851 rows → state_parquet_3yrs/states_iv_IA_3yrs.parquet
IA: already completed → skipping

=== Processing KS ===
KS: 1748 ST sites
KS: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1748/1748 [00:38<00:00, 45.44it/s]
KS: wrote 5937005 rows → state_parquet_3yrs/states_iv_KS_3yrs.parquet
KS: already completed → skipping

=== Processing KY ===
KY: 1714 ST sites
KY: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1714/1714 [01:34<00:00, 18.06it/s]
KY: wrote 11122722 rows → state_parquet_3yrs/states_iv_KY_3yrs.parquet
KY: already completed → skipping

=== Processing LA ===
LA: 3025 ST sites
LA: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3025/3025 [00:27<00:00, 111.61it/s]
LA: wrote 1682548 rows → state_parquet_3yrs/states_iv_LA_3yrs.parquet
LA: already completed → skipping

=== Processing ME ===
ME: 711 ST sites
ME: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 711/711 [00:17<00:00, 40.15it/s]
ME: wrote 688310 rows → state_parquet_3yrs/states_iv_ME_3yrs.parquet
ME: already completed → skipping

=== Processing MD ===
MD: 1354 ST sites
MD: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1354/1354 [01:20<00:00, 16.91it/s]
MD: wrote 5215059 rows → state_parquet_3yrs/states_iv_MD_3yrs.parquet
MD: already completed → skipping

=== Processing MA ===
MA: 2386 ST sites
MA: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2386/2386 [00:48<00:00, 48.89it/s]
MA: wrote 4520695 rows → state_parquet_3yrs/states_iv_MA_3yrs.parquet
MA: already completed → skipping

=== Processing MI ===
MI: 4976 ST sites
MI: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4976/4976 [01:42<00:00, 48.63it/s]
MI: wrote 9485667 rows → state_parquet_3yrs/states_iv_MI_3yrs.parquet
MI: already completed → skipping

=== Processing MN ===
MN: 2559 ST sites
MN: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2559/2559 [00:25<00:00, 98.67it/s]
MN: wrote 2018586 rows → state_parquet_3yrs/states_iv_MN_3yrs.parquet
MN: already completed → skipping

=== Processing MS ===
MS: 3255 ST sites
MS: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3255/3255 [00:37<00:00, 86.33it/s]
MS: wrote 1959136 rows → state_parquet_3yrs/states_iv_MS_3yrs.parquet
MS: already completed → skipping

=== Processing MO ===
MO: 1958 ST sites
MO: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1958/1958 [00:33<00:00, 58.78it/s]
MO: wrote 4633952 rows → state_parquet_3yrs/states_iv_MO_3yrs.parquet
MO: already completed → skipping

=== Processing MT ===
MT: 3644 ST sites
MT: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3644/3644 [00:39<00:00, 93.09it/s]
MT: wrote 6094287 rows → state_parquet_3yrs/states_iv_MT_3yrs.parquet
MT: already completed → skipping

=== Processing NE ===
NE: 1724 ST sites
NE: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1724/1724 [00:18<00:00, 91.66it/s]
NE: wrote 2098270 rows → state_parquet_3yrs/states_iv_NE_3yrs.parquet
NE: already completed → skipping

=== Processing NV ===
NV: 1623 ST sites
NV: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1623/1623 [00:25<00:00, 63.61it/s]
NV: wrote 2745176 rows → state_parquet_3yrs/states_iv_NV_3yrs.parquet
NV: already completed → skipping

=== Processing NH ===
NH: 1079 ST sites
NH: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1079/1079 [00:15<00:00, 69.57it/s]
NH: wrote 1036400 rows → state_parquet_3yrs/states_iv_NH_3yrs.parquet
NH: already completed → skipping

=== Processing NJ ===
NJ: 2916 ST sites
NJ: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2916/2916 [01:33<00:00, 31.28it/s]
NJ: wrote 6040593 rows → state_parquet_3yrs/states_iv_NJ_3yrs.parquet
NJ: already completed → skipping

=== Processing NM ===
NM: 2038 ST sites
NM: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2038/2038 [01:19<00:00, 25.54it/s]
NM: wrote 3142359 rows → state_parquet_3yrs/states_iv_NM_3yrs.parquet
NM: already completed → skipping

=== Processing NY ===
NY: 12778 ST sites
NY: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 12778/12778 [03:21<00:00, 63.37it/s]
NY: wrote 13022066 rows → state_parquet_3yrs/states_iv_NY_3yrs.parquet
NY: already completed → skipping

=== Processing NC ===
NC: 2181 ST sites
NC:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    NC:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   NC:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   NC:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌  NC:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████  NC:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ NC:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ NC:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏NC:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌NC:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊NC:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉NC:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████NC: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2181/2181 [01:17<00:00, 28.27it/s]
NC: wrote 7616937 rows → state_parquet_3yrs/states_iv_NC_3yrs.parquet
NC: already completed → skipping

=== Processing ND ===
ND: 1254 ST sites
ND: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| 1254/1254 [00:53<00:00, 23.31it/s]
ND: wrote 3419077 rows → state_parquet_3yrs/states_iv_ND_3yrs.parquet
ND: already completed → skipping

=== Processing OH ===
OH: 2862 ST sites
OH: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2862/2862 [01:59<00:00, 23.93it/s]
OH: wrote 9204328 rows → state_parquet_3yrs/states_iv_OH_3yrs.parquet
OH: already completed → skipping

=== Processing OK ===
OK: 2456 ST sites
OK: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2456/2456 [00:49<00:00, 49.25it/s]
OK: wrote 2365403 rows → state_parquet_3yrs/states_iv_OK_3yrs.parquet
OK: already completed → skipping

=== Processing OR ===
OR: 5186 ST sites
OR: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5186/5186 [04:07<00:00, 20.97it/s]
OR: wrote 31651872 rows → state_parquet_3yrs/states_iv_OR_3yrs.parquet
OR: already completed → skipping

=== Processing PA ===
PA: 5660 ST sites
PA: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5660/5660 [03:50<00:00, 24.50it/s]
PA: wrote 20349815 rows → state_parquet_3yrs/states_iv_PA_3yrs.parquet
PA: already completed → skipping

=== Processing RI ===
RI: 350 ST sites
RI: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:48<00:00,  7.29it/s]
RI: wrote 4319590 rows → state_parquet_3yrs/states_iv_RI_3yrs.parquet
RI: already completed → skipping

=== Processing SC ===
SC: 718 ST sites
SC: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 718/718 [01:32<00:00,  7.77it/s]
SC: wrote 7678256 rows → state_parquet_3yrs/states_iv_SC_3yrs.parquet
SC: already completed → skipping

=== Processing SD ===
SD: 2368 ST sites
SD: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2368/2368 [00:56<00:00, 41.64it/s]
SD: wrote 63284 rows → state_parquet_3yrs/states_iv_SD_3yrs.parquet
SD: already completed → skipping

=== Processing TN ===
TN: 6142 ST sites
TN: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6142/6142 [02:32<00:00, 40.18it/s]
TN: wrote 4074769 rows → state_parquet_3yrs/states_iv_TN_3yrs.parquet
TN: already completed → skipping

=== Processing TX ===
TX: 3055 ST sites
TX: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3055/3055 [02:45<00:00, 18.45it/s]
TX: wrote 14336291 rows → state_parquet_3yrs/states_iv_TX_3yrs.parquet
TX: already completed → skipping

=== Processing UT ===
UT: 2871 ST sites
UT: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2871/2871 [01:15<00:00, 38.18it/s]
UT: wrote 5663734 rows → state_parquet_3yrs/states_iv_UT_3yrs.parquet
UT: already completed → skipping

=== Processing VT ===
VT: 555 ST sites
VT: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 555/555 [00:46<00:00, 12.03it/s]
VT: wrote 706840 rows → state_parquet_3yrs/states_iv_VT_3yrs.parquet
VT: already completed → skipping

=== Processing VA ===
VA: 3404 ST sites
VA: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3404/3404 [03:00<00:00, 18.86it/s]
VA: wrote 1893881 rows → state_parquet_3yrs/states_iv_VA_3yrs.parquet
VA: already completed → skipping

=== Processing WA ===
WA: 4742 ST sites
WA: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4742/4742 [01:29<00:00, 52.89it/s]
WA: wrote 9484297 rows → state_parquet_3yrs/states_iv_WA_3yrs.parquet
WA: already completed → skipping

=== Processing WV ===
WV: 2400 ST sites
WV: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2400/2400 [01:32<00:00, 25.94it/s]
WV: wrote 5529484 rows → state_parquet_3yrs/states_iv_WV_3yrs.parquet
WV: already completed → skipping

=== Processing WI ===
WI: 2794 ST sites
WI: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2794/2794 [01:51<00:00, 25.09it/s]
WI: wrote 5335115 rows → state_parquet_3yrs/states_iv_WI_3yrs.parquet
WI: already completed → skipping

=== Processing WY ===
WY: 2566 ST sites
WY: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2566/2566 [00:31<00:00, 80.32it/s]
WY: wrote 3194724 rows → state_parquet_3yrs/states_iv_WY_3yrs.parquet
WY: already completed → skipping

All states completed!