変換パフォーマンスの向上

[sanak]

M1 MacBook Pro環境で日本全国のデータ変換に約2時間20分程度かかり、変換時CPU使用率が100%程度で頭打ちとなっていたため、複数のCPUコアが利用可能な場合はWorkerなどを利用して高速に変換できないかを検討します。

[sanak]

現状、メインの属性マスターCSVと位置参照拡張マスターCSVの左外部結合(LEFT JOIN)のためにSQLite(better-sqlite3) を利用していますが、
https://github.com/geolonia/japanese-addresses-v2/blob/17-switch-abr-download-site/src/lib/abr_data/index.ts

CSVからSQLite3へのデータ挿入含めて、かなり時間がかかっていると思われるため、DuckDBの利用(@duckdb/duckdb-wasm もしくは @duckdb/node-api) で変換処理が早くなるか検証・確認を行います。