Call for New PostgreSQL Extensions

[Vonng]

Pigsty now has an official Yum repo: https://repo.pigsty.cc/rpm , including some PostgreSQL extension RPMs for EL7 - EL9 missing in the PGDG repo.

If you have any extension you want to use in Pigsty, please feel free to comment here, and I'll consider building an RPM and adding it to Pigsty's RPM repo.

name	version	source	type	comment
age	1.4.0	PIGSTY	FEAT	Apache AGE graph database extension
pointcloud	1.2.5	PIGSTY	FEAT	A PostgreSQL extension for storing point cloud (LIDAR) data.
http	1.6	PIGSTY	FEAT	HTTP client for PostgreSQL, allows web page retrieval inside the database.
pg_tle	1.2.0	PIGSTY	FEAT	Trusted Language Extensions for PostgreSQL
roaringbitmap	0.5	PIGSTY	FEAT	Support for Roaring Bitmaps
zhparser	2.2	PIGSTY	FEAT	Parser for full-text search of Chinese
pgml	2.7.9	PIGSTY	FEAT	PostgresML: Use the expressive power of SQL along with the most advanced machine learning algorithms and pretrained models
pg_net	0.7.3	PIGSTY	FEAT	A PostgreSQL extension that enables asynchronous (non-blocking) HTTP/HTTPS requests with SQL
vault	0.2.9	PIGSTY	FEAT	Extension for storing encrypted secrets in the Vault
pg_graphql	1.4.0	PIGSTY	FEAT	GraphQL support for PostgreSQL
hydra	1.0.0	PIGSTY	FEAT	Hydra is open source, column-oriented Postgres extension

TODO LIST:

• imgsmlr
• pg_similarity
• PGroonga
• pg_bigm
• RDKit
• Parquet S3 FDW
• OrioleDB
• ZomboDB
• Neon Stack
• Supabase Stack
  • pg_net
  • http
  • pgjwt
  • vault
  • pg_graphql
  • pg_tle

Check List:

OSS Rank: PostgreSQL Ecosystem

[digoal]

分享一份我在教学镜像中打包的插件:

• x86_64 docker image : registry.cn-hangzhou.aliyuncs.com/digoal/opensource_database:pg14_with_exts
• ARM64 docker image : registry.cn-hangzhou.aliyuncs.com/digoal/opensource_database:pg14_with_exts_arm64

类型增强

• pgmp, PostgreSQL Multiple Precision Arithmetic extension, 支持GMP library, 高性能表达decimal类型.
• unit, 支持很多国际单位的类型
• pg_uuidv7, A tiny Postgres extension to create version 7 UUIDs
• zson, ZSON is a PostgreSQL extension for transparent JSONB compression

函数增强

• extra-window-functions, 扩展窗口函数
• first-last-agg, 扩展聚合函数
• tdigest, 扩展窗口、聚合函数
• rational, 扩展插值算法和函数
• orafce, 扩展Oracle兼容性
• aggs_for_vecs, 数组类型聚合函数扩展.
• quantile, 统计分析相关聚合函数扩展.
• pgjwt, JSON 值转储格式: JSON Web Tokens

近似统计分析

• hll, 近似分析, 例如滑动窗口UV, 短视频场景存储已读列表+快速过滤已读视频
• datasketches, 近似统计算法库

标签圈选

• smlar, 标签相似搜索
• roaringbitmap, 标签圈选
• pgfaceting, 基于rb index的快速降维分析插件(例如任意条件的UV分析, 滑动窗口分析等)

存储引擎、分析加强:

• citus, 分布式和列存储
• columnar, Hydra Columnar extension. 列存储引擎.
• vops, 瓦片存储和向量化计算
• orioledb, 基于UNDO机制的存储引擎. (未集成.)
• zedstore, 行列混合存储引擎. (未集成.)
• pg_cryogen, appendonly的压缩存储引擎. (未集成.)
• pg_ivm, 增量刷新物化视图

多值列索引扩展加速

• rum, 多值列+标量复合搜索加速
• parray_gin, 多值列元素值模糊搜索

多模型业务场景

• rdkit, 化学类型+算法+索引
• timescaledb, 时序
• pggraphblas, 图式关系加速搜索
• age, 图式关系搜索(兼容cypherQL语法).
• madlib, 机器学习分析库
• pg_variables, 会话或事务级内存变量, 例如用于计数器、需要在会话|事务中存储临时值的场景.
• temporal_tables, 自动按字段时间归档历史数据.
• pgtt, 全局临时表, 类似Oracle 全局临时表的风格.

空间业务场景

• pgrouting, 路由算法
• pgrouting-doc
• pgrouting-scripts
• pgsphere, 空间类型+索引
• pointcloud, 点云
• q3c, 空间类型+索引
• postgis-3, 丰富的空间类型+算法+函数接口+索引
• postgis-3-scripts
• ip4r, IP转地理位置信息
• h3, h3_postgis, uber开源的基于H3模型的地图相关插件.

向量搜索

• similarity, 近似算法, 类型+索引
• imgsmlr, 图像搜索, 类型+索引
• pgvector, 向量搜索, 类型+索引(ivfflat、hnsw)
• hnsw, 向量搜索, 类型+索引(hnsw)
• pg_embedding, 向量搜索, 类型+索引(hnsw)
• lantern, 向量搜索, 类型+索引(usearch implemented hnsw)
• lantern_extras, lantern辅助插件: 数据库内置大模型, 外接大模型, 文本|图像向量化, 加速向量索引build等.

文本场景增强

• prefix, 前缀范围模型
• groonga, 支持wchar的任意模糊搜索
• pg_bigm, 增强pg_trgm模糊搜索
• pg_jieba, 结巴中文分词
• zhparser, scws中文分词
• pg_bm25, paradedb开源. bm25(elastic search目前使用的相关算法)支持, 大数据量文本搜索比传统tsvector,tsrank提升20x性能.
• pg_search, paradedb开源. 通过 bm25+hnsw 支持bm25和向量相似文本搜索

数据融合, 冷热分离

• mongo_fdw, 读写mongo数据源
• parquet_s3_fdw, 读写s3,oss对象存储和parquet文件. (未集成, 通过duckdb_fdw可以读写s3, aliyun oss, 更加快捷)
• mysql-fdw, 读写mysql数据源
• ogr-fdw, 基于ogr的通用数据源读写插件
• oracle-fdw, 读写oracle数据源
• tds-fdw, 读写ms sql数据源
• dblink_plus, mysql,sqlite3,oracle的dblink
• duckdb_fdw, 读写duckdb数据源. 通过duckdb_fdw还可以读写存放在s3的csv, parquet文件.
• sqlite_fdw, 读写sqlite3
• parquet_fdw, 读parquet文件.
• hdfs_fdw, 读写hive, spark数据源
• pgmemcache, 直接的memcache控制函数库
• pg_curl, 通过curl支持http,ftp,https等网络协议. 将远程数据加载到数据库中.
• pg_net, 异步HTTP调用接口.
• pgsql-http, HTTP 调用接口.
• pg2arrow , 将pg sql结果转换为arrow格式的数据文件. 适合与其他arrow生态的数据分析产品、DB交换数据, 融入大数据生态, 加速数据分析.
• aws_s3, 读写aws s3对象存储.
• decoderbufs, 逻辑复制decoding, logical decoder output plugin to deliver data as Protocol Buffers

扩展协议, 兼容其他产品

• FerretDB, 支持mongodb协议, 可使用mongodb客户端连接. (未集成)
• babelfish, 支持sql server协议, 可使用sqlserver客户端连接. (未集成)
• Apache Arrow Flight SQL adapter, arrow 协议, 可使用arrow driver连接. (未集成, 需PG 15及以上版本.)

存储过程和函数语言增强

• jsquery, 增强json语法查询库
• pldebugger, 调试plpgsql函数
• plpgsql-check, 预检查plpgsql函数
• pljava, java存储过程和函数语言
• pllua, lua存储过程和函数语言
• plproxy, 代理(通常用于sharding和并行数据聚合访问场景)
• plv8, google v8存储过程和函数语言. (未集成, 未来可以通过apt安装)
• plpython3, python存储过程和函数语言
• plr, R存储过程和函数语言
• plprofiler, 存储过程和函数的性能分析功能

安全增强

• postgresql_anonymizer, 敏感信息遮蔽
• pgsodium, 敏感信息遮蔽以及sodium加密库函数
• credcheck, 强制约束用户密码复杂度

数据库管理、审计、性能优化等

• powa, 索引推荐, 等待事件分析, 命中率, 配置变更跟踪等
• hypopg, 虚拟索引, 索引推荐
• pg-qualstats, 索引推荐
• pg-stat-kcache, 跟踪cpu、文件系统真实读写行为
• pg-wait-sampling, 等待事件采样分析
• show-plans, 执行过程中的SQL执行计划查询
• pg_hint_plan, 强制设定SQL执行计划
• plantuner, 增加了一些参数用来控制SQL执行计划
• pg_store_plans, 保存SQL执行计划
• pg_plan_inspector, 复杂SQL执行计划优化修正插. 使用机器学习的方法对收集到的SQL和执行计划等信息进行分析, 从而提升性能. 通过sql安装, 没有extension control file
• pg_stat_monitor, 保存数据库运行时统计信息快照, 用于分析性能
• pg_statviz, 保存统计信息快照, 使用matplotlib绘图.
• pg_profile, 使用pg_stat_statements, pg_stat_kcache的统计信息打快照并对快照进行分析. 类似awr. 不过我觉得perf insight和pg_stat_monitor更好用.
• pg_statsinfo, PG数据库监控工具, 支持按快照选取分析系统运行状态, 类似Oracle statspark.
• pg_stats_reporter, pg_statsinfo报告的网页呈现, 更加美观, 类似awr效果.
• pgfincore, 修改数据文件的page cache行为
• repack, 几乎不影响业务的收缩膨胀的表和索引浪费的存储空间
• squeeze, 几乎不影响业务的收缩膨胀的表和索引浪费的存储空间, 支持设置阈值, 自动调度.
• pgagent, 定时任务
• pg_cron, 定时任务
• pg_task, 数据库后台任务管理. 类似oracle dbms_jobs
• pgaudit, 审计用户行为
• tablelog, 审计表的修改过程
• dirtyread, 脏读
• wal2json, WAL日志转换为json
• pg_bulkload, 高速导入数据
• sqlbench, 压测tpc-c
• pgxnclient, pgxn插件管理
• icu-ext, 扩展的icu字符集
• pg_plan_filter, 基于cbo的限制插件, 例如限制某些用户执行cost大于指定值的SQL. 防止用户"捣乱".
• pg_query_rewrite, 自定义查询重写规则的插件.
• pg_track_settings, 跟踪审计GUC参数设置.
• pg_utility_trigger_functions, 常用功能场景的触发器函数.
• pg_safer_settings, 记录guc参数设置, 并增加一些基于角色的guc 参数setting权限控制和审计.
• ddlx, 生成数据库对象的create语句的插件
• pg_dbms_stats, 统计信息快照, 使用统计信息快照生成执行计划. 类似基线, 确保执行计划的普遍最优性.
• pg_rman, 块级别数据库增量备份, 根据数据块的LSN判断自上次备份后是否被修改. 类似Oracle incremental backup.
• online_analyze, 事务中分析DML后的统计信息, 适合OLAP跑复杂任务场景的及时统计信息刷新, 用于确保复杂SQL的执行计划正确性.
• gevel, 观察gin,gist,sp-gist索引内部结构的插件.
• toastinfo, 观察toast存储结构
• pg_later, PG 异步SQL执行插件.
• mimeo, 表级别复制(逻辑复制前的方法, 现在不建议使用)
• pre_prepare, 数据库端prepared statement自动保存, 便于pool调用.
• prioritize, 结合OS PID task优先级功能, 设置pg backend pid cpu调度优先级
• pgsentinel, postgresql extension providing Active session history

连接池和读写分离

• pgpool2, 连接池和读写分离
• pgagroal, 高性能连接池
• pgbouncer, 高性能连接池
• pgcat, 连接池和读写分离,sharding等特性, 未来发展前景比较可观

嵌入式OLAP数据库

• DuckDB, 嵌入式的OLAP库, 功能非常强大性能非常好. 兼容SQLite3语法和PostgreSQL语法.

[GPF199541]

pg_bm25,pg_search 最新版本🙏

[Vonng]

good point

[GPF199541]

期待，我编译了好几次都没编译成功，请老师支持下

[pmetras]

parquet_fdw https://github.com/pmetras/parquet_fdw

• Query Parquet files with Hive partitioning support.
• Read-only, but you can join Parquet and PostgreSQL tables
• Many data types
• Files pruning and other Parquet optimizations; parallel execution
• Written in C++
• PostgreSQL 12 to 18. Debian package build script