Releases: aliyun/alibabacloud-hologres-connectors
1.6.0-SNAPSHOT
1.6.0更新:
- spark-connector overwrite模式写入时创建的临时表在清理时不进入回收站。
- spark-connector 修复写入1970年之前的date类型不符合预期的问题
- flink-connector 的版本升级至flink-1.19
- flink-connector支持reshuffle之后批量写入holo表,适用批量写入场景
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以spark-3.x的jar包为例: mvn install:install-file -Dfile=hologres-connector-spark-3.x-1.6.0-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-spark-3.x -Dversion=1.6.0-SNAPSHOT -Dpackaging=jar
1.5.3-SNAPSHOT
1.5.3更新:
- spark-connector 支持数据类型不严格参数
write.strict_datatype_check,可以将低精度类型写入到高精度类型,或者TEXT类型中,默认为false。 - spark-connector 日志中包含job前缀。
- spark-connector 修复reshuffle时没有传递serverless参数的问题。
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以spark-3.x的jar包为例: mvn install:install-file -Dfile=hologres-connector-spark-3.x-1.5.3-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-spark-3.x -Dversion=1.5.3-SNAPSHOT -Dpackaging=jar
1.5.2-SNAPSHOT
1.5.2更新:
- spark-connector 查询时为字段名加上转义,修复无法找到包含大写字符字段名的异常。
- spark-connector catalog行为调整,catalog对应Hologres中的一个database。
- spark-connector 使用批量模式写入有主键表时,支持内部做reshuffle操作之后写入,用户无需特别配置。
- spark connector 的参数名进行了调整,参数都会包含read或者write前缀。不兼容旧版本的参数,升级此版本需要对之前的作业进行调整。
- spark-connector 支持使用压缩过的arrow格式批量读取Hologres,要求Hologres实例版本大于等于3.0.24。
- spark-connector 现在会根据实例的版本自动选择写入和读取模式,用户也可以特别进行指定。
- flink-connector 修复一对多查询时吞掉异常的问题。
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以spark-3.x的jar包为例: mvn install:install-file -Dfile=hologres-connector-spark-3.x-1.5.2-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-spark-3.x -Dversion=1.5.2-SNAPSHOT -Dpackaging=jar
1.5.0-SNAPSHOT
1.5.0更新:
- spark-connector 支持创建Hologres Catalog
- spark-connector 读取性能优化,比旧版本提高一个数量级
- spark-connector 读取hologres支持谓词下推
- spark-connector 读取hologres支持使用传入hologres query而非table
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以spark-3.x的jar包为例: mvn install:install-file -Dfile=hologres-connector-spark-3.x-1.5.0-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.17 -Dversion=1.4.3-SNAPSHOT -Dpackaging=jar
1.4.3-SNAPSHOT
1.4.3更新:
- holo-client更新至2.5.4,ReleaseNote见holo-client文档
- 批量读取和BULK_LOAD写入支持使用serverless资源
- flink-connector SQL作业支持根据hologres结果表的分布键进行Repartition,可以并发写入有主键表,并且在写入全部字段时,支持处理主键冲突的情况。此模式在批量导入场景,可以大大降低holo实例资源的使用
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以flink-1.17的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.17-1.4.3-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.17 -Dversion=1.4.3-SNAPSHOT -Dpackaging=jar
1.4.2-SNAPSHOT
1.4.2更新:
- holo-client更新至2.4.2,新增Checkandput(比较后更新)能力,ReleaseNote见holo-client文档。
- holo-client-c更新至v1.3.10
- flink-connector支持配置Checkandput字段和操作符,实现乱序数据流的保序写入
- 调整了find-incompatible-flink-jobs的表现,在作业数量多于100个时可以正确扫描
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以flink-1.15的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.17-1.4.2-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.17 -Dversion=1.4.2-SNAPSHOT -Dpackaging=jar
1.4.1-SNAPSHOT
1.4.1更新:
- holo-client更新至2.4.0
- flink、spark 新增repartition之后写入有主键空表的demo
- spark overwrite功能:支持带schema的表、分区子表、包含特殊字符的表名;spark支持repartition;修复读取包含schema表时报错的问题
- flink 写入支持激进模式,支持repartition 之后批量写入主键表
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以flink-1.15的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.15-1.4.1-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.15 -Dversion=1.4.1-SNAPSHOT -Dpackaging=jar
1.4.0-SNAPSHOT
1.4.0更新:
- holo-client版本更新到2.3.0,修复了多个bug,增加了一些功能和参数,具体见holo-client文档。
- spark-connector支持insert overwrite, 支持bulkload模式,写入无主键表时可以有效降低hologres负载。
- flink-connector支持flink1.15和1.17版本,之前版本文档和代码请选择相应的branch查看
- flink-connector支持通过sslmode连接hologres实例,支持写入时不进行攒批去重,具体见文档参数。
- hive-connector支持支持bulkload模式。
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以flink-1.15的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.15-1.4.0-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.15 -Dversion=1.4.0-SNAPSHOT -Dpackaging=jar
1.3.2-SNAPSHOT
1.3.2更新:
- holo-client版本更新到2.2.10
- spark-connector支持读取hologres,丰富支持的数据类型
- 修复flink-connector 维表一对多join默认排序可能影响性能的问题
- flink-connector支持Flink TIMASTAMP_LTZ类型
- flink-connector支持flink1.15版本
- hive-connector将异常打印到控制台
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以flink-1.13的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.13-1.3.2-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.13 -Dversion=1.3.2-SNAPSHOT -Dpackaging=jar
1.3.1-SNAPSHOT
1.3更新:
- 新增fixed copy模式写入。fixed copy是hologres1.3新增的能力,相比insert方法,fixed copy方式可以更高的吞吐(因为是流模式),更低的数据延时,更低的客户端内存消耗(因为不攒批)。
- 修复hive connector可能导致线程泄露的问题
- 添加压测工具holo-e2e-performance-tool
使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地
以flink-1.13的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.13-1.3.1-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.13 -Dversion=1.3.1-SNAPSHOT -Dpackaging=jar
holoshipper 1.2.2更新:
见https://github.com/aliyun/alibabacloud-hologres-connectors/blob/master/holo-shipper/ReleaseNote.md