Skip to content

Releases: aliyun/alibabacloud-hologres-connectors

1.6.0-SNAPSHOT

09 Jan 05:11

Choose a tag to compare

1.6.0更新:

  1. spark-connector overwrite模式写入时创建的临时表在清理时不进入回收站。
  2. spark-connector 修复写入1970年之前的date类型不符合预期的问题
  3. flink-connector 的版本升级至flink-1.19
  4. flink-connector支持reshuffle之后批量写入holo表,适用批量写入场景

使用方式:

使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以spark-3.x的jar包为例: mvn install:install-file -Dfile=hologres-connector-spark-3.x-1.6.0-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-spark-3.x -Dversion=1.6.0-SNAPSHOT -Dpackaging=jar

1.5.3-SNAPSHOT

28 Apr 02:37
2e2c4ad

Choose a tag to compare

1.5.3更新:

  1. spark-connector 支持数据类型不严格参数write.strict_datatype_check,可以将低精度类型写入到高精度类型,或者TEXT类型中,默认为false。
  2. spark-connector 日志中包含job前缀。
  3. spark-connector 修复reshuffle时没有传递serverless参数的问题。

使用方式:

使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以spark-3.x的jar包为例: mvn install:install-file -Dfile=hologres-connector-spark-3.x-1.5.3-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-spark-3.x -Dversion=1.5.3-SNAPSHOT -Dpackaging=jar

1.5.2-SNAPSHOT

26 Feb 06:25

Choose a tag to compare

1.5.2更新:

  1. spark-connector 查询时为字段名加上转义,修复无法找到包含大写字符字段名的异常。
  2. spark-connector catalog行为调整,catalog对应Hologres中的一个database。
  3. spark-connector 使用批量模式写入有主键表时,支持内部做reshuffle操作之后写入,用户无需特别配置。
  4. spark connector 的参数名进行了调整,参数都会包含read或者write前缀。不兼容旧版本的参数,升级此版本需要对之前的作业进行调整。
  5. spark-connector 支持使用压缩过的arrow格式批量读取Hologres,要求Hologres实例版本大于等于3.0.24。
  6. spark-connector 现在会根据实例的版本自动选择写入和读取模式,用户也可以特别进行指定。
  7. flink-connector 修复一对多查询时吞掉异常的问题。

使用方式:

使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以spark-3.x的jar包为例: mvn install:install-file -Dfile=hologres-connector-spark-3.x-1.5.2-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-spark-3.x -Dversion=1.5.2-SNAPSHOT -Dpackaging=jar

1.5.0-SNAPSHOT

27 Nov 10:47

Choose a tag to compare

1.5.0更新:

  1. spark-connector 支持创建Hologres Catalog
  2. spark-connector 读取性能优化,比旧版本提高一个数量级
  3. spark-connector 读取hologres支持谓词下推
  4. spark-connector 读取hologres支持使用传入hologres query而非table

使用方式:

使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以spark-3.x的jar包为例: mvn install:install-file -Dfile=hologres-connector-spark-3.x-1.5.0-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.17 -Dversion=1.4.3-SNAPSHOT -Dpackaging=jar

1.4.3-SNAPSHOT

29 Oct 05:00
82b92fe

Choose a tag to compare

1.4.3更新:

  1. holo-client更新至2.5.4,ReleaseNote见holo-client文档
  2. 批量读取和BULK_LOAD写入支持使用serverless资源
  3. flink-connector SQL作业支持根据hologres结果表的分布键进行Repartition,可以并发写入有主键表,并且在写入全部字段时,支持处理主键冲突的情况。此模式在批量导入场景,可以大大降低holo实例资源的使用

使用方式:

使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以flink-1.17的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.17-1.4.3-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.17 -Dversion=1.4.3-SNAPSHOT -Dpackaging=jar

1.4.2-SNAPSHOT

05 Aug 02:46

Choose a tag to compare

1.4.2更新:

  1. holo-client更新至2.4.2,新增Checkandput(比较后更新)能力,ReleaseNote见holo-client文档。
  2. holo-client-c更新至v1.3.10
  3. flink-connector支持配置Checkandput字段和操作符,实现乱序数据流的保序写入
  4. 调整了find-incompatible-flink-jobs的表现,在作业数量多于100个时可以正确扫描

使用方式:

使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以flink-1.15的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.17-1.4.2-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.17 -Dversion=1.4.2-SNAPSHOT -Dpackaging=jar

1.4.1-SNAPSHOT

22 Jul 07:15

Choose a tag to compare

1.4.1更新:

  1. holo-client更新至2.4.0
  2. flink、spark 新增repartition之后写入有主键空表的demo
  3. spark overwrite功能:支持带schema的表、分区子表、包含特殊字符的表名;spark支持repartition;修复读取包含schema表时报错的问题
  4. flink 写入支持激进模式,支持repartition 之后批量写入主键表

使用方式:

使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以flink-1.15的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.15-1.4.1-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.15 -Dversion=1.4.1-SNAPSHOT -Dpackaging=jar

1.4.0-SNAPSHOT

28 Dec 07:59

Choose a tag to compare

1.4.0更新:

  1. holo-client版本更新到2.3.0,修复了多个bug,增加了一些功能和参数,具体见holo-client文档。
  2. spark-connector支持insert overwrite, 支持bulkload模式,写入无主键表时可以有效降低hologres负载。
  3. flink-connector支持flink1.15和1.17版本,之前版本文档和代码请选择相应的branch查看
  4. flink-connector支持通过sslmode连接hologres实例,支持写入时不进行攒批去重,具体见文档参数。
  5. hive-connector支持支持bulkload模式。

使用方式:

使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以flink-1.15的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.15-1.4.0-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.15 -Dversion=1.4.0-SNAPSHOT -Dpackaging=jar

1.3.2-SNAPSHOT

08 Aug 11:03

Choose a tag to compare

1.3.2更新:

  1. holo-client版本更新到2.2.10
  2. spark-connector支持读取hologres,丰富支持的数据类型
  3. 修复flink-connector 维表一对多join默认排序可能影响性能的问题
  4. flink-connector支持Flink TIMASTAMP_LTZ类型
  5. flink-connector支持flink1.15版本
  6. hive-connector将异常打印到控制台

使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以flink-1.13的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.13-1.3.2-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.13 -Dversion=1.3.2-SNAPSHOT -Dpackaging=jar

1.3.1-SNAPSHOT

14 Dec 05:46

Choose a tag to compare

1.3更新:

  1. 新增fixed copy模式写入。fixed copy是hologres1.3新增的能力,相比insert方法,fixed copy方式可以更高的吞吐(因为是流模式),更低的数据延时,更低的客户端内存消耗(因为不攒批)。
  2. 修复hive connector可能导致线程泄露的问题
  3. 添加压测工具holo-e2e-performance-tool

使用方式:
使用 mvn install:install-file -Dfile=<jar包路径> -DgroupId=<> -DartifactId=<> -Dversion=<> -Dpackaging=jar 安装jar包 到本地

以flink-1.13的jar包为例: mvn install:install-file -Dfile=hologres-connector-flink-1.13-1.3.1-SNAPSHOT-jar-with-dependencies.jar -DgroupId=com.alibaba.hologres -DartifactId=hologres-connector-flink-1.13 -Dversion=1.3.1-SNAPSHOT -Dpackaging=jar

holoshipper 1.2.2更新:
https://github.com/aliyun/alibabacloud-hologres-connectors/blob/master/holo-shipper/ReleaseNote.md