File tree 11 files changed +1862
-0
lines changed
11 files changed +1862
-0
lines changed Original file line number Diff line number Diff line change
1
+ # 转换常见选项
2
+
3
+ > 源端连接器的常见参数
4
+
5
+ | 参数名称 | 参数类型 | 是否必须 | 默认值 |
6
+ | -------------------| --------| ------| -----|
7
+ | result_table_name | string | no | - |
8
+ | source_table_name | string | no | - |
9
+
10
+ ### source_table_name [ string]
11
+
12
+ 当未指定 ` source_table_name ` 时,当前插件在配置文件中处理由前一个插件输出的数据集 ` (dataset) ` ;
13
+
14
+ 当指定了 ` source_table_name ` 时,当前插件正在处理与该参数对应的数据集
15
+
16
+ ### result_table_name [ string]
17
+
18
+ 当未指定 ` result_table_name ` 时,此插件处理的数据不会被注册为其他插件可以直接访问的数据集,也不会被称为临时表 ` (table) ` ;
19
+
20
+ 当指定了 ` result_table_name ` 时,此插件处理的数据将被注册为其他插件可以直接访问的数据集 ` (dataset) ` ,或者被称为临时表 ` (table) ` 。在这里注册的数据集可以通过指定 ` source_table_name ` 被其他插件直接访问。
21
+
22
+ ## 示例
23
+
Original file line number Diff line number Diff line change
1
+ # 复制
2
+
3
+ > 复制转换插件
4
+
5
+ ## 描述
6
+
7
+ 将字段复制到一个新字段。
8
+
9
+ ## 属性
10
+
11
+ | 名称 | 类型 | 是否必须 | 默认值 |
12
+ | --------| --------| ------| -----|
13
+ | fields | Object | yes | |
14
+
15
+ ### fields [ config]
16
+
17
+ 指定输入和输出之间的字段复制关系
18
+
19
+ ### 常见选项 [ string]
20
+
21
+ 转换插件的常见参数, 请参考 [ Transform Plugin] ( common-options.md ) 了解详情。
22
+
23
+ ## 示例
24
+
25
+ 从源读取的数据是这样的一个表:
26
+
27
+ | name | age | card |
28
+ | ----------| -----| ------|
29
+ | Joy Ding | 20 | 123 |
30
+ | May Ding | 20 | 123 |
31
+ | Kin Dom | 20 | 123 |
32
+ | Joy Dom | 20 | 123 |
33
+
34
+ 想要将字段 ` name ` 、` age ` 复制到新的字段 ` name1 ` 、` name2 ` 、` age1 ` ,我们可以像这样添加 ` Copy ` 转换:
35
+
36
+ ```
37
+ transform {
38
+ Copy {
39
+ source_table_name = "fake"
40
+ result_table_name = "fake1"
41
+ fields {
42
+ name1 = name
43
+ name2 = name
44
+ age1 = age
45
+ }
46
+ }
47
+ }
48
+ ```
49
+
50
+ 那么结果表 ` fake1 ` 中的数据将会像这样:
51
+
52
+ | name | age | card | name1 | name2 | age1 |
53
+ | ----------| -----| ------| ----------| ----------| ------|
54
+ | Joy Ding | 20 | 123 | Joy Ding | Joy Ding | 20 |
55
+ | May Ding | 20 | 123 | May Ding | May Ding | 20 |
56
+ | Kin Dom | 20 | 123 | Kin Dom | Kin Dom | 20 |
57
+ | Joy Dom | 20 | 123 | Joy Dom | Joy Dom | 20 |
58
+
59
+ ## 更新日志
60
+
61
+ ### 新版本
62
+
63
+ - 添加复制转换连接器
64
+ - 支持将字段复制到新字段
65
+
Original file line number Diff line number Diff line change
1
+ # 字段映射
2
+
3
+ > 字段映射转换插件
4
+
5
+ ## 描述
6
+
7
+ 添加输入模式和输出模式映射
8
+
9
+ ## 属性
10
+
11
+ | 名称 | 类型 | 是否必须 | 默认值 |
12
+ | --------------| --------| ------| -----|
13
+ | field_mapper | Object | yes | |
14
+
15
+ ### field_mapper [ config]
16
+
17
+ 指定输入和输出之间的字段映射关系
18
+
19
+ ### common options [ config]
20
+
21
+ 转换插件的常见参数, 请参考 [ Transform Plugin] ( common-options.md ) 了解详情
22
+
23
+ ## 示例
24
+
25
+ 源端数据读取的表格如下:
26
+
27
+ | id | name | age | card |
28
+ | ----| ----------| -----| ------|
29
+ | 1 | Joy Ding | 20 | 123 |
30
+ | 2 | May Ding | 20 | 123 |
31
+ | 3 | Kin Dom | 20 | 123 |
32
+ | 4 | Joy Dom | 20 | 123 |
33
+
34
+ 我们想要删除 ` age ` 字段,并更新字段顺序为 ` id ` 、` card ` 、` name ` ,同时将 ` name ` 重命名为 ` new_name ` 。我们可以像这样添加 ` FieldMapper ` 转换:
35
+
36
+ ```
37
+ transform {
38
+ FieldMapper {
39
+ source_table_name = "fake"
40
+ result_table_name = "fake1"
41
+ field_mapper = {
42
+ id = id
43
+ card = card
44
+ name = new_name
45
+ }
46
+ }
47
+ }
48
+ ```
49
+
50
+ 那么结果表 ` fake1 ` 中的数据将会像这样:
51
+
52
+ | id | card | new_name |
53
+ | ----| ------| ----------|
54
+ | 1 | 123 | Joy Ding |
55
+ | 2 | 123 | May Ding |
56
+ | 3 | 123 | Kin Dom |
57
+ | 4 | 123 | Joy Dom |
58
+
59
+ ## 更新日志
60
+
61
+ ### 新版本
62
+
63
+ - 添加复制转换连接器
64
+
Original file line number Diff line number Diff line change
1
+ # 行类型过滤
2
+
3
+ > 行类型转换插件
4
+
5
+ ## 描述
6
+
7
+ 按行类型过滤数据
8
+
9
+ ## 操作
10
+
11
+ | 名称 | 类型 | 是否必须 | 默认值 |
12
+ | ---------------| -------| ------| -----|
13
+ | include_kinds | array | yes | |
14
+ | exclude_kinds | array | yes | |
15
+
16
+ ### include_kinds [ array]
17
+
18
+ 要包含的行类型
19
+
20
+ ### exclude_kinds [ array]
21
+
22
+ 要排除的行类型。
23
+
24
+ 您只能配置 ` include_kinds ` 和 ` exclude_kinds ` 中的一个。
25
+
26
+ ### common options [ string]
27
+
28
+ 转换插件的常见参数, 请参考 [ Transform Plugin] ( common-options.md ) 了解详情
29
+
30
+ ## 示例
31
+
32
+ FakeSource 生成的数据的行类型是 ` INSERT ` 。如果我们使用 ` FilterRowKink ` 转换并排除 ` INSERT ` 数据,我们将不会向接收器写入任何行。
33
+
34
+ ``` yaml
35
+
36
+ env {
37
+ job.mode = "BATCH"
38
+ }
39
+
40
+ source {
41
+ FakeSource {
42
+ result_table_name = "fake"
43
+ row.num = 100
44
+ schema = {
45
+ fields {
46
+ id = "int"
47
+ name = "string"
48
+ age = "int"
49
+ }
50
+ }
51
+ }
52
+ }
53
+
54
+ transform {
55
+ FilterRowKind {
56
+ source_table_name = "fake"
57
+ result_table_name = "fake1"
58
+ exclude_kinds = ["INSERT"]
59
+ }
60
+ }
61
+
62
+ sink {
63
+ Console {
64
+ source_table_name = "fake1"
65
+ }
66
+ }
67
+ ```
68
+
Original file line number Diff line number Diff line change
1
+ # 过滤器
2
+
3
+ > 过滤器转换插件
4
+
5
+ ## 描述
6
+
7
+ 过滤字段
8
+
9
+ ## 属性
10
+
11
+ | 名称 | 类型 | 是否必须 | 默认值 |
12
+ | --------| -------| ------| -----|
13
+ | fields | array | yes | |
14
+
15
+ ### fields [ array]
16
+
17
+ 需要保留的字段列表。不在列表中的字段将被删除。
18
+
19
+ ### common options [ string]
20
+
21
+ 转换插件的常见参数, 请参考 [ Transform Plugin] ( common-options.md ) 了解详情
22
+
23
+ ## 示例
24
+
25
+ 源端数据读取的表格如下:
26
+
27
+ | name | age | card |
28
+ | ----------| -----| ------|
29
+ | Joy Ding | 20 | 123 |
30
+ | May Ding | 20 | 123 |
31
+ | Kin Dom | 20 | 123 |
32
+ | Joy Dom | 20 | 123 |
33
+
34
+ 我们想要删除字段 ` age ` ,我们可以像这样添加 ` Filter ` 转换
35
+
36
+ ```
37
+ transform {
38
+ Filter {
39
+ source_table_name = "fake"
40
+ result_table_name = "fake1"
41
+ fields = [name, card]
42
+ }
43
+ }
44
+ ```
45
+
46
+ 那么结果表 ` fake1 ` 中的数据将会像这样:
47
+
48
+ | name | card |
49
+ | ----------| ------|
50
+ | Joy Ding | 123 |
51
+ | May Ding | 123 |
52
+ | Kin Dom | 123 |
53
+ | Joy Dom | 123 |
54
+
55
+ ## 更新日志
56
+
57
+ ### 新版本
58
+
59
+ - 添加过滤转器换连接器
60
+
You can’t perform that action at this time.
0 commit comments