Skip to content

Commit 7b48a16

Browse files
authored
add support chinese for transform-v2/* (#6384)
1 parent 21a4593 commit 7b48a16

11 files changed

+1862
-0
lines changed

Diff for: docs/zh/transform-v2/common-options.md

+23
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,23 @@
1+
# 转换常见选项
2+
3+
> 源端连接器的常见参数
4+
5+
| 参数名称 | 参数类型 | 是否必须 | 默认值 |
6+
|-------------------|--------|------|-----|
7+
| result_table_name | string | no | - |
8+
| source_table_name | string | no | - |
9+
10+
### source_table_name [string]
11+
12+
当未指定 `source_table_name` 时,当前插件在配置文件中处理由前一个插件输出的数据集 `(dataset)`
13+
14+
当指定了 `source_table_name` 时,当前插件正在处理与该参数对应的数据集
15+
16+
### result_table_name [string]
17+
18+
当未指定 `result_table_name` 时,此插件处理的数据不会被注册为其他插件可以直接访问的数据集,也不会被称为临时表 `(table)`
19+
20+
当指定了 `result_table_name` 时,此插件处理的数据将被注册为其他插件可以直接访问的数据集 `(dataset)`,或者被称为临时表 `(table)`。在这里注册的数据集可以通过指定 `source_table_name` 被其他插件直接访问。
21+
22+
## 示例
23+

Diff for: docs/zh/transform-v2/copy.md

+65
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,65 @@
1+
# 复制
2+
3+
> 复制转换插件
4+
5+
## 描述
6+
7+
将字段复制到一个新字段。
8+
9+
## 属性
10+
11+
| 名称 | 类型 | 是否必须 | 默认值 |
12+
|--------|--------|------|-----|
13+
| fields | Object | yes | |
14+
15+
### fields [config]
16+
17+
指定输入和输出之间的字段复制关系
18+
19+
### 常见选项 [string]
20+
21+
转换插件的常见参数, 请参考 [Transform Plugin](common-options.md) 了解详情。
22+
23+
## 示例
24+
25+
从源读取的数据是这样的一个表:
26+
27+
| name | age | card |
28+
|----------|-----|------|
29+
| Joy Ding | 20 | 123 |
30+
| May Ding | 20 | 123 |
31+
| Kin Dom | 20 | 123 |
32+
| Joy Dom | 20 | 123 |
33+
34+
想要将字段 `name``age` 复制到新的字段 `name1``name2``age1`,我们可以像这样添加 `Copy` 转换:
35+
36+
```
37+
transform {
38+
Copy {
39+
source_table_name = "fake"
40+
result_table_name = "fake1"
41+
fields {
42+
name1 = name
43+
name2 = name
44+
age1 = age
45+
}
46+
}
47+
}
48+
```
49+
50+
那么结果表 `fake1` 中的数据将会像这样:
51+
52+
| name | age | card | name1 | name2 | age1 |
53+
|----------|-----|------|----------|----------|------|
54+
| Joy Ding | 20 | 123 | Joy Ding | Joy Ding | 20 |
55+
| May Ding | 20 | 123 | May Ding | May Ding | 20 |
56+
| Kin Dom | 20 | 123 | Kin Dom | Kin Dom | 20 |
57+
| Joy Dom | 20 | 123 | Joy Dom | Joy Dom | 20 |
58+
59+
## 更新日志
60+
61+
### 新版本
62+
63+
- 添加复制转换连接器
64+
- 支持将字段复制到新字段
65+

Diff for: docs/zh/transform-v2/field-mapper.md

+64
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,64 @@
1+
# 字段映射
2+
3+
> 字段映射转换插件
4+
5+
## 描述
6+
7+
添加输入模式和输出模式映射
8+
9+
## 属性
10+
11+
| 名称 | 类型 | 是否必须 | 默认值 |
12+
|--------------|--------|------|-----|
13+
| field_mapper | Object | yes | |
14+
15+
### field_mapper [config]
16+
17+
指定输入和输出之间的字段映射关系
18+
19+
### common options [config]
20+
21+
转换插件的常见参数, 请参考 [Transform Plugin](common-options.md) 了解详情
22+
23+
## 示例
24+
25+
源端数据读取的表格如下:
26+
27+
| id | name | age | card |
28+
|----|----------|-----|------|
29+
| 1 | Joy Ding | 20 | 123 |
30+
| 2 | May Ding | 20 | 123 |
31+
| 3 | Kin Dom | 20 | 123 |
32+
| 4 | Joy Dom | 20 | 123 |
33+
34+
我们想要删除 `age` 字段,并更新字段顺序为 `id``card``name`,同时将 `name` 重命名为 `new_name`。我们可以像这样添加 `FieldMapper` 转换:
35+
36+
```
37+
transform {
38+
FieldMapper {
39+
source_table_name = "fake"
40+
result_table_name = "fake1"
41+
field_mapper = {
42+
id = id
43+
card = card
44+
name = new_name
45+
}
46+
}
47+
}
48+
```
49+
50+
那么结果表 `fake1` 中的数据将会像这样:
51+
52+
| id | card | new_name |
53+
|----|------|----------|
54+
| 1 | 123 | Joy Ding |
55+
| 2 | 123 | May Ding |
56+
| 3 | 123 | Kin Dom |
57+
| 4 | 123 | Joy Dom |
58+
59+
## 更新日志
60+
61+
### 新版本
62+
63+
- 添加复制转换连接器
64+

Diff for: docs/zh/transform-v2/filter-rowkind.md

+68
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,68 @@
1+
# 行类型过滤
2+
3+
> 行类型转换插件
4+
5+
## 描述
6+
7+
按行类型过滤数据
8+
9+
## 操作
10+
11+
| 名称 | 类型 | 是否必须 | 默认值 |
12+
|---------------|-------|------|-----|
13+
| include_kinds | array | yes | |
14+
| exclude_kinds | array | yes | |
15+
16+
### include_kinds [array]
17+
18+
要包含的行类型
19+
20+
### exclude_kinds [array]
21+
22+
要排除的行类型。
23+
24+
您只能配置 `include_kinds``exclude_kinds` 中的一个。
25+
26+
### common options [string]
27+
28+
转换插件的常见参数, 请参考 [Transform Plugin](common-options.md) 了解详情
29+
30+
## 示例
31+
32+
FakeSource 生成的数据的行类型是 `INSERT`。如果我们使用 `FilterRowKink` 转换并排除 `INSERT` 数据,我们将不会向接收器写入任何行。
33+
34+
```yaml
35+
36+
env {
37+
job.mode = "BATCH"
38+
}
39+
40+
source {
41+
FakeSource {
42+
result_table_name = "fake"
43+
row.num = 100
44+
schema = {
45+
fields {
46+
id = "int"
47+
name = "string"
48+
age = "int"
49+
}
50+
}
51+
}
52+
}
53+
54+
transform {
55+
FilterRowKind {
56+
source_table_name = "fake"
57+
result_table_name = "fake1"
58+
exclude_kinds = ["INSERT"]
59+
}
60+
}
61+
62+
sink {
63+
Console {
64+
source_table_name = "fake1"
65+
}
66+
}
67+
```
68+

Diff for: docs/zh/transform-v2/filter.md

+60
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,60 @@
1+
# 过滤器
2+
3+
> 过滤器转换插件
4+
5+
## 描述
6+
7+
过滤字段
8+
9+
## 属性
10+
11+
| 名称 | 类型 | 是否必须 | 默认值 |
12+
|--------|-------|------|-----|
13+
| fields | array | yes | |
14+
15+
### fields [array]
16+
17+
需要保留的字段列表。不在列表中的字段将被删除。
18+
19+
### common options [string]
20+
21+
转换插件的常见参数, 请参考 [Transform Plugin](common-options.md) 了解详情
22+
23+
## 示例
24+
25+
源端数据读取的表格如下:
26+
27+
| name | age | card |
28+
|----------|-----|------|
29+
| Joy Ding | 20 | 123 |
30+
| May Ding | 20 | 123 |
31+
| Kin Dom | 20 | 123 |
32+
| Joy Dom | 20 | 123 |
33+
34+
我们想要删除字段 `age`,我们可以像这样添加 `Filter` 转换
35+
36+
```
37+
transform {
38+
Filter {
39+
source_table_name = "fake"
40+
result_table_name = "fake1"
41+
fields = [name, card]
42+
}
43+
}
44+
```
45+
46+
那么结果表 `fake1` 中的数据将会像这样:
47+
48+
| name | card |
49+
|----------|------|
50+
| Joy Ding | 123 |
51+
| May Ding | 123 |
52+
| Kin Dom | 123 |
53+
| Joy Dom | 123 |
54+
55+
## 更新日志
56+
57+
### 新版本
58+
59+
- 添加过滤转器换连接器
60+

0 commit comments

Comments
 (0)