This is an automated email from the ASF dual-hosted git repository.
jiafengzheng pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/doris.git
The following commit(s) were added to refs/heads/master by this push:
new 43ff796419 [typo](doc)Solve the problem that the official website of
the document fails to compile and publish (#11762)
43ff796419 is described below
commit 43ff796419df5f196b3335f5389ae6d2aacf67c6
Author: jiafeng.zhang <zhang...@gmail.com>
AuthorDate: Sat Aug 13 23:47:17 2022 +0800
[typo](doc)Solve the problem that the official website of the document
fails to compile and publish (#11762)
Solve the problem that the official website of the document fails to
compile and publish
---
docs/zh-CN/docs/ecosystem/cloudcanal.md | 16 ++---
.../ecosystem/doris-manager/cluster-managenent.md | 10 ++--
docs/zh-CN/docs/ecosystem/flink-doris-connector.md | 68 +++++++++-------------
3 files changed, 41 insertions(+), 53 deletions(-)
diff --git a/docs/zh-CN/docs/ecosystem/cloudcanal.md
b/docs/zh-CN/docs/ecosystem/cloudcanal.md
index d58e96b740..a1e7b23228 100644
--- a/docs/zh-CN/docs/ecosystem/cloudcanal.md
+++ b/docs/zh-CN/docs/ecosystem/cloudcanal.md
@@ -29,7 +29,7 @@ under the License.
## 介绍
CloudCanal 社区版是一款由 [ClouGence 公司](https://www.clougence.com)
发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的免费数据迁移同步平台。产品包含完整的产品化能力，助力企业打破数据孤岛、完成数据互融互通，从而更好的使用数据。
-
+
## 下载安装
@@ -65,7 +65,7 @@ CloudCanal 提供了完整的产品化能力，用户在可视化界面完成数
- 数据源管理-> 新增数据源
- 选择自建数据库中 Doris
-
+
> Tips:
>
@@ -81,31 +81,31 @@ CloudCanal 提供了完整的产品化能力，用户在可视化界面完成数
- 选择 **源** 和 **目标** 数据库
- 点击 下一步
-
+
- 选择 **增量同步**，并且启用 **全量数据初始化**
- 不勾选 DDL 同步(暂不支持)
- 点击下一步
-
+
- 选择订阅的表，**结构迁移自动创建的表为主键模型的表，因此暂不支持无主键表**
- 点击下一步
-
+
- 配置列映射
- 点击下一步
-
+
- 创建任务
-
+
- 查看任务状态。任务创建后，会自动完成结构迁移、全量、增量阶段。
-
+
## 参考资料
diff --git a/docs/zh-CN/docs/ecosystem/doris-manager/cluster-managenent.md
b/docs/zh-CN/docs/ecosystem/doris-manager/cluster-managenent.md
index 01d24675cb..bface60439 100644
--- a/docs/zh-CN/docs/ecosystem/doris-manager/cluster-managenent.md
+++ b/docs/zh-CN/docs/ecosystem/doris-manager/cluster-managenent.md
@@ -40,7 +40,7 @@ under the License.
进入首页，点击导航栏中的“集群”，进入集群功能。
-
+
运维监控面板提供集群的各类性能监控指标，供用户洞察集群状态。用户可以在右上角通过按钮控制集群的启动和停止操作。
@@ -53,17 +53,17 @@ under the License.
展示集群中FE节点、BE节点和Broker相关信息。
提供包括节点ID、节点类型、主机IP以及节点状态字段。
-
+
## 参数配置
参数配置提供参数名称、参数类型、参数值类型、热生效和操作字段。
-
+
- **操作**：点击“编辑”按钮，可编辑修改对应配置值，可以选择对应的生效方式；点击“查看当前值”按钮，可查看主机IP对应当前值
-
+
-
+
diff --git a/docs/zh-CN/docs/ecosystem/flink-doris-connector.md
b/docs/zh-CN/docs/ecosystem/flink-doris-connector.md
index 55ba3bc4cf..77a1301ec8 100644
--- a/docs/zh-CN/docs/ecosystem/flink-doris-connector.md
+++ b/docs/zh-CN/docs/ecosystem/flink-doris-connector.md
@@ -117,7 +117,10 @@ sh build.sh --flink 1.14.3 --scala 2.12
**备注**
-1. Doris FE 要在配置fe.conf中启用 http v2, 0.15版本之后默认开启
+1. Doris FE 要在配置中配置启用 http v2
+
+ conf/fe.conf
+
```
enable_http_server_v2 = true
```
@@ -153,17 +156,6 @@ enable_http_server_v2 = true
<scope>provided</scope>
</dependency>
-<!-- Add log dependencies when debugging locally -->
-<dependency>
- <groupId>org.slf4j</groupId>
- <artifactId>slf4j-api</artifactId>
- <version>${slf4j.version}</version>
-</dependency>
-<dependency>
- <groupId>org.slf4j</groupId>
- <artifactId>slf4j-log4j12</artifactId>
- <version>${slf4j.version}</version>
-</dependency>
<!-- flink-doris-connector -->
<dependency>
<groupId>org.apache.doris</groupId>
@@ -347,30 +339,28 @@ source.sinkTo(builder.build());
### 通用配置项
-| Key | Default Value | Required | Comment
|
-| -------------------------------- |--------------------| --------
|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
-| fenodes | -- | Y | Doris FE
http 地址
|
-| table.identifier | -- | Y | Doris
表名，如：db.tbl
|
-| username | -- | Y | 访问 Doris
的用户名
|
-| password | -- | Y | 访问 Doris
的密码
|
-| doris.request.retries | 3 | N | 向 Doris
发送请求的重试次数
|
-| doris.request.connect.timeout.ms | 30000 | N | 向 Doris
发送请求的连接超时时间
|
-| doris.request.read.timeout.ms | 30000 | N | 向 Doris
发送请求的读取超时时间
|
-| doris.request.query.timeout.s | 3600 | N | 查询 Doris
的超时时间，默认值为1小时，-1表示无超时限制
|
-| doris.request.tablet.size | Integer. MAX_VALUE | N | 一个
Partition 对应的 Doris Tablet 个数。 此数值设置越小，则会生成越多的 Partition。从而提升 Flink 侧的并行度，但同时会对
Doris 造成更大的压力。
|
-| doris.batch.size | 1024 | N | 一次从 BE
读取数据的最大行数。增大此数值可减少 Flink 与 Doris 之间建立连接的次数。 从而减轻网络延迟所带来的额外时间开销。
|
-| doris.exec.mem.limit | 2147483648 | N |
单个查询的内存限制。默认为 2GB，单位为字节
|
-| doris.deserialize.arrow.async | FALSE | N | 是否支持异步转换
Arrow 格式到 flink-doris-connector 迭代所需的 RowBatch
|
-| doris.deserialize.queue.size | 64 | N | 异步转换
Arrow 格式的内部处理队列，当 doris.deserialize.arrow.async 为 true 时生效
|
-| doris.read.field | -- | N | 读取 Doris
表的列名列表，多列之间使用逗号分隔
|
-| doris.filter.query | -- | N |
过滤读取数据的表达式，此表达式透传给 Doris。Doris 使用此表达式完成源端数据过滤。
|
-| sink.label-prefix | -- | Y | Stream
load导入使用的label前缀。2pc场景下要求全局唯一 ，用来保证Flink的EOS语义。
|
-| sink.properties.* | -- | N | Stream
Load 的导入参数。<br/>例如: `'sink.properties.column_separator' = ', '` 定义列分隔符，
`'sink.properties.escape_delimiters' = 'true'` 特殊字符作为分隔符,'\x01'会被转换为二进制的0x01
<br/><br/>JSON格式导入<br/>`'sink.properties.format' = 'json'` <br/>
`'sink.properties.read_json_by_line' = 'true'` |
-| sink.enable-delete | TRUE | N |
是否启用删除。此选项需要 Doris 表开启批量删除功能(Doris0.15+版本默认开启)，只支持 Unique 模型。
|
-| sink.enable-2pc | TRUE | N |
是否开启两阶段提交(2pc)，默认为true，保证Exactly-Once语义。关于两阶段提交可参考[这里](../data-operate/import/import-way/stream-load-manual.md)。
|
-| sink.max-retries | 1 | N |
2pc场景下，commit阶段失败后的重试次数。
|
-| sink.buffer-size | 1048576(1MB) | N |
写数据缓存buffer大小，单位字节。不建议修改，默认配置即可。
|
-| sink.buffer-count | 3 | N |
写数据缓存buffer个数，不建议修改，默认配置即可。
|
+| Key | Default Value | Required | Comment
|
+| -------------------------------- | ------------------ | -------- |
------------------------------------------------------------ |
+| fenodes | -- | Y | Doris FE
http 地址 |
+| table.identifier | -- | Y | Doris
表名，如：db.tbl |
+| username | -- | Y | 访问 Doris
的用户名 |
+| password | -- | Y | 访问 Doris
的密码 |
+| doris.request.retries | 3 | N | 向 Doris
发送请求的重试次数 |
+| doris.request.connect.timeout.ms | 30000 | N | 向 Doris
发送请求的连接超时时间 |
+| doris.request.read.timeout.ms | 30000 | N | 向 Doris
发送请求的读取超时时间 |
+| doris.request.query.timeout.s | 3600 | N | 查询 Doris
的超时时间，默认值为1小时，-1表示无超时限制 |
+| doris.request.tablet.size | Integer. MAX_VALUE | N | 一个
Partition 对应的 Doris Tablet 个数。 此数值设置越小，则会生成越多的 Partition。从而提升 Flink 侧的并行度，但同时会对
Doris 造成更大的压力。 |
+| doris.batch.size | 1024 | N | 一次从 BE
读取数据的最大行数。增大此数值可减少 Flink 与 Doris 之间建立连接的次数。 从而减轻网络延迟所带来的额外时间开销。 |
+| doris.exec.mem.limit | 2147483648 | N |
单个查询的内存限制。默认为 2GB，单位为字节 |
+| doris.deserialize.arrow.async | FALSE | N | 是否支持异步转换
Arrow 格式到 flink-doris-connector 迭代所需的 RowBatch |
+| doris.deserialize.queue.size | 64 | N | 异步转换
Arrow 格式的内部处理队列，当 doris.deserialize.arrow.async 为 true 时生效 |
+| doris.read.field | -- | N | 读取 Doris
表的列名列表，多列之间使用逗号分隔 |
+| doris.filter.query | -- | N |
过滤读取数据的表达式，此表达式透传给 Doris。Doris 使用此表达式完成源端数据过滤。 |
+| sink.label-prefix | -- | Y | Stream
load导入使用的label前缀。2pc场景下要求全局唯一 ，用来保证Flink的EOS语义。 |
+| sink.properties.* | -- | N | Stream
Load 的导入参数。<br/>例如: 'sink.properties.column_separator' = ', ' 定义列分隔符，
'sink.properties.escape_delimiters' = 'true' 特殊字符作为分隔符,'\x01'会被转换为二进制的0x01
<br/><br/>JSON格式导入<br/>'sink.properties.format' = 'json'
'sink.properties.read_json_by_line' = 'true' |
+| sink.enable-delete | TRUE | N |
是否启用删除。此选项需要 Doris 表开启批量删除功能(Doris0.15+版本默认开启)，只支持 Unique 模型。 |
+| sink.enable-2pc | TRUE | N |
是否开启两阶段提交(2pc)，默认为true，保证Exactly-Once语义。关于两阶段提交可参考[这里](../data-operate/import/import-way/stream-load-manual.md)。
|
+
## Doris 和 Flink 列类型映射关系
@@ -397,7 +387,6 @@ source.sinkTo(builder.build());
## 使用 Flink CDC 接入 Doris 示例（支持 Insert / Update / Delete 事件）
```sql
-SET 'execution.checkpointing.interval' = '10s';
CREATE TABLE cdc_mysql_source (
id int
,name VARCHAR
@@ -467,8 +456,7 @@ WITH (
'sink.properties.columns' = 'dt,page,user_id,user_id=to_bitmap(user_id)'
)
```
-
2. **errCode = 2, detailMessage = Label [label_0_1] has already been used,
relate to txn [19650]**
-Exactly-Once场景下，Flink Job重启时必须从最新的Checkpoint/Savepoint启动，否则会报如上错误。</br>
-不要求Exactly-Once时，也可通过关闭2PC提交（`sink.enable-2pc=false`）
或更换不同的`sink.label-prefix`解决。
+Exactly-Once场景下，Flink Job重启时必须从最新的Checkpoint/Savepoint启动，否则会报如上错误。
+不要求Exactly-Once时，也可通过关闭2PC提交（sink.enable-2pc=false） 或更换不同的sink.label-prefix解决。
---------------------------------------------------------------------
To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org
For additional commands, e-mail: commits-h...@doris.apache.org
