From ba6090bed6e5095c654403205ba367328013a268 Mon Sep 17 00:00:00 2001 From: github-actions Date: Wed, 26 Feb 2025 08:08:29 +0000 Subject: [PATCH] update MD by dispatch event pingcap/docs-cn release-8.5 --- .../dm/dm-master-configuration-file.md | 73 ++++++++--- .../dm/dm-source-configuration-file.md | 115 +++++++++++++----- .../dm/dm-worker-configuration-file.md | 72 ++++++++--- .../dm/task-configuration-file-full.md | 31 +++-- 4 files changed, 224 insertions(+), 67 deletions(-) diff --git a/markdown-pages/zh/tidb/release-8.5/dm/dm-master-configuration-file.md b/markdown-pages/zh/tidb/release-8.5/dm/dm-master-configuration-file.md index 296deb6818..e26aab6322 100644 --- a/markdown-pages/zh/tidb/release-8.5/dm/dm-master-configuration-file.md +++ b/markdown-pages/zh/tidb/release-8.5/dm/dm-master-configuration-file.md @@ -42,19 +42,60 @@ secret-key-path = "/path/to/secret/key" ### Global 配置 -| 配置项 | 说明 | -| :------------ | :--------------------------------------- | -| `name` | 标识一个 DM-master。| -| `log-level` | 日志级别：debug、info、warn、error、fatal。默认为 info。| -| `log-file` | 日志文件，如果不配置，日志会输出到标准输出中。| -| `master-addr` | DM-master 服务的地址，可以省略 IP 信息，例如：":8261"。| -| `advertise-addr` | DM-master 向外界宣告的地址。| -| `peer-urls` | DM-master 节点的对等 URL。| -| `advertise-peer-urls` | DM-master 向外界宣告的对等 URL。默认为 `peer-urls` 的值。| -| `initial-cluster` | 初始集群中所有 DM-master 的 `advertise-peer-urls` 的值。| -| `join` | 集群里已有的 DM-master 的 `advertise-peer-urls` 的值。如果是新加入的 DM-master 节点，使用 `join` 替代 `initial-cluster`。| -| `ssl-ca` | DM-master 组件用于与其它组件连接的 SSL CA 证书所在的路径 | -| `ssl-cert` | DM-master 组件用于与其它组件连接的 PEM 格式的 X509 证书所在的路径 | -| `ssl-key` | DM-master 组件用于与其它组件连接的 PEM 格式的 X509 密钥所在的路径 | -| `cert-allowed-cn` | 证书检查 Common Name 列表 | -| `secret-key-path` | 用来加解密上下游密码的密钥所在的路径，该文件内容必须是长度为 64 个字符的十六进制的 AES-256 密钥。一种生成该秘钥的方式是对随机内容计算 SHA256 校验和，比如 head -n 256 /dev/urandom \| sha256sum。更多信息，请参考 [DM 自定义加解密 key](/dm/dm-customized-secret-key.md)。| +#### `name` + +- 标识一个 DM-master。 + +#### `log-level` + +- 日志级别。 +- 默认值：`info` +- 可选值：`debug`、`info`、`warn`、`error`、`fatal` + +#### `log-file` + +- 日志文件。如果不配置，日志会输出到标准输出中。 + +#### `master-addr` + +- DM-master 服务的地址，可以省略 IP 信息，例如：`":8261"`。 + +#### `advertise-addr` + +- DM-master 向外界宣告的地址。 + +#### `peer-urls` + +- DM-master 节点的对等 URL。 + +#### `advertise-peer-urls` + +- DM-master 向外界宣告的对等 URL。默认为 [`peer-urls`](#peer-urls) 的值。 + +#### `initial-cluster` + +- 初始集群中所有 DM-master 的 [`advertise-peer-urls`](#advertise-peer-urls) 的值。 + +#### `join` + +- 集群里已有的 DM-master 的 [`advertise-peer-urls`](#advertise-peer-urls) 的值。如果是新加入的 DM-master 节点，使用 `join` 替代 `initial-cluster`。 + +#### `ssl-ca` + +- DM-master 组件用于与其它组件连接的 SSL CA 证书所在的路径。 + +#### `ssl-cert` + +- DM-master 组件用于与其它组件连接的 PEM 格式的 X509 证书所在的路径。 + +#### `ssl-key` + +- DM-master 组件用于与其它组件连接的 PEM 格式的 X509 密钥所在的路径。 + +#### `cert-allowed-cn` + +- 证书检查 Common Name 列表。 + +#### `secret-key-path` + +- 用来加解密上下游密码的密钥所在的路径，该文件内容必须是长度为 64 个字符的十六进制的 AES-256 密钥。一种生成该秘钥的方式是对随机内容计算 SHA256 校验和，比如 `head -n 256 /dev/urandom | sha256sum`。更多信息，请参考 [DM 自定义加解密 key](/dm/dm-customized-secret-key.md)。 diff --git a/markdown-pages/zh/tidb/release-8.5/dm/dm-source-configuration-file.md b/markdown-pages/zh/tidb/release-8.5/dm/dm-source-configuration-file.md index e28c332684..7614934cdc 100644 --- a/markdown-pages/zh/tidb/release-8.5/dm/dm-source-configuration-file.md +++ b/markdown-pages/zh/tidb/release-8.5/dm/dm-source-configuration-file.md @@ -62,49 +62,108 @@ from: ### Global 配置 -| 配置项 | 说明 | -| :------------ | :--------------------------------------- | -| `source-id` | 标识一个 MySQL 实例。| -| `enable-gtid` | 是否使用 GTID 方式从上游拉取 binlog，默认值为 false。一般情况下不需要手动配置，如果上游数据库启用了 GTID 支持，且需要做主从切换，则将该配置项设置为 true。 | -| `enable-relay` | 是否开启 relay log，默认值为 false。从 v5.4 开始，该参数生效。此外，你可以使用 `start-relay` 命令[动态开启 relay log](/dm/relay-log.md#开启关闭-relay-log)。 | -| `relay-binlog-name` | 拉取上游 binlog 的起始文件名，例如 "mysql-bin.000002"，该配置在 `enable-gtid` 为 false 的情况下生效。如果不配置该项，DM-worker 将从正在同步的最早的 binlog 文件开始拉取，一般情况下不需要手动配置。 | -| `relay-binlog-gtid` | 拉取上游 binlog 的起始 GTID，例如 "e9a1fc22-ec08-11e9-b2ac-0242ac110003:1-7849"，该配置在 `enable-gtid` 为 true 的情况下生效。如果不配置该项，DM-worker 将从正在同步的最早 binlog GTID 开始拉取 binlog，一般情况下不需要手动配置。 | -| `relay-dir` | 存储 relay log 的目录，默认值为 "./relay_log"。| -| `host` | 上游数据库的 host。| -| `port` | 上游数据库的端口。| -| `user` | 上游数据库使用的用户名。| -| `password` | 上游数据库的用户密码。注意：推荐使用 dmctl 加密后的密码。| -| `security` | 上游数据库 TLS 相关配置。配置的证书文件路径需能被所有节点访问。若配置为本地路径，则集群所有节点需要将证书文件拷贝一份放在各节点机器相同的路径位置上。| +#### `source-id` + +- 标识一个 MySQL 实例。 + +#### `enable-gtid` + +- 是否使用 GTID 方式从上游拉取 binlog。 +- 一般情况下不需要手动配置，如果上游数据库启用了 GTID 支持，且需要做主从切换，则将该配置项设置为 `true`。 +- 默认值：`false` + +#### `enable-relay` + +- 是否开启 relay log。从 v5.4 开始，该参数生效。此外，你可以使用 `start-relay` 命令[动态开启 relay log](/dm/relay-log.md#开启关闭-relay-log)。 +- 默认值：`false` + +#### `relay-binlog-name` + +- 拉取上游 binlog 的起始文件名，例如 `"mysql-bin.000002"`。 +- 该配置在 [`enable-gtid`](#enable-gtid) 为 `false` 的情况下生效。如果不配置该项，DM-worker 将从正在同步的最早的 binlog 文件开始拉取，一般情况下不需要手动配置。 + +#### `relay-binlog-gtid` + +- 拉取上游 binlog 的起始 GTID，例如 `"e9a1fc22-ec08-11e9-b2ac-0242ac110003:1-7849"`。 +- 该配置在 [`enable-gtid`](#enable-gtid) 为 `true` 的情况下生效。如果不配置该项，DM-worker 将从正在同步的最早 binlog GTID 开始拉取 binlog。一般情况下不需要手动配置。 + +#### `relay-dir` + +- 存储 relay log 的目录。 +- 默认值：`"./relay_log"` + +#### `host` + +- 上游数据库的 host。 + +#### `port` + +- 上游数据库的端口。 + +#### `user` + +- 上游数据库使用的用户名。 + +#### `password` + +- 上游数据库的用户密码。注意：推荐使用 dmctl 加密后的密码。 + +#### `security` + +- 上游数据库 TLS 相关配置。配置的证书文件路径需能被所有节点访问。若配置为本地路径，则集群所有节点需要将证书文件拷贝一份放在各节点机器相同的路径位置上。 ### relay log 清理策略配置（purge 配置项） 一般情况下不需要手动配置，如果 relay log 数据量较大，磁盘空间不足，则可以通过设置该配置项来避免 relay log 写满磁盘。 -| 配置项 | 说明 | -| :------------ | :--------------------------------------- | -| `interval` | 定期检查 relay log 是否过期的间隔时间，默认值：3600，单位：秒。 | -| `expires` | relay log 的过期时间，默认值为 0，单位：小时。未由 relay 处理单元进行写入、或已有数据迁移任务当前或未来不需要读取的 relay log 在超过过期时间后会被 DM 删除。如果不设置则 DM 不会自动清理过期的 relay log。 | -| `remain-space` | 设置最小的可用磁盘空间。当磁盘可用空间小于这个值时，DM-worker 会尝试删除 relay log，默认值：15，单位：GB。 | +#### `interval` + +- 定期检查 relay log 是否过期的间隔时间。 +- 默认值：`3600` +- 单位：秒 + +#### `expires` + +- relay log 的过期时间。 +- 未由 relay 处理单元进行写入、或已有数据迁移任务当前或未来不需要读取的 relay log 在超过过期时间后会被 DM 删除。如果不设置则 DM 不会自动清理过期的 relay log。 +- 默认值：`0` +- 单位：小时 + +#### `remain-space` + +- 设置最小的可用磁盘空间。当磁盘可用空间小于这个值时，DM-worker 会尝试删除 relay log。 +- 默认值：`15` +- 单位：GiB > **注意：** > -> 仅在 `interval` 不为 0 且 `expires` 和 `remain-space` 两个配置项中至少有一个不为 0 的情况下 DM 的自动清理策略才会生效。 +> 仅在 [`interval`](#interval) 不为 `0` 且 [`expires`](#expires) 和 [`remain-space`](#remain-space) 两个配置项中至少有一个不为 `0` 的情况下 DM 的自动清理策略才会生效。 ### 任务状态检查配置（checker 配置项） DM 会定期检查当前任务状态以及错误信息，判断恢复任务能否消除错误，并自动尝试恢复任务进行重试。DM 会使用指数回退策略调整检查间隔。这些行为可以通过如下配置进行调整： -| 配置项 | 说明 | -| :------------ | :--------------------------------------- | -| `check-enable` | 启用自动重试功能。 | -| `backoff-rollback` | 如果指数回退策略的间隔大于该值，且任务处于正常状态，尝试减小间隔。 | -| `backoff-max` | 指数回退策略的间隔的最大值，该值必须大于 1 秒。 | +#### `check-enable` + +- 启用自动重试功能。 + +#### `backoff-rollback` + +- 如果指数回退策略的间隔大于该值，且任务处于正常状态，尝试减小间隔。 + +#### `backoff-max` + +- 指数回退策略的间隔的最大值，该值必须大于 1 秒。 ### Binlog event filter 从 DM v2.0.2 开始，Binlog event filter 也可以在上游数据库配置文件中进行配置。 -| 配置项 | 说明 | -| :------------ | :--------------------------------------- | -| `case-sensitive` | Binlog event filter 标识符是否大小写敏感。默认值：false。| -| `filters` | 配置 Binlog event filter，含义见 [Binlog event filter 参数解释](/dm/dm-binlog-event-filter.md#参数解释)。 | +#### `case-sensitive` + +- Binlog event filter 标识符是否大小写敏感。 +- 默认值：`false` + +#### `filters` + +- 配置 Binlog event filter，含义见 [Binlog event filter 参数解释](/dm/dm-binlog-event-filter.md#参数解释)。 diff --git a/markdown-pages/zh/tidb/release-8.5/dm/dm-worker-configuration-file.md b/markdown-pages/zh/tidb/release-8.5/dm/dm-worker-configuration-file.md index 6e46965d20..8f324d968f 100644 --- a/markdown-pages/zh/tidb/release-8.5/dm/dm-worker-configuration-file.md +++ b/markdown-pages/zh/tidb/release-8.5/dm/dm-worker-configuration-file.md @@ -37,18 +37,60 @@ cert-allowed-cn = ["dm"] ### Global 配置 -| 配置项 | 说明 | -| :------------ | :--------------------------------------- | -| `name` | 标识一个 DM-worker。 | -| `log-level` | 日志级别：debug、info、warn、error、fatal。默认为 info。 | -| `log-file` | 日志文件，如果不配置日志会输出到标准输出中。 | -| `worker-addr` | DM-worker 服务的地址，可以省略 IP 信息，例如：":8262"。| -| `advertise-addr` | DM-worker 向外界宣告的地址。 | -| `join` | 对应一个或多个 DM-master 配置中的 [`master-addr`](/dm/dm-master-configuration-file.md#global-配置)。 | -| `keepalive-ttl` | 当绑定的上游数据源没有启用 relay log 时，DM-worker 向 DM-master 保持存活的周期，单位为秒。默认是 60 秒。 | -| `relay-keepalive-ttl` | 当绑定的上游数据源启用 relay log 时，DM-worker 向 DM-master 保持存活的周期，单位为秒。默认是 1800 秒。在版本 2.0.2 新增。 | -| `relay-dir` | 当绑定的上游数据源启用 relay log 时，DM-worker 将 relay log 保存在该路径下。该配置优先级比上游数据源配置更高。在版本 5.4.0 新增。 | -| `ssl-ca` | DM-worker 组件用于与其它组件连接的 SSL CA 证书所在的路径 | -| `ssl-cert` | DM-worker 组件用于与其它组件连接的 PEM 格式的 X509 证书所在的路径 | -| `ssl-key` | DM-worker 组件用于与其它组件连接的 PEM 格式的 X509 密钥所在的路径 | -| `cert-allowed-cn` | 证书检查 Common Name 列表 | +#### `name` + +- 标识一个 DM-worker。 + +#### `log-level` + +- 日志级别。 +- 默认值：`info` +- 可选值：`debug`、`info`、`warn`、`error`、`fatal` + +#### `log-file` + +- 日志文件。如果不配置，日志会输出到标准输出中。 + +#### `worker-addr` + +- DM-worker 服务的地址，可以省略 IP 信息，例如：`":8262"`。 + +#### `advertise-addr` + +- DM-worker 向外界宣告的地址。 + +#### `join` + +- 对应一个或多个 DM-master 配置中的 [`master-addr`](/dm/dm-master-configuration-file.md#global-配置)。 + +#### `keepalive-ttl` + +- 当绑定的上游数据源没有启用 relay log 时，DM-worker 向 DM-master 保持存活的周期。 +- 默认值：`60` +- 单位：秒 + +#### `relay-keepalive-ttl` 从 v2.0.2 版本开始引入 + +- 当绑定的上游数据源启用 relay log 时，DM-worker 向 DM-master 保持存活的周期。 +- 默认值：`1800` +- 单位：秒 + +#### `relay-dir` 从 v5.4.0 版本开始引入 + +- 当绑定的上游数据源启用 relay log 时，DM-worker 将 relay log 保存在该路径下。该配置优先级比上游数据源配置更高。 + +#### `ssl-ca` + +- DM-worker 组件用于与其它组件连接的 SSL CA 证书所在的路径。 + +#### `ssl-cert` + +- DM-worker 组件用于与其它组件连接的 PEM 格式的 X509 证书所在的路径。 + +#### `ssl-key` + +- DM-worker 组件用于与其它组件连接的 PEM 格式的 X509 密钥所在的路径。 + +#### `cert-allowed-cn` + +- 证书检查 Common Name 列表。 diff --git a/markdown-pages/zh/tidb/release-8.5/dm/task-configuration-file-full.md b/markdown-pages/zh/tidb/release-8.5/dm/task-configuration-file-full.md index 4c5d13a2d1..716195f460 100644 --- a/markdown-pages/zh/tidb/release-8.5/dm/task-configuration-file-full.md +++ b/markdown-pages/zh/tidb/release-8.5/dm/task-configuration-file-full.md @@ -247,14 +247,29 @@ mysql-instances: 全局配置主要包含下列功能配置集： -| 配置项 | 说明 | -| :------------ | :--------------------------------------- | -| `routes` | 上游和下游表之间的路由 table routing 规则集。如果上游与下游的库名、表名一致，则不需要配置该项。使用场景及示例配置参见 [Table Routing](/dm/dm-table-routing.md) | -| `filters` | 上游数据库实例匹配的表的 binlog event filter 规则集。如果不需要对 binlog 进行过滤，则不需要配置该项。使用场景及示例配置参见 [Binlog Event Filter](/dm/dm-binlog-event-filter.md) | -| `block-allow-list` | 该上游数据库实例匹配的表的 block & allow lists 过滤规则集。建议通过该项指定需要迁移的库和表，否则会迁移所有的库和表。使用场景及示例配置参见 [Block & Allow Lists](/dm/dm-block-allow-table-lists.md) | -| `mydumpers` | dump 处理单元的运行配置参数。如果默认配置可以满足需求，则不需要配置该项，也可以只使用 `mydumper-thread` 对 `thread` 配置项单独进行配置。 | -| `loaders` | load 处理单元的运行配置参数。如果默认配置可以满足需求，则不需要配置该项，也可以只使用 `loader-thread` 对 `pool-size` 配置项单独进行配置。 | -| `syncers` | sync 处理单元的运行配置参数。如果默认配置可以满足需求，则不需要配置该项，也可以只使用 `syncer-thread` 对 `worker-count` 配置项单独进行配置。 | +#### `routes` + +- 上游和下游表之间的路由 table routing 规则集。如果上游与下游的库名、表名一致，则不需要配置该项。使用场景及示例配置参见 [Table Routing](/dm/dm-table-routing.md)。 + +#### `filters` + +- 上游数据库实例匹配的表的 binlog event filter 规则集。如果不需要对 binlog 进行过滤，则不需要配置该项。使用场景及示例配置参见 [Binlog Event Filter](/dm/dm-binlog-event-filter.md)。 + +#### `block-allow-list` + +- 该上游数据库实例匹配的表的 block & allow lists 过滤规则集。建议通过该项指定需要迁移的库和表，否则会迁移所有的库和表。使用场景及示例配置参见 [Block & Allow Lists](/dm/dm-block-allow-table-lists.md)。 + +#### `mydumpers` + +- dump 处理单元的运行配置参数。如果默认配置可以满足需求，则不需要配置该项，也可以只使用 `mydumper-thread` 对 `thread` 配置项单独进行配置。 + +#### `loaders` + +- load 处理单元的运行配置参数。如果默认配置可以满足需求，则不需要配置该项，也可以只使用 `loader-thread` 对 `pool-size` 配置项单独进行配置。 + +#### `syncers` + +- sync 处理单元的运行配置参数。如果默认配置可以满足需求，则不需要配置该项，也可以只使用 `syncer-thread` 对 `worker-count` 配置项单独进行配置。 各个功能配置集的参数及解释参见[完整配置文件示例](#完整配置文件示例)中的注释说明。