集成中心-数据集成介绍
「集成中心-数据集成」的核心能力是要解决各个业务系统数据分散的问题。它通过直接对接数据库的方式来实现数据的实时同步或定时同步。用户只需要配置简单的字段映射规则，就可以实现数据库和工作表的同步，也支持数据库之间的数据同步。可以解决以下4类场景问题：
- 将旧系统的数据批量迁移到本平台
- 将其他系统的数据实时同步到本平台中使用
- 本平台中的数据实时同步到其他数据库中使用
- 作为一个连接桥梁，实现不同数据库之间的数据同步
目前支持的数据库类型有以 下几种：
| 数据库 | 作为数据源 | 作为目的地 | 支持版本 |
|---|---|---|---|
| 工作表 | ✅ | ✅ | - |
| MySQL | ✅ | ✅ | 5.6, 5.7, 8.0.x 同时支持：阿里云、腾讯云 |
| SAP HANA | ✅ | ❌ | 仅支持定时同步数据 且其他数据源不支持定时同步 |
| SQL Server | ✅ | ✅ | 2012, 2014, 2016, 2017, 2019 同时支持：阿里云、腾讯云 |
| Oracle | ✅ | ❌ | 9i、10g、11g、12c+ |
| PostgreSQL | ✅ | ✅ | 9.6, 10, 11, 12+ |
| MongoDB | ✅ | ✅ | >= 3.6 同时支持：阿里云、腾讯云 |
| MariaDB | ✅ | ✅ | 10.3及以上 同时支持：阿里云、腾讯云 |
| IBM db2 | ✅ | ❌ | 11.5x |
| Kafka | ✅ | ❌ | 2.3.x |
集成步骤概述
入口
在首页依次点击左侧导航 > 集成，即可进入数据集成模块。
数据集成功能仅组织的超级管理员或组织应用管理员可见。
集成的三个步骤
创建连接器
连接器是建立两端数据库的连接及字段映射关系，在创建连接器的过程中，用户可以为同一个数据源的多张表一次性建立多个同步任务。
-
选择“源数据”类型和“目的地”类型
如源数据和目的地都支持MySQL，那么可以实现的同步功方式有为下面4种：
-
工作表同步到工作表
-
MySQL数据库同步到工作表
-
工作表同步到MySQL数据库
-
MySQL数据库同步到MySQL数据库
-
-
配置数据源和目的地数据
-
如果是工作表，只需选择工作表所在的应用
-
如果是外部数据库，则需要配置连接数据库的信息
外部数据库在连接时需要一些先决条件，在右侧我们列出相关项和方法指南。
-
-
建立同步任务
配置好数据库连接后，需要确定数据的同步方式,支持两种：
- 仅同步数据
- 同步时需要对数据进行处理
同步机制为实时同步，仅SAP HANA 数据源支持定时同步
选择数据同步方式后，需要配置数据对象之间的字段映射关系，然后点击右上角“创建X个同步任务”。
- 每个数据表都需要单独配置。每个数据表都会分别建立对应的同步任务。
-
查看验证同步数据效果
- 查看现有表数据是否全部同步
- 更新源数据表记录看是否同步
- 新增一行记录看是否同步
管理同步任务
同步任务创建后，可以调整相关设置，也可以查看任务运行的状态和已同步的数据量。在任务监控中，用户还可以查看任务累计运行时长、累计读取和写入数据量、最近读取和写入数据量的曲线图。
修改任务
ETL数据处理能力
ETL属于数据集成的增强能力，ETL代表Extract（提取）、Transform（转换）、Load（加载），它涵盖了将数据从一个数据源提取出来，经过各种处理和转换，最后加载到另一个数据源的全过程。
在数据集成中，提供了四个功能，在数据处理完成后再同步数据到目的地数据库中。
-
筛选过滤后同步
-
多表连接后同 步
-
分类汇总后同步
-
数据合并后同步
是否触发工作流
点击同步任务名称，可以配置同步的数据是否触发工作流。
目的表中删除数据后还会同步吗
-
将源表数据同步到目的表A后，如果在表A表中删除了一些记录（没有彻底删除），源表中记录的数据有修改，目标工作表不会恢复这些记录的，不会继续保持同步；只有从回收站恢复后，后续的变更才会同步；
-
如果将删除的数据彻底删除，则不会进行同步。
-
彻底删除后，如果想继续同步这些记录，可以重新建一个同步任务
彻底删除是指清空回收站或在回收站中继续删除了记录。
管理数据源
数据源界面里保存着用户在创建连接器过程中创建的所有数据源和数据目的地连接信息。你可以在创建其它同步任务时，直接使用已创建的数据源。请放心，用户在连接信息中输入的密码会加密存储，HAP也有完善的机制来保证这些信息不被开发人员查看和解密。
在新建连接器时，选择已有数据源。
字段同步规则
不支持同步的字段
| 序号 | 控件名称 | 控件类型编号 | 说明 |
|---|---|---|---|
| 1 | 大写金额 | 25 | |
| 2 | 备注 | 10010 | |
| 3 | 自由连接 | 21 | |
| 4 | 嵌入 | 45 | |
| 5 | 分割线 /分段 | 22 | |
| 6 | 标签页 | 52 | |
| 7 | 关联记录 | 29 | 多条 |
| 8 | 他表字段 | 30 | 仅同步 |
| 9 | 签名 | 42 | |
| 10 | 条码 | 47 | |
| 11 | API查询 | 49 | 查询按钮 |
| 12 | 文本识别 | 43 | |
| 13 | 关联查询 | 51 |
字段同步的示例说明
系统字段支持同步
目的地是数据库时，支持同步工作表的系统字段。
| 序号 | 控件类型 | 字段名称 | 控件类型编号 | 字段ID（系统字段为固定值） |
|---|---|---|---|---|
| 1 | 文本框 | 记录ID | 2 | rowid |
| 2 | 成员 | 拥有者 | 26 | ownerid |
| 3 | 成员 | 创建人 | 26 | caid |
| 4 | 日期和时间 | 创建时间 | 16 | ctime |
| 5 | 日期和时间 | 最近修改时间 | 16 | utime |
| 6 | 成员 | 最近修改人 | 26 | uaid |
| 7 | 文本框 | 流程名称 | 2 | wfname |
| 8 | 成员 | 节点负责人 | 26 | wfcuaids |
| 9 | 成员 | 发起人 | 26 | wfcaid |
| 10 | 日期和时间 | 发起时间 | 16 | wfctime |
| 11 | 日期和时间 | 节点开始时间 | 16 | wfrtime |
| 12 | 公式（日期） | 剩余时间 | 38 | wfftime |
| 13 | 单选 | 流程状态 | 11 | wfstatus |
数据集成示范
-
场景1：工作表同步到另一张工作表
-
场景2：本地MySQL同步到工作表
场景一：工作表同步到另一张工作表
在同一个组织内，工作表数据可以同步到本应用或其他应用的工作表中。这种常见于一些基础数据的被多个应用使用，但只需由专人在一个地方维护即可。
场景示例：将客户1表数据，同步客户2表中。
创建连接器
1、选择数据库类型
数据源和目的地类型都是工作表，然后点击下一步。
2、配置源数据
选择客户1表所在的应用，点击下一步。
这里仅显示出您作为应用管理员加入的应用。
3、配置目的地
选择客户2表所在的应用，这里为了演示我们将两张表放在了一个应用下。点击下一步创建同步任务。
创建同步任务
1、选择同步方式
选择[仅同步数据]。
2、选择源数据要同步的表
点击[+数据对象]选择要同步的表（客户1表），然后点击确定按钮。
可以一次选择要同步的多张表，也可以继续点击[+数据对象]添加要同步的表。
3、配置和目的地工作表的字段映射
由于客户2表已经存在，我们选择已有工作表。
-
建立字段映射，选择对应的字段，和导入Excel类似。
应用名称、表名称和字段名称中若包含特殊字符，不能选择或数据同步失败。 不允许包含的特殊字符有：
'~!@#$%^&*()-+=<>?:"|,./;'[]·！￥…（）—《》？：“”【】、；‘，。『』「」，此外，还不允许包含空格。
4、重复数据处理
对于重复数据，可以指定一个依据字段，此字段如果重复，表示此行已经存在，可以选择同步时是覆盖还是跳过不更新
勾选在本次同步数据之前，彻底清空目标表数据后，第一次同步时将清空客户2表的数据。
5、同步数据时是否触发工作流
同步数据时，工作表的数据可能进行新增、更新和删除的操作，如果有相关事件触发的流程，可以配置是否触发。
6、增加同步联系人表
点击[+数据对象]，选择联系人表，点击确认
由于目的地的联系人表不存在，我们选择新建。
-
确定新表的名称
-
勾选要同步的字段
-
确定新表的字段名称
-
指定新表的标题字段
7、建立同步任务
当所有表的映射关系配置完毕后，点击右上角[创建X个同步任务]
创建成功后会有提醒
8、验证同步效果
进入 客户表2，可以看到客户表1的所有数据都同步进来了。
联系人2表也自动创建并同步进来了数据
您可以继续修改客户1表已有的数据，或新增一行数据，然后验证客户2表是否已经同步。
通过日志我们看到，同步数据时不是一次性全量写入，而是分批写入的。在同步数据时，需要排队执行，如果当时全网同步任务太多，可能会慢一点。
场景二：MySQL同步到工作表
创建连接器
1、选择数据源和目的地的数据库类型
2、配置数据库连接
连接外部数据库时，需要满足一些先决条件后才可以访问。 如数据库版本号、权限、IP白名单等设置。
在右侧有针对此数据库的链接指南，您按文中的提示进行操作，保证正常链接。
满足先决条件后，在左侧填入访问数据库的信息，最后点击[测试连接]按 钮，成功后点击右上角下一步。
3、配置目的地数据
选择要同步到哪个应用，然后点击右上角的下一步按钮。
创建同步任务
1、选择同步方式：仅同步数据
2、选择要同步的数据库和表并点击确定
3、确定目的工作表并建立字段映射
-
我们这里选择新建表并命名
-
选择要同步的字段
-
确定每个字段的名称和字段类型
-
指定标题字段
全部确定后，点击右上角[创建X个同步任务]
同步到已有表
如果选择了同步到已有表，则可以根据数据中的主键来识别重复数据，如果重复了可以选择是覆盖还是跳过。
4、验证同步效果
进入数据集成应用，可以看到新建了一张产品表并添加了记录。您可以继续修改MySQL中的数据或新增数据，验证同步效果。
统计和监控
在"数据集成"-"统计"中，可以看到实时统计出的。本月读取记录行数和本月写入记录行数。
通过选择历史时间段，可以查看历史读写量，并显示出相应的同步任务,最多查看近6个月的读写量。
单个同步任务也能通过监控查看历史读写量，也可以查看同步任务的日志。
