集成中心-數據集成介紹
「集成中心-數據集成」的核心能力是要解決各個業務係統數據分散的問題。它通過直接對接數據庫的方式來實現數據的實時同步。用戶隻需要配置簡單的字段映射規則,就可以實現數據庫和工作錶的同步,也支持數據庫之間的數據同步。可以解決以下4類場景問題:
- 將舊係統的數據批量遷移到本平臺
- 將其他係統的數據實時同步到本平臺中使用
- 本平臺中的數據實時同步到其他數據庫中使用
- 作為一個連接橋梁,實現不同數據庫之間的數據同步
目前支持的數據庫類型有以下幾種:
| 數據庫 | 作為數據源 | 作為目的地 | 支持版本 |
|---|---|---|---|
| 工作錶 | ✅ | ✅ | - |
| MySQL | ✅ | ✅ | 5.6, 5.7, 8.0.x 同時支持:阿裏雲、騰訊雲 |
| SQL Server | ✅ | ✅ | 2012, 2014, 2016, 2017, 2019 同時支持:阿裏雲、騰訊雲 |
| Oracle | ✅ | ❌ | 9i、10g、11g、12c+ |
| PostgreSQL | ✅ | ✅ | 9.6, 10, 11, 12+ |
| MongoDB | ✅ | ✅ | >= 3.6 同時支持:阿裏雲、騰訊雲 |
| MariaDB | ✅ | ✅ | 10.3及以上 同時支持:阿裏雲、騰訊雲 |
| IBM db2 | ✅ | ❌ | 11.5x |
| Kafka | ✅ | ❌ | 2.3.x |
集成步驟概述
入口
在首頁依次點擊左側導航 > 集成中心,即可進入數據集成模塊。

此功能僅組織的超級管理員或組織應用管理員可見。

集成的三個步驟
創建連接器
連接器是建立兩端數據庫的連接及字段映射關係,在創建連接器的過程中,用戶可以為同一個數據源的多張錶一次性建立多個同步任務。
-
選擇“源數據”類型和“目的地”類型

如源數據和目的地都支持MySQL,那麼可以實現的同步功方式有為下麵4種:
-
工作錶同步到工作錶
-
MySQL數據庫同步到工作錶
-
工作錶同步到MySQL數據庫
-
MySQL數據庫同步到MySQL數據庫
-
-
配置數據源和目的地數據
-
如果是工作錶,隻需選擇工作錶所在的應用

-
如果是外部數據庫,則需要配置連接數據庫的信息
外部數據庫在連接時需要一些先決條件,在右側我們列齣相關項和方法指南。

-
-
建立同步任務
配置好數據庫連接後,需要確定數據的同步方式。支持兩種:
- 僅同步數據
- 同步時需要對數據進行處理

選擇數據同步方式後,需要配置數據對象之間的字段映射關係,然後點擊右上角“創建X個同步任務”。

- 每個數據錶都需要單獨配置。每個數據錶都會分彆建立對應的同步任務。
-
查看驗證同步數據效果
- 查看現有錶數據是否全部同步
- 更新源數據錶記錄看是否同步
- 新增一行記錄看是否同步
管理同步任務
同步任務創建後,可以調整相關設置,也可以查看任務運行的狀態和已同步的數據量。在任務監控中,用戶還可以查看任務纍計運行時長、纍計讀取和寫入數據量、最近讀取和寫入數據量的麯綫圖。

修改任務
