HDP 介绍
HDP(Hyper Data Platform,超级数据平台)为企业提供统一的数据接入、同步与处理能力,支持在不同数据库、消息队列与工作表之间构建可视化的数据同步流程。平台通过手动、定时与实时三类任务模式,为业务系统提供高效、稳定的数据流转能力,并以无需编码的方式实现多源数据整合与加工。
平台核心功能包括:
-
数据源连接与管理
平台支持多类型数据源,包括本地数据库、云数据库、Kafka 以及工作表。用户可在统一界面创建、测试、编辑与查看数据源使用情况,并根据不同任务类型选择合适的数据源方向(源 / 目的地)。
-
数据同步任务
同步任务是平台的核心能力,用于在不同数据系统之间建立数据传输通道,支持三种模式: • 手动同步:适用于一次性迁移或调试 • 定时同步:按既定计划周期执行 • 实时同步:基于数据库变更日志实现流式增量同步 任务提供可视化画布,支持配置数据源、目的地、字段映射、增量/全量模式等操作,同时可管理任务 的发布、暂停、更新与运行状态。
-
可视化数据处理
平台提供无需编码的 数据处理 节点,用于在同步链路中处理跨源数据。包含: • 筛选过滤 • 多表连接 • 分类汇总 • 数据合并 所有节点均支持预览处理结果,便于验证数据逻辑
-
任务监控与运行管理
任务监控页面提供任务运行历史、累计读写量、实时状态、执行日志与算力消耗等关键指标,帮助用户判断同步运行情况、排查异常并优化任务配置。
-
工作空间与权限管理
平台采用“工作空间”进行多团队隔离管理,集中管理空间内的所有数据源、同步任务、算力使用与成员角色。支持邀请成员、调整权限、查看操作日志等能力,确保数据及操作安全可控。
-
系统消息通知
系统自动向拥有者及管理员推送同步任务异常、任务长时间无数据停止、定时任务失败自动关闭、空间到期等重要通知,确保关键事件可及时响应。
