任务调度处理SDT

#产品描述#
任务调度处理SDT的目标是基于新的技术架构打造一款完全超越kettle等开源的ETL工具,主要通过可视化的流程拖拽实现快速的从数据采集、传输、转换、脱敏、运算到加载的全过程, 通过SDT可以实现多个业务系统之间实现复杂的数据交换以及跨单位集团公司的数据交换与共享,协助企业快速构建数据仓库等场景, 同时RestCloud支持实时数据流的处理,可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中。
#产品描述#

#产品优势#
##灵活配置##**图标名称**简单方便的web界面,便于用过通过图形化的方式对调度指令号的设置。#end#
##自主研发##**图标名称**核心算法及数据传输算法实现完全的自主可控,所有核心功能均可个性定制化开发。#end#
#产品优势#

#主要功能/功能体系#

1.基于微服务架构开发支持分布式部署同时支持上万流程的调度与执行。

2.全Web化配置,极速传输性能(全面优于开源的kettle ETL工具)。

3.支持完整的事务控制策略,跨数据库事务控制,保证多个数据源传输数据高度一致性。

4.支持多数据源的多表对单一数据源的单表数据交换。

5.支持多种数据源(RDBS,NOSQL,Redis,Kafka,Restful API,Excel,JavaBean等)。

6.支持数据过滤器,通过自定义的数据过滤器可以实现复杂的数据交换规则。

7.支持各种不同数据源之间数据类型的自动转换,极大提升流程的构建速度。

8.前后端分离架构ETL所有能力均发布为API可轻松对接第三方业务系统。

9.通过数据交换日记,记录所有数据投递情况并可实现数据朔源.。

10.支持批流一体化处理,大幅提升数据的采集和同步时间。
#主要功能/功能体系#

#应用场景#

实时数据流支持:支持多种实时数据流的接入,支持Kafka实时数据流接入、支持MQTT物联网数据实时接入、支持HTTP实时数据流接入,实时数据流经过清选、转换、计算后可以实时存储到数据仓库中。

提供Web化的实时数据传输监控平台,可以清析的看到每个节点读取的数据量、插入的数据量、更新的数据量、删除的数据量、同时可以在日志中看到所有传输成功和传输失败的数据记录, 传输失败的数据记录平台会自动记录失败原因和数据内容方便对数据质量进行控制。

支持执行流程的动态回放功能,对于复杂的ETL流程可以清析的看到流程的数据传输路径。

#应用场景#

留下评论

您的电子邮箱地址不会被公开。

6 + 10 =