#产品描述#
统一任务调度管理系统（SDT）是一款用来批量调度DW任务的软件工具，遵循ELT的思想，构建在平台之上，充分融合了团队ETL开发与管控经验，依托平台的特性，可以稳定、高效的完成DW ETL的工作。系统主要包含：任务组、任务管理、工作日历、同步组、并发组、任务变量等模块。
#产品描述#
#产品概述#
##概述1##**yzs-gs1**SDT是遵循ELT思想，结合团队沉淀的多年ETL开发与管控经验，依托平台的特性，实现稳定、高效的完成DW ETL工作。将作业流编排为任务组成的DAGS ,调度器在一组workers上按照指定的依赖关系执行作业任务；拥有丰富的命令工具和简单易用的用户界面以可视化的方式方便用户查看和操作，提供对任务和设备的监控和预警。支持任务版本管理功能，可完美完成任务的上传、审批、投产等操作。
#end#
#产品概述#
#主要功能#
##设备管理##**sdp-icon1**系统中运行的Master、Agent设备的管理可以通过WebServer的ETL系统管理与Console进行管理。#end#
##任务管理##**sdp-icon2**运行在Master的调度引擎模块负责根据文件触发、任务依赖、调度日历、时钟等条件控制任务的执行。可以按照优先级、并发数系统根据配置等各种限制信息进行控制。#end#
##任务组管理##**sdp-icon3**任务的物理分组，树型结构，任务必须属于某个任务组，任务组下不一定有任务。#end#
##同步组配置##**sdp-icon4**同步组为系统控制任务执行时数据翻牌的控制的唯一机制，某个同步组下的全部任务全部完成某个数据日期与批次的数据处理后，系统便将同步组的数据日期与批次调整为下一个状态。#end#
##并发组配置##**sdp-icon5**并发组可以用于精细化调配系统资源消耗，也可以用于进行互斥任务的调度。强制执行的任务不受并发限制。#end#
#主要功能#
#核心优势#
##实现高性能、可扩展##**sdp-ad1**工作站可从1台扩展到100台；可支持10W+任务数；支持多套ETL服务器共存，并拥有统一的监控。#end#
##支持优先级设置##**sdp-ad2**任务、任务组满足执行条件，在等待执行队列中的顺序，优先级越高排队越靠前。#end#
##智能总体并发控制##**sdp-ad3**系统总体的最大并发数，可以根据EDW的CPU繁忙程度自动的在上下值之间调整。#end#
##多批次/小批次加载##**sdp-ad4**多批次调度可以一天处理多次数据，而批次之间有紧密关系的场景。多个任务可设置一个同不足，任务也可以不属于任何同步组。不同同步组可以自行执行翻牌策略，互不影响。#end#
##任务触发与依赖##**sdp-ad5**任务触发包含文件触发、消息触发、时钟触发、任务触发；依赖分为普通依赖（没有任何条件的依赖）和有日历的依赖（根据日历的设定而生效其依赖关系）。#end#
##支持系统集成##**sdp-ad6**与一站式开发平台、低代码开发平台等系统实现无缝集成，实现开发任务与调度任务同步。支持一键在线发布。#end#
#核心优势#
#应用场景#
##ETL任务调度##**sdxE-scene1**集成业务系统数据到数据中台底座（数据仓库、数据湖），按照定时调度规则或按照依赖关系调度规则完成数据抽取(E)、转换(T)、加载(L)的任务执行，并将运行结果返回监控平台。
#end#
##数据质量检查任务调度##**sdxE-scene2**配合数据质量管理平台的质量检查规则，定时执行入库数据（数据仓库）、入湖数据（数据湖）的质量检查任务，提供完整可靠的企业级数据质量管理方案。
#end#
##大数据任务调度##**sdxE-scene3**提供可视化编辑，支持编排复杂的大数据任务调度规则。可以为大数据任务执行提供优化赋能，支持复杂任务调度提升大数据任务执行效率。
#end#
#应用场景#
#客户案例#
##海南省政务大数据公共服务平台##**sdp-cus1**实现大数据平台数据批量数据处理，利用数据加载、清洗融合、数据汇总、数据同步及数据质量检查等功能，通过统一调度管理系统为调度作业进行统一的管理和执行。从而解决的各系统的作业任务配置与管理、监测和告警,以满足应用系统与用户不同层次的数据需求。
#end#
##某某金融领域客户##**yzs-cus2**实现批量数据处理为大数据平台数据加工处理从提供统一的管理平台，从海量数据中抽取具有共性特征的数据集，并对这些具有共性特征的数据集进行快速交互地批量处理或批量加工。在数据处理过程中通过作业统一调度将数据按业务规则加工组织到不同的数据区，以满足应用系统与用户不同层次的数据需求。
#end#
#客户案例#