数据交换SDX-E

#产品描述#
数据交换模块SDX-E提供库表交换(包括实时增量、批次全量、批次增量)、文件交换(包括文件同步、文件转数据、数据转文件)、API交换(包括API采集到库、API采集到文件等)功能;支持多源异构数据实时同步,全量和增量定时同步,支持采集位点回溯;支持数据加密、压缩、断点续传、数据限流、DDL、where过滤、一键建表、数据脱敏等功能;支持各类数据接入;支持跨网段交换等交换场景。
#产品描述#

#产品概述#

##概述1##**yzs-gs1** 通过多模态接入,SDX支持数据库源、文件源、API 源等超 20 种数据源类型,打破数据孤岛,构建起全域数据网络。
数据交换功能,作为数据处理流程中的关键环节,其主要职责在于确保不同系统、平台或组织之间数据的顺畅流通与共享。以下是数据交换功能的概述:
数据交换功能通过技术手段和协议,实现数据的发送、接收和共享,保障信息在异构环境中的一致性和可用性。其核心特点包括:
1.互操作性:确保不同数据格式、协议和系统之间能够无缝对接,消除信息孤岛,提升数据的流通性。
2.标准化:通过统一的数据交换标准和格式,如XML、JSON等,简化交换过程,降低复杂性。
3.安全性:保障数据在传输过程中的安全性,采用加密、脱敏和认证等技术,防止数据泄露、篡改和非法访问。
4.高效性:根据当前资源情况动态分配资源,优化数据传输效率,减少延迟,确保数据的实时或近实时交换。
5.可监控性:提供数据交换过程的监控机制,以便跟踪数据流向,及时发现问题并采取措施。

#end#


#产品概述#

#主要功能#
##数据源管理##**sdp-icon1**支持对数据库源、文件源、API源的管理。数据库源支持各类关系型、非关系型数据库;文件源支持TFP、SMB、HDFS等;API源支持http、https等多种协议。#end#
##共享交换任务管理##**sdp-icon2**支持库表交换(包括实时增量、批次全量、批次增量)、文件交换(包括文件同步、文件转数据、数据转文件)、API交换(包括API采集到库、API采集到文件等)功能。#end#
##任务调度##**sdp-icon3**支持多种任务类型;支持定时、事件触发、手工触发等多种数据交换触发模式;支持数据交换任务的监控、告警、日志审计。#end#
#主要功能#

#核心优势#
##丰富的组件支持##**sdp-ad1**平台可支持多种异构数据源、文件源之间的全量、增量同步,包括Mysql、Sql server、Oracle、Kingbase、DB2、PostgreSQL、MD、Hive、Hbase等。#end#
##多样化场景支持##**sdp-ad2**支持批次全量、定时增量、实时增量等库表交换任务类型,支持库表与文件之间的数据交换、支持不同文件源之间的数据交换。#end#
##统一的基础设施##**sdp-ad3**平台提供统一的基础设施(高可用、动态负载、同步任务管理、插件管理、监控报警、公用业务组件等等),让设计人员专注于同步插件开发,有利于平台对支持不同数据库类型、版本的快速扩展。#end#

##前沿化的设计##**sdp-ad4**吸收、整合业内经验,在架构模型、设计方法论、功能特性、可运维、易用性上进行全面的升级,在前瞻性和扩展性上下足功夫,满足未来5-10年内的各种同步需求。#end#

##完善的监听、校验机制##**sdp-ad5**运用监听、日志功能实时监听同步状态;利用数据对比功能进一步确保数据交换结果的准确性。#end#

##支持dml和ddl操作##**sdp-ad6**SDX系统不仅支持多种数据库dml操作,目前也支持部分数据库的ddl操作,未来的SDX系统也将支持多种数据库的操作。#end#

##图形化操作##**sdp-ad7**图形化操作,通过页面配置生成具体可视的json。并可以直接对json进行文本修改,并以此方式更加灵活的解决异构数据库之间方言不一致带来的麻烦。#end#


#核心优势#

#应用场景#

##跨云/本地数据库同步##**sdxE-scene1**企业可以在总部建立统一的云端数据库,各分支机构定期或实时将本地数据同步到云端,实现数据的集中管理和共享。

#end#

##异构数据库的实时同步##**sdxE-scene2**在企业中,不同业务系统可能基于不同的数据库技术构建,如关系型数据库(MySQL、Oracle)和非关系型数据库(MongoDB、Redis)。CDC 能够实时捕获源数据库中的数据变更,并将其同步到目标数据库,确保不同数据库之间的数据一致性。

#end#

##跨中心的数据同步##**sdxE-scene3**对于企业或大型组织,为了提高系统的可用性和容灾能力,通常会在多个数据中心部署业务系统。CDC 可以保证各个数据中心之间的数据实时同步,当一个数据中心的数据发生变化时,其他数据中心能立即更新相应的数据。

#end#

##计算与云分析结合##**sdxE-scene4**在物联网应用场景中,大量的传感器设备会产生海量数据。为了减少数据传输延迟和网络带宽压力,通常会在靠近设备端(边缘)设置本地数据库进行初步的数据处理和分析。而将本地数据库中的关键数据同步到云端数据库,则可以利用云端强大的计算和分析能力进行更深入的数据挖掘、机器学习等操作,以获取更有价值的商业洞察。

#end#

##备份与恢复##**sdxE-scene5**将本地数据库的数据同步到云端数据库,相当于为数据提供了一个异地备份副本。在本地数据中心遭遇自然灾害(如洪水、地震)、硬件故障(如服务器损坏)或其他意外事件导致数据丢失时,可以从云端快速恢复数据,减少业务中断时间和数据损失。

#end#

#应用场景#

#客户案例#

##某证券大数据平台升级项目##**sdxE-cus3**东吴证券大数据平台升级扩容项目,通过SDX实现HDFS非结构化和半结构化数据迁移,在数据源管理界面上配置两端HDFS文件源即可,文件同步界面支持文件全量和增量,断点续传等。

#end#

##某省政府领导驾驶舱##**sdxE-cus1**海南领导视窗项目深度结合自贸港建设需要,利用大数据、人工智能等新技术,通过汇聚行业部门的业务数据,实现经济社会发展重点指标集中展示。同时满足对关键指标解读和分析的需求,为省领导科学决策提供数据支撑;对需要作出批示指示的内容一键发送,实现指令快速下达。同时根据各级领导职责分工、重点关注内容推荐相关信息,实现下情精准上报。

#end#

##某市大数据资源中心项目##**sdxE-cus1**提供标准的数据供需流程,建立符合行标的资源目录管理体系,建立统一数据中心,减少厅局间重复对接、多头对接问题。1.基础设施更加完善。统一构建数据资源中心,机房孤岛和数据孤岛基本消除,基本形成共建共享、集约利用的大数据基础设施体系。2.数据资源全面汇聚。依托大数据资源中心,实现政务数据100%归集,加速推进社会、经济数据汇聚,数据资源共享协同、融合创新、开放应用能力显著提升。3.数据效能大幅提升。数据的跨层级、跨部门、跨区域业务协同率大大提升。

#end#

##某省疫情数据资源管理平台项目##**sdxE-cus3**通过健康码数据与各类个人证件信息的关联,提供人脸识别核验功能,实现一码授权、一码挂号、一码缴费、一码出行、一码入住、使用时效设置等功能,为便民应用提供支撑,让市民用一个APP就能畅享城市综合服务。

#end#

##某电网大数据平台项目##**sdxE-cus3**完成全集团范围的数据采集汇聚,构建集中统一的数据资源中心,通过数据治理提高数据标准化和质量,提升数据资产管理和数据服务能力。建设统一的集团数据中台,实现对数据全类型全生命周期管理,为管理、电网运营、设备检修、安全管控等应用场景提供统一的数据服务和能力支撑。帮助实现全域数据可信汇聚、业务发展全面驱动、数据安全全面保障的数字化转型,推动数据层面无缝融合和业务层面共享共用。支撑公司与国家、政府、企业间的数据对接,推动共享、合作互利,成为构建能源价值链的“连接器”。

#end#

#客户案例#

留下评论

您的邮箱地址不会被公开。 必填项已用 * 标注