DGP数据平台

介绍

-DGP平台是以数据驱动为核心优势的数智平台。致力于通过高效的数据整合与管理，帮助企业实现数据驱动的价值创造。借助先进的插件化架构和灵活的自定义配置，能够快速响应各种复杂的数据业务需求，为企业的数据治理之路提供坚实的技术支撑，它集成了数据仓库、数据计算、服务编排、数据治理、工作流引擎等技术，同时结合大数据计算分析执行任务，实现边走边算。基于此赋能用户、企业及生态实现价值的不断提升。 DGP是也一种大数据能力复用平台，更强调靠近前端业务的赋能，为前端业务更快速开发、开拓创新、高质量发展提供动力引擎，让大数据结出更多“智慧果”。

核心模块

数据源管理

• 数据源管理模块是DGP的基石，它支持关系型数据库和非关系型数据库，为数据治理提供丰富的数据源选择。该模块还具备即席查询功能，能够迅速响应用户的数据查询需求。此外，通过插件开发，Bigprime DGP能够支持快速扩展数据源，满足不同场景下的数据接入需求。

  数据仓库

• 数据仓库模块提供了数仓分层、建模、即席查询和SQL执行等功能，为用户提供了高效、灵活的数据存储和处理环境。通过数仓分层，用户可以清晰地划分数据层级，提高数据管理的效率和安全性。同时，即席查询和SQL执行功能使得用户能够随时访问和处理数据，满足实时分析的需求。

  数据集成

• 数据集成模块支持Seatunnel和Addax等开源数据集成工具，并允许用户自定义集成配置。这意味着用户可以根据自己的需求，快速、灵活地配置数据集成任务，实现不同数据源之间的数据同步和传输。此外，Bigprime DGP还支持用户自定义插件集成配置，进一步扩展了数据集成的功能。

  数据治理

• 数据治理模块是DGP的核心功能之一，它包括以下子模块。

元数据管理

• 提供元数据同步、检索和维护等功能，帮助用户全面管理数据元信息，提高数据质量和可用性。

主数据管理

• 支持主数据建模、同步、下发、血缘追溯和数据维护等功能，确保主数据的准确性和一致性。

数据标准管理

• 提供标准的创建、发布和变更日志等功能，帮助用户建立和维护数据标准体系。

数据质量管理

• 包括质量配置、报告和定时检测任务等功能，帮助用户监控和提高数据质量。

数据血缘

• 提供数据血缘追踪功能，帮助用户了解数据的来源和流向，提高数据透明度和可追溯性。

数据安全管理

• 支持敏感级别设置、数据脱敏、加密和数据安全规范等功能，确保数据的安全性和合规性。

数据服务

• 提供API配置功能，允许用户对资产进行安全脱敏和加密设置，并记录调用记录，提高数据服务的灵活性和安全性。

数据生命周期管理

• 包括总览、近线归档、离线归档和销毁归档等功能，帮助用户有效管理数据的生命周期，降低存储成本。

数据资产管理

• 提供资产总览、检索、维护、数据库资产即席查询、附件资产下载等功能，并支持安全权限控制和加密，确保数据资产的安全和可控。

计算平台

• 计算平台提供了运维中心、任务总览、配置中心、集群管理、告警中心、Flink配置、Flink SQL可视化开发和Flink执行实例等功能，支持多版本Flink的接入和使用。这使得用户能够轻松地进行数据开发和处理任务，提高数据处理的效率和准确性。

运维中心

• 运维总览 在运维总览，可以查看作业实例运行信息，可对实例进行详情查看

• 运维详情 针对任务的关键指标查看，作业信息，作业日志，版本信息，作业快照，SQL血缘，告警记录。

数据开发

支持Flink SQL可视化开发，DAG，SQL检查，执行计划等

集群管理

支持多种集群类型，包括Kubernetes和Yarn等提交模式

配置中心

支持数据源配置，全局变量，环境变量，Flink配置，资源配置，UDF管理等

• 数据源

• 全局变量

• 环境变量

• Flink配置

• 资源配置

• UDF管理

告警中心

支持告警模版、告警定义、告警组和告警实例等功能，帮助用户管理告警信息，提高数据处理的自动化和智能化水平。

• 告警模版

• 告警定义

• 告警组

• 告警实例

调度管理

• 调度管理模块包括调度器管理、默认Quartz调度、调度任务配置和调度任务实例等功能。它支持多种任务类型，如数据库执行、SQL执行、JAR上传、Python文件和API接口调用等，并允许用户自定义开发调度任务。这使得用户能够灵活地进行任务调度和管理，提高数据处理的自动化和智能化水平。

服务编排

将一系列分散的、独立的服务，依据特定的业务逻辑和流程进行有序组合与协调实现业务流程的自动化和优化，显著提升运营效率，当需求发生变化或业务流程需要调整时，可以快速地对服务编排进行修改和重新配置，无需进行大规模的系统改造，大大缩短了新产品或新业务上线的周期，使企业能够更迅速地响应市场变化，在激烈的竞争中占据优势

创建Project

创建Project，支持Project级别的参数设定等功能

服务编排

• 编排定义 支持Addax、Seatunnel、Flink、SQL、Shell、Python、Http及告警等任务类型。 支持对编排的配置、运行、上线、定时、停止、删除、复制、导出、导入、历史版本查看回滚等功能。 支持任务执行策略的配置，包括节点参数，通知策略，重试次数、重试间隔、告警等功能。

• 编排实例 支持对编排实例的运行流程图查看、重跑、停止、暂停、恢复执行，查看执行日志，查看执行进度等功能。

• 编排定时 支持对编排任务cron定时执行、启用、停止等功能

• 任务实例 支持对单个任务实例进行查看、重跑、查看执行日志等功能。

• 任务定义 支持对单个任务定义的查看、编辑等功能。

告警管理

支持告警模版、告警定义、告警组和告警实例等功能，帮助用户管理告警信息，提高数据处理的自动化和智能化水平。

• 告警模版 设定通用模版，可在告警定义中进行引用，支持告警模版中变量的动态替换。

• 告警定义 支持钉钉、企业微信、飞书、邮箱告警。

• 告警组 支持不同告警类型的告警组管理，支持告警组中告警定义的动态替换。 支持组内不同告警返回的告警信息进行合并，告警结果互不影响，告警组内告警定义的告警结果不会影响其他告警组内的告警定义。

• 告警实例 对告警实例进行结果查看，按告警组及定义的告警结果进行查看。

资源中心

• 资源配置 支持Local、FTP服务器、HDFS、OSS、OBS等资源配置。

• UDF管理 支持UDF、UDAF、UDTF函数类型 支持Jar包、代码实现类型 支持Java、Scala、Python代码类型

• 任务组管理 对任务组进行配置，支持任务组最大并发量等参数配置。

• 任务组队列 任务组队列查看，可查看当前任务组运行量、等待量等信息。

• 任务组实例 可查看任务具体的运行中实例和等待中实例。

安全中心

• Worker分组 对任务执行时的分组信息，服务编排时可限定任务Worker分组,限定后任务在该分组内执行。

• 环境管理 在线配置Worker运行环境，一个Worker可以指定多个环境。

• 集群管理 每个服务编排定义可以绑定零到若干个集群用来支持多集群。

• 命名空间管理 支持多个命名空间，每个命名空间可以指定集群环境。

系统管理

• 系统管理模块是DGP的基础配置和管理中心，主要包括组织、角色、人员、菜单和基础配置（如文件存储）等功能。通过系统管理模块，用户可以轻松地进行用户管理和权限分配，确保平台的安全性和稳定性。同时，基础配置功能使得用户能够灵活配置平台的存储和文件管理等参数，满足不同的业务需求。

核心优势

• 高度集成与可扩展性

  • 多源数据集成： DGP支持多种数据源，包括关系型数据库、非关系型数据库等，并可通过插件扩展快速接入新的数据源，实现数据的全面整合。
  • 灵活扩展： 平台提供丰富的API接口和插件机制，允许用户根据业务需求进行自定义开发，扩展平台功能，满足个性化需求。

• 强大的数据治理能力

  • 全面数据治理： 涵盖元数据管理、主数据管理、数据标准管理、数据质量管理、数据血缘、数据安全管理、数据服务和数据生命周期管理等关键领域，形成闭环的数据治理体系。

• 高效的数据开发与调度

  • 可视化开发： 提供Flink SQL可视化开发环境，降低数据开发门槛，提高开发效率。
  • 智能调度： 支持多种任务类型和自定义调度策略，实现任务的自动化执行和监控，确保数据处理的及时性和准确性。

• 安全可靠的数据保障

  • 多层次安全防护： 通过身份认证、数据加密、数据脱敏等安全措施，保护数据安全，防止数据泄露和滥用。
  • 合规性管理： 支持数据安全规范和合规性检查，确保数据处理符合相关法律法规要求。

• 卓越的用户体验与易用性

  • 直观界面： 提供简洁明了的用户界面，降低学习成本，提高用户操作效率。

• 全面的支持与服务

  • 专业团队： 拥有专业的技术支持团队，提供及时、专业的技术支持和解决方案。
  • 社区与资源： 建立活跃的社区，提供丰富的文档、教程资源，帮助用户更好地使用平台。

• 持续优化与升级

  • 持续迭代： 不断关注行业动态和用户需求，持续优化平台功能，提高平台性能和稳定性。
  • 兼容性与适配： 确保平台与主流操作系统、数据库和中间件等兼容，方便用户在不同环境下部署和使用。