1. 活动 1.1. 数据管理成熟度评估需要计划 1.2. 确保实际可行的结果，应在计划内留出时间准备材料和评估结果，评估应在规定的短时间内进行 1.3. 目的是揭露当前的优势和改进的机会，而不是解决问题 1.4. 评估是通过向业务、数据管理和信息技术参与者征求意见来进行的，目的是在证据的支持下就当 ...

在广大社区成员的积极参与下，Apache DolphinScheduler社区答疑Star第一期评选活动圆满落幕！本次活动旨在表彰那些长期为社区用户提供专业解答、积极推动技术交流的社群管理员。经过社区成员的公开票选，在25个社区群中共有4位表现突出的管理员脱颖而出（因票数并列第三名共同获评）。让我们 ...

程序员最怕啥？不是需求改八遍，也不是半夜报警电话，而是数据库突然卡成PPT！尤其是当单表数据冲到几千万行，查询慢得像老牛拉车，这时候团队第一反应往往是：“赶紧分库分表！” 但兄弟，分库分表可不是什么温柔小姐姐，它更像是个浑身带刺的仙人掌——你以为抱上就能解决问题，结果可能扎得你嗷嗷叫。今天咱就聊点实 ...

1. 成熟度模型 1.1. 能力成熟度评估(Capability Maturity Assessment, CMA)是一种基于能力成熟度模型(Capability Maturity Model, CMM)框架的能力提升方案，描述了数据管理能力初始状态发展到最优化的过程 1.1.1. CMA概念源于美 ...

近日，中关村智联软件服务业质量创新联盟（简称“智联联盟”）发布了《关于公布第二批2024年度软件研发优秀案例获奖名单的通知》。此次评选旨在进一步推动软件产业高质量发展和信息技术应用创新，加强业内先进经验交流，推广软件优秀实践。 通知附件中详细列出了第二批2024年度软件研发优秀案例获奖名单，其中，白 ...

1. 方法 1.1. 解析建模 1.1.1. 实时访问可以解决批处理中的许多延迟问题 1.1.2. Apache Mahout是一个开源项目，旨在创建一个机器学习库 1.1.3. 解析模型与不同的分析深度相关联 1.1.3.1. 描述性建模以紧凑的方式汇总或表示数据结构 1.1.3.1.1. 这种方 ...

在 DolphinScheduler 中，调度时对时间参数的使用非常重要，尤其是当你在数据处理、ETL 任务或其他需要依赖时间范围的任务场景中。DolphinScheduler 允许通过多种方式灵活地配置时间参数，以适应不同的任务调度需求。以下是时间参数在 DolphinScheduler 调度中的 ...

1. 定义大数据战略和业务需求 1.1. 组织的大数据战略需要与其整体业务战略和业务需求保持一致并提供支持，并成为其数据战略的一部分 1.2. 一个组织的大数据战略将推动其明确大数据能力路线图的范围和时间 1.3. 组织试图解决什么问题，需要分析什么 1.4. 要使用或获取的数据源是什么 1.4.1 ...

1. 业务驱动 1.1. 期望抓住从多种流程生成的数据集中发现的商机，是提升一个组织大数据和数据科学能力的最大业务驱动力 1.2. 大数据可以通过对更多、更大的数据集进行探索来激发创新，这些数据可用来定义预判客户需求的预测模型，并实现产品和服务的个性化展示 1.3. 数据科学可以提升运营水平 1.4 ...

通过结合图计算与流计算，蚂蚁图计算开源的GeaFlow引擎解决了传统流计算引擎在大数据关联关系计算中的性能瓶颈，尤其在多跳场景下性能显著优于Flink，对于实时知识图谱的构建，提供了基础技术底座。 ...

亲爱的社区小伙伴们，Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值，实现自我“破圈”，这里是你最好的舞台，快来一起开启你的技术传播之旅吧！ 如果你热爱Apache DolphinScheduler，对大数据调度有着深厚的兴趣，并且愿意将你关 ...

1. 元数据来源 1.1. 元数据的来源各异 1.1.1. 大多数操作元数据是在处理数据时生成的 1.1.2. 最好是有意识地重新定义而不是简单地接受现有定义 1.2. 管理数据库所需的大部分技术元数据和使用数据所需的业务元数据，可以作为项目工作的一部分进行收集和开发 1.2.1. 应记录和整理讨论 ...

GSoC谷歌编程之夏活动火热进行中！今年，Apache DolphinScheduler项目也依然参与其中，设立了有趣且有挑战性的项目任务，与通用OIDC认证有关。欢迎有才华的你们来挑战！ GSoC的起源与目的 GSoC 即 Google Summer of Code（谷歌编程之夏），是谷歌公司发起 ...

此前我们曾用万字长文解释了Apache DolphinScheduler的Worker模块源码，今天，我们再来一起看看Master模块源码的原理。 Master Slot计算 核心代码逻辑： org.apache.dolphinscheduler.server.master.registry.Mas ...

1. 业务驱动因素 1.1. 可靠且良好管理元数据有助于 1.1.1. 通过提供上下文语境和执行数据质量检查提高数据的可信度 1.1.2. 通过扩展用途增加战略信息（如主数据）的价值 1.1.3. 通过识别冗余数据和流程提高运营效率 1.1.4. 防止使用过时或不正确的数据 1.1.5. 减少数据的 ...

1. 活动 1.1. 理解需求 1.1.1. 构建一个数据仓库与开发一套业务系统不同 1.1.2. 业务系统的开发取决于精确的、具体的业务需求 1.1.3. 数据仓库建设则是把数据汇集在一起，再以各种不同的方式使用这些数据 1.1.4. 要考虑业务目标和业务战略，确定业务领域并框定范围 1.1.5. ...

1. 业务驱动因素 1.1. 主要驱动力是运营支持职能、合规需求和商务智能活动 1.2. 用数据来证明他们是合规的，因为数据仓库中包含历史数据，所以经常被用来响应这类要求 1.3. 商务智能支持一直是建设数据仓库的主要原因 2. 目标 2.1. 支持商务智能活动 2.2. 赋能商业分析和高效决策 2 ...

1. 主数据管理活动 1.1. 识别驱动因素和需求 1.1.1. 每个组织都有不同的主数据管理驱动因素和障碍，受系统的数量和类型、使用年限、支持的业务流程以及交易和分析中数据使用方式的影响 1.2. 评估和评价数据源 1.2.1. 现有应用中的数据构成了主数据管理工作的基础，理解这些数据的结构和内容 ...

本文介绍了StarRocks数据库如何读取ORC加密文件，包括基础概念以及具体实现方案。深入探讨了利用ORC文件的四层结构和三层索引机制，实现高效查询加密数据。希望通过本文对ORC加密文件读取功能的实现细节的剖析，让读者更加深刻理解ORC文件，同时了解StarRocks支持加解密数据分析的方案。 ...

——企业级调度系统平滑迁移指南，附避坑全流程！ 随着互联网的飞速发展，电子邮件作为重要的信息交流工具之一，其数据处理和任务调度的需求日益增长。网易邮箱作为国内领先的电子邮件服务提供商，为了更好地应对海量数据的处理和任务调度挑战，引入了DolphinScheduler平台，并在实际应用中进行了深入的部 ...