网易数帆是干什么的「网易数帆数据中台方案」

　　　网易数帆是什么平台

网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一代信息技术下实现数字化转型的需求。

　　　网易数帆是做什么的

• 　　网易数帆应用行业

网易数帆应用于金融、零售、制造、能源、电信、物流等多个行业领域

• 　　网易数帆合作客户

工商银行、浙商银行、银监会、人保金服、深圳证券交易所、名创优品、古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、吉利汽车、壳牌、南方电网、中国移动、中国联通、德邦快递等诸多大中型客户。

　　网易数帆数据中台方案

　网易按照数据治理的目的将其分为两个部分：

面向业务系统的数据治理：解决业务系统的跨业务、跨系统、跨流程的企业核心数据一致性、权威性和正确性问题。

面向数据分析的数据治理：解决的是数据分析过程中效率、质量、安全、成本、标准、价值问题。

　　1. 网易数帆数据治理的方法论DataFusion

网易数据治理的方法论，将传统的数据治理方法融入数据开发的全生命周期中，基于DataOps全生命周期数据开发底座，采用数据中台的数据架构，结合了网易特色的基于ROI的数据资产化实践，我们将其称为数据治理2.0

核心亮点：

• 　　开发与治理一体化
• 　　基于DataFabric的逻辑数据湖
• 　　采用DataOps的数据开发底座
• 　　数据中台架构，解决烟囱式数据开发
• 　　基于ROI的数据资产沉淀

　(1)数据开发与治理一体化

• 　　通过数据探查、生成值域约束
• 　　数据标准在数据元、元模型上绑定稽核规则
• 　　数据建模引用数据标准中数据元和元模型
• 　　根据表绑定的数据标准所关联的稽核规则，自动添加到表的稽核监控

　　(2)基于DataFabric逻辑数据湖

基于DataFabric逻辑数据湖的核心思想是构建一个跨平台的统一的数据集市。把HIVE、MySQL、Greenplum构建统一的聚合层，在此之上直接输送给BI，通过圈选数据集、物化视图完成业务开箱即用的效果，对用户来说，能够屏蔽底层不同数据源之间的数据实现过程。

　　(3)基于DataOps的数据开发底座

　　(4)数据中台的架构

数据中台包括三大核心：统一指标管理体系，高复用、规范公共层模型，以及数据服务化。

　　(5)基于ROI的数据资产沉淀

基于ROI的数据资产沉淀，我们通过可视化分析页面可以看到每个任务精细化的场景管理，能够让业务人员对于没用的数据进行持续的治理下线。

核算每个任务、查询、表的计算、存储资源消耗，并折算到钱，且分摊到每个数据报表，数据服务API应用层面;

“剥洋葱”式数据下线：从下游不再使用的数据应用开始，逐层向上游任务和数据下线归档，释放资源。

任务和查询成本预估，对于高消耗的任务和查询，进行审批管控

　　2. 量化的指标监控和分析

通过监控仪表盘里面的数据治理健康分，可以有不同维度的扣分，最终我们基于这个健康分，做不同业务之间的红黑榜，也是绩效管理的一种手段。

　　3. 持续运营-元数据质量发现和反馈

我们在持续运营过程中，数据资产消费者发现数据质量有问题的时候，可以去申请数据治理。数据管理部门可以指派工单的形式要求业务部门在规定的时间规定的地点完成数据对应问题的修复。

　　4. 企业数据文化建设

数据文化：

• 　　数据分析大赛、数据治理大赛、数据可视化大赛
• 　　数据开发工程师、数据可视化分析工程师资格认证

组织建设：

• 　　数据治理部，作为数据治理运营部门
• 　　业务部门配备数据治理专员
• 　　制定数据治理分数，作为红黑榜，推动业务部门的重视
• 　　与公司内部流程引擎结合，实现数据治理流程的工具化流转

　　5. 数据生产力组织架构

　　6. 面向治理的体系建设

技术是数据治理的基础，但有了技术还不够，还需要上面的组织、流程、考核以及政策，完善整个体系，才能最终实现人人用数据、时时用数据的愿景。

　　7. 数据战略

　　8. 企业数据资产门户——一站式的数据消费平台

通过一站式数据消费平台和门户,业务人员可以在门户上看到企业有哪些数据、哪些核心的报表、哪些核心的数据治理应用。

　网易数帆OneFusion 方法论具体包括以下内容：

　　(1)构建统一的指标管理体系

指标是数据和业务的交汇点，是数据分析需求的载体。如果指标口径定义不一致，就会导致看数据的人对数据的理解产生很大的障碍，最终导致数据失去分析价值。确保指标口径一致，就必须要实现指标的统一管理。指标统一管理需要组织架构、流程规范和工具产品的三者结合。首先，要有能够统一管理指标的组织，这个组织必须是跨业务部门的，一般就是数据中台部门。其次，要有统一的指标管理流程规范，包括指标的规范化定义，指标分类管理以及审批流程等。最后，指标的管理必须还要有与规范相配合的工具产品。

　　(2)设计高复用、规范的数据模型

网易数帆同样认为数据模型是构建数据中台的基石，推崇基于维度建模的数据模型设计的方法论。但是网易数帆认为，一个面向数据中台的模型设计，必须有一套可以量化的衡量标准，能够评价当前数据模型设计的质量。网易数帆推荐的数据中台的建设方式是采用迭代式构建，所以必须要对建设过程中模型的设计质量进行持续跟踪，确保模型的设计符合数据中台建设的规范和高复用的设计目标。为此，网易数帆提出了业界首个面向数据中台的模型设计标准，提出通过跨层引用率、模型引用系数等指标评价模型设计质量。

(3)基于 ROI 的数据资产沉淀

网易数帆认为一个企业中并不是所有的数据都能称之为数据资产，数据资产需要通过 ROI 的方式进行精细化管理。我们需要从数据应用的角度，计算整个数据加工链路上每个模型、任务消耗的资源，同时还要基于这个模型以及下游应用的用户使用情况进行价值衡量，最终要沉淀高价值的数据作为资产，消灭高成本低价值的数据。在数据中台模式下，数据分析需求一定面临井喷式增长，在有限的资源内，如何实现价值的最大化，必须依赖基于 ROI 方式的精细化管理。

　　(4)组合式数据服务

网易数帆认为数据服务一方面作为服务网关，提供了鉴权、日志、限流、熔断等能力，实现了数据的规范化交付，提高了数据交付的效率。同时，数据服务还必须具备编排的能力，通过 API 之间的组合，可以创建出满足不同应用场景的服务。此外，数据服务还能够提升数据管理的效率，数据服务打通了数据应用和数据模型的血缘，实现了数据血缘从源系统到数据应用的全链路覆盖。一方面出现问题的时候，数据中台可以快速评估影响范围，另外一方面，也可以通过数据服务，快速对脏数据进行止损。

　　(5)数据标准化

网易数帆认为在数据规范化建模之前，还要增加数据标准化作为前置步骤。在数据标注的制订过程中，需要明确每个数据元的唯一标识，枚举值范围，值域约束等。基于数据标准，一方面我们可以进行规范化建模，数据元可以形成数据模型中的字段。另外一方面，数据标准对应的值域约束，可以形成稽核规则，在模型上线后进行生产环境的稽核监控。

　　(6)主数据治理

主数据是指参与业务事件的主题或者资源，是具有高业务价值的、跨流程和跨系统重复使用的数据。虽然一般意义上认为，主数据的建设并不在数据体系构建的范围内，它是面向业务系统的，但是主数据却深刻影响着数据分析的质量。我们经常会发现不同业务过程中的相同实体标识不一致，最终导致无法跨业务流程联合分析。一般来说，构建企业全域实体数据标识统一有两种方式，第一种是通过主数据的方式，保证业务系统产生的数据本身就是统一的。第二种方式是在数据中台内部通过算法映射的方式进行转换连接。但是前者治本，后者治标。

　　3、DataProduct

虽然 Tableau 倡导的敏捷式自助分析极大地提升了数据分析的效率，但是不可否认的是 Tableau 的主要使用者还是一些数据分析师。前面我们提出，数据生产力的目标是实现人人用数据，时时用数据，要让能够参与企业运营的一线业务人员也能使用数据，网易数帆认为达成这样一个目标，就必须通过数据产品的方式实现。

数据产品的核心思想是打造一个数据驱动的业务决策执行的闭环。数据产品首先要完成数据组织，数据的组织结构中包含了用户应该要看哪些数据，看数据的逻辑是什么。接下来会进入一个循环，这个循环的起点是监控数据，发现异常指标。然后是针对异常指标进行根因分析，找到问题的原因。再下来就是根据原因，产生计划建议，这个时候要告诉用户，应该如何做才能解决问题。最后是用户采纳该建议，完成决策执行。

围绕这个流程，DataProduct 包含以下内容：

通过“数据门户”组织数据，聚焦业务场景。我们看到一个企业中，经常会存在多个 BI 工具，每个 BI 工具的报表的组织是通过目录树的方式进行组织，目录可能是分析师个人，也可能是组织部门，这样的一个数据分布非常零散，对一线业务人员来说，使用数据的成本非常高，他必须要知道我要看哪些数据，知道去哪里看这些数据，最终可能就导致他没办法真正去使用这些数据。解决这个问题的关键，是我们要从业务过程的视角去组织数据，而数据门户是数据组织的载体。

例如，在严选，我们针对不同的业务场景，设计了一系列的数据产品，在商品运营场景中，我们有大麦，在用户行为分析场景中，我们有神相，在供应链场景中，我们有河洛，在商品舆情监控场景中，我们有谛听，在市场渠道管理场景中，我们有刑天。这些数据产品，共同构建了严选全场景的数据消费，满足了不同场景下数据分析的需求。对于一个业务人员来说，他可以根据他从事的业务，去选择对应的数据产品，了解整个业务数据分析的思路。当然数据门户并不局限于 PC 端，我们为了服务于严选管理层看数，设计了 VipApp，可以随时随地的看到管理层希望看到的数据。

• 　　通过“智能预警”

发现业务问题。针对核心指标，可以设计灵活的规则，基于规则设置预警策略，进行实时监测，发现异常的数据，从而监控整个业务过程。例如，我们在商品运营场景中，商品销量是一个核心指标，我们设计一个规则，就是监控近 7 日主站在架商品 0 销量(不含赠品)的天数，预警策略就是大于等于 3 天，通过该异常监控，我们能够发现所有主站慢动销的商品，而这些产品是属于需要运营介入处理的商品。

• 　　通过“异动分析”

并找到问题原因。针对慢动销的商品，我们必须找出慢动销的原因，才能采取有效的措施进行干预。根因分析，首先要对指标进行拆解，指标拆解的方法可以参考经典的杜邦分析法，在前面的例子中，我们可以从转化分析的角度将商品销量按照支付用户数、人均支付件数进行拆解，支付用户数又可以进一步按照访问 uv 和转化率进行拆解。对于转化率我们又可以按照商品因素进一步拆解为 sku 缺货率和商品累计差评率以及商品详情页质量等因素。通过逐层分析，我们最终可以找到慢动销商品的原因。

• 　　通过“决策引擎”

将数据转化为有效决策。根据根因分析的结果，我们可以采取不同的措施进行干预。数据转化为决策可以依赖规则，也可以依赖算法。基于规则的就需要提前预置好决策流，基于决策引擎，发起计划建议。例如，在前面例子中，我们发现是商品缺货率最终导致了商品转化率下降，那就应该发起补货建议，根据过往的销量，我们可以设计规则，补多少货，向谁补货。

• 　　通过“机器学习”

智能化产生计划建议。在一些复杂的场景中，我们有必要借助一些机器学习算法来提升计划建议的精准性。例如在前面的案例中，我们也可以借助算法，实现销量预测，根据预测的结果发起最终的补货建议。

• 　　通过“连接中心”

完成决策执行。决策最终是要在业务系统中完成执行落地的，所以我们必须要将数据产品产生的决策建议能够方便的推送到业务系统中，完成决策的执行落地。例如，在前面的例子中，最终的补货建议必须推送给采购系统，在采购系统中完成补货流程，这个连接可以通过 API 的形式进行集成。

数据产品的设计必须结合业务场景，我们根据不同的业务场景，可以构建出一个企业的全场景数据产品矩阵，最终实现人人用数据，时时用数据的企业数据文化愿景。

　　数据生产力方法论与过往方法论的关系

从数据分析发展的历史轨迹来看，任何一个有生命力的方法论，它都不是凭空出现的，数据生产力的方法论也是如此，它是在过往数据分析理论的基础之上进行的融合式创新，与历史上的数据分析的方法论一脉相承，汇集了主流数据分析方法论的核心要素。

在 DataOps 要构建的数据发布流水线中 ，需要用到大数据、数据仓库和关系数据库的相关技术。在 DataFusion 要建设的企业公共数据层中，包含了数据中台、数据治理的相关内容。在 DataProduct 所要构建的全场景数据产品矩阵中，包括了商业智能、数据可视化以及数据挖掘的相关理论。数据生产力的三大方法论，是支撑我们实现“人人用数据，时时用数据”这个愿景的指导原则。

参考 郭忆，网易数帆有数产品技术负责人 发表的《一文详解网易数帆数据生产力方法论》