辛选集团数据建设历程以及数据在直播电商的应用

辛选集团简介

2. 辛选集团发展历程

辛选数据建设落地

1. 数据价值与定位

• 首先要数据要方便，线上化，减少表格操作；
• 智能检测业务环节中产生的数据，自动推送给相关部门，能高效快速地观察业务潜在的问题。

• 看现状：诊断业绩问题，全链路诊断。
• 看经营状况：是赚是亏，回款付款是否正常。
• 找机会：市场竞争格局，潜在的方向在哪里，什么品谁卖更加合适。

2. 困难与挑战

• 数据平台建设过程中，从零到一的搭建：
  梳理好业务场景，做好技术选型，搭建技术平台，虽然当前大数据技术相对比较成熟，但是还是需要结合成本+人+技术+交付时效综合考虑，选择当前最合适的，而不是大而全面，杀鸡不用宰牛刀；
  根据当前的业务体系，梳理数据源：①先接入和加工可以通过技术获取的数据；②技术不能获取的人工去获取；③很重要但是获取不到的数据，需要找各种外部资源来协助完成。
• 建立数据信任关系至关重要，与事业部和主播等业务前端紧密合作，通过人的服务驱动数据信任。
  有了数据不代表就可以用，满足需求的同时一定要快和准，对数据质量和数据广度要求很高；
  通过数据分析能发现业务中的问题和风险，及时反馈给各大事业部，需要人与人之间不断的去沟通和迭代；
  通过数据分析出外部新的机会，提供新的方向，品牌，不断的沟通和迭代；
  根据用户的需求和历史数据来判断货盘提出建议；
• 数据价值传递是核心，需要紧跟业务发展步伐，了解战略发展方向，明确团队在其中的角色。中高层团队与业务板块紧密联动，部分团队成员专注于主播服务，灵活的分工机制有助于传递数据价值。
• 数据价值的量化是最困难的部分，需要不断打磨，通过量化结果在 GMV 中明确数据的贡献，确保价值得到有效体现。

3. 建设数据体系的思路

4. 建设数据体系框架：企业架构框架-TOGAF 作为落地方法论

• 快速了解业务流程：团队成员在参与过程中能够深入理解业务需求和流程，为后续工作的精确执行打下基础。
• 快速了解数据现状：通过全面的业务架构分析，团队能够迅速掌握当前的数据状况和数据流程。
• 拉通业务流、数据流和资金流：在集团层面，数据不仅服务于各个事业部，还最终落到财务方面。业务流、数据流和资金流可以实现全方位打通，尽量去保证输入和输出。

• 业务架构优先：优先梳理业务架构，确保充分理解和定义业务需求及流程。
• 映射到数据应用架构：将业务架构映射到应用架构上，虽然并非所有业务都会在系统中实现，但我们仍将所有业务逻辑列出，确保全面覆盖。
• 明确输入和输出：在业务过程中产生的输入和输出都需要明确，最终的输出结果对我们数据团队而言，就是数据。
• 数据标准化和治理：在整理完所有业务产生的结果后，我们使用数据字典将其包起来，进行全面的数据指标治理，参考标准进行规范化管理。

5. 建设数据体系框架：业务架构整理和拆解

• 品牌和品引入：选择和引入符合直播平台的优质品牌，确保产品质量和市场竞争力。

• 供应链管理：管理和优化供应链长度，确保物资流通的顺畅和高效。

• 采购与招商：进行产品采购和招商活动，吸引优秀供应商和品牌入驻，以丰富直播内容。

• 核价：拆解产品结构，得到合理的报价，以及网上比价；

• 选品：符合用户需求同时规避风险。

• 产品上线：选定的产品通过直播渠道进行推广和销售，实现线上销售的闭环。

• 客户交付：确保产品顺利送达客户手中，所有环节紧密联动，以提供优质的客户服务。

• 商家入驻：涉及品牌引入和招商的流程，确保商家顺利入驻。

• 选品过程：包含核价与选品的环节，确保选出符合标准的产品。

• 销售与用户体验：从产品上线到客户交付，包含销售和用户使用体验的全过程。

• 一级流程梳理：确定在整个商业活动中有哪些对象参与，最高层的数据抽象，也是最真实的业务语言。

• 数据对象和业务流程对应：对所有参与的对象进行确认，无论相关数据是否已经存在，系统是否已经搭建，都进行标记并予以验证。

• 逐步拆解流程：按步骤拆解流程，一直细化到所有细节都清楚明确。

• 业务模块划分：我们的业务体系分为多个模块，包括直播交易、短视频交易、店铺自营交易、分销交易。

• 逐步拆解业务：将业务逐步拆解，直到每个细节都明确。通过这种方式，可以精确地展示出每个业务模块的度量值。

• 数据建模：这种详细的拆解方式使得数仓团队在建模时变得清晰。通过明确的度量值和数据指标，基础的 DWD 层数据整合模型建模过程变得更加顺畅，标准和治理维护也会很清晰。

• 数据分析：通过这种方法，分析团队也能够轻松找到所需数据，明确各项指标的位置。这些指标分为原子指标和组合指标，确保数据分析的精确性。

• 场景对照分析：分析团队可以根据不同场景进行对照分析，从而深入了解每个业务模块的表现情况。为分析找核心问题指标奠定了基础。

6. 建设数据体系框架：业务架构的业务拆解

• 寻找数据来源：不论数据是否存在，或存放何处，先标记和调研。例如：IT 系统中的数据（公司发展迅速，IT 系统不一定完善的情况下，有可能存在线下），以及行业数据如：抖音、淘宝、天猫等平台上的数据。

• 数据搜集：无论数据存放在哪，先将其逻辑汇总，再逐个去获取。

• 数据获取与使用：确认数据位置后，评估能否获取这些数据。接着，为产品提供报表或前端数据分析服务，利用前期搜集到的数据对象，确保数据标准化。

• 数据标准化：尽管存在多个事业部和子公司，数据来源繁多，数据多样化，文件存储格式不同，字段标识不同，表达和定义不同，数据值域不同，产生最后的指标也不同，数据统计进入数据中台，数据都要参考核心业务逻辑的统一清洗。在搭建数据中台的同时，采用边开发边治理的方式，解决过程中遇到的问题。

• 数据治理：数据治理的核心是保证数据质量，所以数据异常或逻辑不一致时，及时主动沟通业务方，要求其按标准模板处理数据，必要时采取强势措施，确保数据符合要求。数据架构的治理中落到实处技术层面操作最多的还是字段和值。

7. N15N：N 数据源，1 个大数据平台，5 套体系，N 个服务

• 技术体系和业务体系：除了技术和业务这两个核心支柱，我们的中台结构还包括多个基座。

• 四个基座：数据基座、模型体系、分析体系、数据管理体系。

• 应用形式：主要通过报表和移动端应用来呈现数据，并且不同角色可以根据需求查看相应的数据。

• 全链路看板与分析服务：数据管理体系基本实现了直播板块的全链路看板和分析服务，能充分满足直播业务的数据需求。

8. 技术架构

• 云服务：使用了阿里云，提供稳定的云服务基础设施。

• 计算资源：CPU 配置为 2000 核；内存配置为 7000GB。

• 存储资源：图片和视频的存储容量已达到 150 TB。

9.  数据分析体系

• 战略和商业分析：由于其特殊性，独立成一块，主要支撑公司的战略决策和商业发展。

• 经营分析：经营分析分为四个子板块：财务板块、业务板块、市场板块、KPI 板块。

• 开品：深度了解商品信息，指导线上销售。

• 选品：推荐适合不同主播销售的商品。

• 内容和风控：商品质量控制、定价和前端业务支持。

• 外部数据：分析市场趋势，指导选品策略。

• 每个商品都有详细标签（成分、作用、人群等）。

• 通过智能化工具生成标签，并与业务部门讨论可行性。

• 按类目细分商品池（从服饰、美妆扩展到其他类目）。

辛选数据建设的应用

1. 自营开品：自营供应链分析行情，开发新的产品的分析报告

• 市场大盘分析(看大盘)：首先，我们会查看京东、天猫、淘宝、抖音、快手等平台的大盘数据。接着，分析所开品类的赛道，评估赛道的规模和潜力。

• 增长趋势(看趋势)：分析品类的增长趋势。确定品牌和产品的范围，关注当前热销词和流行趋势。

• 品牌与品类分析(定赛道)：例如，一些国有品牌在线下销售很好，但线上表现欠佳，我们会重点分析这些品牌的线上潜力。

• 舆情分析(看用后感)：我们会在抖音、小红书、微博、京东、天猫等平台上搜索关键字，分析舆情。特别是对于食品和美妆产品，舆情分析的要求更高，关注消费者对安全、健康、功效的反馈。

• 产品定位(定产品)：确定核心产品的成分和功效，分析供应链和预估成本。为直播销售制定最佳的定价和销售策略。

• 差异化策略(定策略)：我们会提出差异化策略建议。

• 团队要求：对于团队的数据分析要求，我们不仅要懂得数据，还要深入理解业务并带点商业逻辑。只有这样，才能与业务部门达成共识，真正发挥数据分析的价值。

• 文化积累与意识培养：公司发展地特别迅速，在这样的背景下，各种行业的人才都聚集在一起，大家的背景不同，认知不同，共同走在一起协作，因此，我们需要不断沟通数据的意义，为业务添砖加瓦。

2. 通过数据驱动寻找行业新的机会，给主播选品方向

• 用户画像：通过分析用户的购物行为、评论和其他互动，来了解用户的年龄、爱好等属性。例如，看到某用户买了很多母婴产品，可以推测用户大概率是有几个宝宝，分别几岁，是男宝宝还是女宝宝。

• 主播画像：了解主播的风格和内容，分析他们的受众和卖什么产品最合适。

• 商品画像：对商品进行标签化处理，标记出它们的特点、适用人群和市场表现。例如，一款安全帽，我们知道它有电动车的用户。

• 为主播做选品推荐时，系统会自动生成推荐清单，告诉主播哪些商品是当前的热卖品、哪些品是适合他们的用户群体的，这样也可以不断的去完善模型，让准确度越来越高。

• 对于大主播系统的准确率在 70%-85% 之间，腰部主播能达到 80% 左右。

• 系统背后需要进行大量的数据治理和模型训练。

3. 通过数据驱动在选品过程中排除风险

• 发货监控：跟踪商品发货过程。例如，如果一个商品在 3 天或 5 天没有发货，需要提前预警。

• 历史数据分析：卖过，口碑不好；其他平台卖过用户反馈口碑也不好。

• 业务体系分解：建议大家了解并应用 TOGAF（某个业务架构框架），将整个业务体系进行细分，从而明确各指标之间的相互关系。识别出最重要的指标，并重点监控。例如，在财务管理中，我们追踪收入和支出，同样道理，风控也需要找出潜在的风险点。

• 指标关联与重要性：在整个选品及风控流程中，厘清哪个指标决定另一个指标的变化，并确定最重要的指标进行监测与管理。一旦确定了潜在的风险点，我们会与业务负责人一同评估，确定可行性和实施方案。

4. 数据安全的基础建设

• 加密，系统验证，账号多人登录限制，数据导出，外网访问权限等等。

• 日志跟踪和权限限制：实施日志跟踪，记录所有操作行为。限制访问权限，确保只有授权人员才能访问特定数据。

• 内部流程和网络改造：优化内部流程，确保所有操作都在公司的安全体系内进行。进行网络改造，提升基础设施的安全性。

• 系统访问截图水印等等。

• 核心数据库的账号权限管理以及日志。

• 数据安全意识的培训等等。