订单利润分流数据加工
实验背景
1.1 实验目的
本次实验旨在熟悉助睿零代码数据集成平台(ETL平台)的核心功能和操作方法,具体包括:
- 掌握新建转换、添加组件、执行转换等基本操作流程
- 熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法
- 理解多表关联、数据过滤与分流处理的ETL设计思路
通过本次实验,学生能够独立使用助睿平台完成常见的数据加工任务,为后续更复杂的数据处理场景打下基础。
1.2 实验环境
- 零代码在线实验平台:本次实验使用助睿数智(Uniplore)作为一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能,适用于数据分析教学与企业数据加工场景。产品官网为 https://www.uniplore.com,本次实验的访问地址为 https://lab.guilian.cn/。
- 数据库:MySQL(含订单数据和产品信息表)
- 数据准备:订单表(business_analysls.order_detail)、产品表(business_analysls.product)
1.3 业务场景
在企业经营分析中,经常需要将多张表关联起来计算利润,并按利润正负对订单进行分类存储。本实验以订单利润分流为例,通过零代码拖拽方式完成这一数据处理任务。
1.4 数据加工流程
订单明细表与产品信息表进行外连接,移除重复字段,按利润是否大于等于零进行分流,最后分别输出盈利订单和亏损订单到两个Excel文件。

二、实验步骤
2.1 登录实验平台https://lab.guilan.cn/

2.2 基本概念了解
是什么:助睿一站式大数据平台中的数据集成平台,通过可视化方式做数据ETL(抽取、转换、加载)。
|
概念 |
说明 |
|
Pipeline(转换) |
面向数据流,处理数据的一个功能单元,由多个Transform组成 |
|
Workflow(作业) |
面向任务,完成一件完整的事,由多个Action组成,必须包含开始项 |
|
Transform(步骤) |
转换内的最小单元,如"Excel输入"、"字段选择",每个步骤独立线程运行 |
|
Action(任务项) |
作业的执行单位,如"启动"、"发送邮件" |
|
Hops(节点连接) |
数据传输通道,连接步骤或任务项 |

2.3 团队管理

2.4 创建实验项目

2.5 同步数据源

2.6 新建转换流
本次实验将创建“订单利润分流处理”转换流,实现订单数据与产品信息的关联,并根据利润正负将数据分流为盈利订单和亏损订单,分别输出到两个Excel文件。
整体逻辑:订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出
|
组件 |
作用 |
|
表输入(订单/产品) |
读取原始数据 |
|
记录集连接 |
按产品ID关联两表 |
|
字段选择 |
移除重复的ID字段 |
|
过滤记录 |
根据利润正负分流 |
|
Excel输出 |
分别输出盈利/亏损订单 |

2.7 添加组件

2.8 配置组件信息
2.8.1 表输入组件配置


2.8.2 记录集连接组件配置

2.8.3 字段选择组件配置

2.8.4 过滤记录组件配置

2.8.5 Excel 输出组件配置




2.9 执行转换

2.10 查看执行日志

2.11 查看结果

三、实验结果
|
输出文件 |
内容 |
说明 |
|
盈利订单.xlsx |
profit ≥ 0 的订单 |
可进一步分析高利润产品 |
|
亏损订单.xlsx |
profit < 0 的订单 |
可用于亏损原因追踪 |
实验成功实现了订单数据的关联与分流处理,为后续的盈利分析提供了规范的数据基础。


四、问题与解决
在实验过程中遇到了两个问题:
问题1:Excel输出获取不到字段
解决方法:配置Excel输出时点击“获取字段”没有反应。原因是过滤记录到Excel输出的连接线类型选错了,盈利订单应连接“True输出”,亏损订单应连接“False输出”。重新创建连接线并正确选择后恢复正常。
问题2:Excel输出组件因文件名相同导致执行报错
解决方法:配置完两个Excel输出组件后执行转换,系统报错。检查发现两个组件的默认输出文件名都是“file”,没有修改。两个输出步骤使用了相同的文件名,导致平台无法区分。将盈利订单和亏损订单的“文件名”分别修改为“盈利订单”和“亏损订单”后,重新执行正常。
五、实验总结
通过本次实验,熟悉了助睿零代码ETL平台的基本操作方法,包括创建项目、同步数据源、新建转换流、添加和配置组件、执行转换以及查看结果。掌握了表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法,理解了多表关联和条件分流在数据处理中的应用。
相比传统编写SQL和脚本的数据处理方式,助睿平台的零代码拖拽式操作更加直观,组件之间的数据流向清晰可见,便于理解和调试。对于初学者来说,这种方式降低了学习门槛,能够快速上手完成常见的数据加工任务。

更多推荐




所有评论(0)