助睿实验作业1-订单利润分流数据加工

一、实验背景

1.1 实验目的

本次实验旨在熟悉助睿零代码数据集成平台（ETL 平台）的核心功能与操作方法，具体目标包括：

1.掌握新建转换、添加组件、执行转换等 ETL 基本操作流程；

2.熟练掌握表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的配置方法；

3.理解多表关联、数据过滤与分流处理的 ETL 设计思路。

1.2 实验环境

1.零代码在线实验平台：本次实验采用助睿数智（Uniplore）一站式数据科学平台，该平台覆盖数据接入、ETL 处理、机器学习建模到可视化展示的全链路零代码功能，适用于数据分析教学与企业数据加工场景。产品官网：https://www.uniplore.com/，本次实验访问地址：https://lab.guilian.cn/。

2.数据库：MySQL（含订单数据和产品信息表）。

3.数据准备：订单表 business_anaylsis.order_detail、产品表business_anaylsis.product。

1.3 业务场景

在企业经营分析中，常需将多张业务表关联计算订单利润，并按利润正负对订单进行分类存储。本实验以订单利润分流为典型场景，通过零代码拖拽方式完成这一数据处理任务。

1.4 数据加工流程

订单明细表与产品信息表进行左外连接 → 移除重复字段 → 按 “利润是否≥0” 进行分流 → 分别输出盈利订单、亏损订单至两个独立的 Excel 文件。

二、实验步骤

2.1 登录实验平台

在贵兰在线对应的课程学习页面，点击 “实验课 1：助睿 ETL 入门实验”

点击课程实训说明中的 “大数据实训平台”，即可前往实验地址https://lab.guilan.cn/

从贵兰在线进入实验平台可以自动登录，登录成功后进入实验平台首页

2.2 基本概念了解

是什么：助睿一站式大数据平台中的数据集成平台，通过可视化方式做数据ETL（抽取、转换、加载）。

概念	说明
Pipeline（转换）	面向数据流，处理数据的一个功能单元，由多个Transform组成
Workflow（作业）	面向任务，完成一件完整的事，由多个Action组成，必须包含开始项
Transform（步骤）	转换内的最小单元，如"Excel输入"、"字段选择"，每个步骤独立线程运行
Action（任务项）	作业的执行单位，如"启动"、"发送邮件"
Hops（节点连接）	数据传输通道，连接步骤或任务项

                    转换工作流                                                                 作业工作流

2.3 团队管理

在该环节，每个小组的组长可以创建该小组的团队方便团队实验作业的管理

进入实验平台后，选择数据集成 / ETL，进入数据集成页面

点击 “团队管理” 菜单，并点击 “新增团队”

在弹出的窗口中填写团队名称和团队描述，点击 “确认”

创建成功后，点击团队卡片右上角的 “更多”，选择 “添加成员”

输入手机号查询组员，勾选后点击 “添加” 即可

2.4 创建实验项目

平台提供默认项目，可以使用默认项目进行实验，但为了方便管理，可以为课程创建专属项目。选择创建的项目所属团队为 “周一班潘朗清组”（也可以是个人）

点击"新建项目"

输入项目名称后点击“确定”

创建成功即可看到新建的项目

2.5 同步数据源

点击”打开项目“

在项目页面，可以看到左侧有 3 个菜单：资源库、文件、元数据

资源库用于对工作流的管理，包括新建、删除、修改、查看工作流的信息；导出导入工作空间；调度管理等操作

文件库用于保存工作流中需要用到的文件和工作流产生的文件元数据管理

是数据集成的重要基石，可以为工作流定义 “运行配置”、“数据库”、“flink 集群” 等配置

本次实验主要用到资源库和文件库

首先获取本次的实验数据集：点击 “元数据”，右键根 “关系数据库”，点击 “同步数据"

切换 “文件库” 菜单再切换回到元数据，可以看到成功同步的数据库 “线上公共数据源（RDB）”

2.6 新建转换流

我已经把图片里的文字完整提取出来了：

本次实验将创建“订单利润分流处理”转换流，实现订单数据与产品信息的关联，并根据利润正负将数据分流为盈利订单和亏损订单，分别输出到两个Excel文件。

整体逻辑：订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出

各组件作用：

组件	作用
表输入（订单/产品）	读取原始数据
记录集连接	按产品ID关联两表
字段选择	移除重复的ID字段
过滤记录	根据利润正负分流
Excel输出	分别输出盈利/亏损订单

新建转换流具体操作如下：

切换到资源库，同样右键根目录，点击“新建转换流”

输入转换流名字 “test”，点击 “确定”

创建成功后进入设计页面

转换流设计页面每次打开都是锁定状态，需要解锁后才可编辑转换流，点击��图标进行解锁

2.7 添加组件

在建立转换任务后，可添加相应操作组件到转换任务中。

下面以订单数据（business_anaylsis.order_detail）和产品信息数据（business_anaylsis.product）生成盈利订单数据和亏损订单数据为例来构建转换任务，按如下顺序向转换中添加组件：

（1）添加表输入组件本次实验需要将两类数据进行合并计算，所以需要添加 2 个表输入组件，读取 2 个不同表的数据。

点击 “组件库”，由于组件库的组件数量较多，可以通过关键字搜索快速获取在搜索输入框中输入 “表输入”，即可查询到 “表输入” 组件

表输入拖入到画布中

再次拖入

点击“编辑组件”

修改步骤名称中为订单_详细订单，点击 “确认”，该表输入组件被命名为 “订单详细订单”

同样的，另一表输入组件修改为订单_产品信息

（2）添加记录集连接组件使用表输入组件读取数据后，需要通过记录集连接组件将表输入组件的数据进行关联。在搜索输入框中输入 “记录集连接”，将记录集连接组件拖拽至画布中

创建两个表输入组件到记录集连接组件的连接线，如下图：

在建立连接线时，会出现 “排序需要” 的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的，如果接收的数据是无序的，可能会造成记录连接结果出错

1. 添加字段选择组件两个表数据进行连接后，会出现重复的字段 “产品 ID”。我们可以通过 “字段选择” 组件移除这个多余字段。在搜索输入框中输入 “字段选择”，将字段选择组件拖拽至画布中

将字段选择组件名字修改为 “移除产品 ID_1 字段”

创建记录集连接组件到字段选择组件的连接线，如下图：

（4）添加过滤记录组件本次实验是根据订单的利润情况对订单进行分流。使用 “过滤记录” 组件可以根据记录中某个字段的值进行记录分流。

在搜索输入框中输入 “过滤记录”，将过滤记录组件拖拽至画布中

创建字段选择组件到过滤记录组件的连接线，如下图：

在选择连接线的弹窗中点击 “主输出步骤”。由于在进行字段选择操作时，可能有记录不满足要求，导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。

（5）添加 excel 输出组件记录经过 “过滤记录” 组件后会被分成 2 个记录流。我们可以根据业务需求将 2 个记录流输出到指定位置（文件、数据库表）。在本次实验中，我们选择将记录输出到 Excel 文件中。

在搜索输入框中输入 “excel 输出”，将 2 个表输出组件拖到画布中。

2 个 excel 输出组件分别命名为 “盈利订单” 和 “亏损订单”，并创建过滤记录组件到两个 excel 输出组件的连接线，在选择连接线类型的弹窗中分别选择 “True 输出” 和 “False 输出”。

“True 输出” 表示满足过滤条件的记录输出。“False 输出” 表示不满足过滤条件的记录输出

完整流程图如下：

2.8 配置组件信息

2.8.1 表输入组件配

2.8.2 记录集连接组件配置 

2.8.3 字段选择组件配置

2.8.4 过滤记录组件配置

2.8.5 Excel 输出组件配置

2.9 执行转换

2.10 查看执行日志

2.11 查看结果

三、实验结果

输出文件	内容	说明
盈利订单.xlsx	profit ≥ 0 的订单	可进一步分析高利润产品
亏损订单.xlsx	profit < 0 的订单	可用于亏损原因追踪

四、核心组件说明

组件	作用	本实验配置要点
表输入	读取数据库表	配置数据源和 SQL，自动获取字段
记录集连接	多表关联	选择连接类型和连接字段
字段选择	字段筛选与重命名	移除重复的 id 字段
过滤记录	按条件分流	设置 profit ≥ 0
Excel 输出	导出结果	配置文件名和输出字段

五、问题与解决

在实验过程中遇到了两个问题：

问题1：Excel输出获取不到字段

解决方法：配置Excel输出时点击“获取字段”没有反应。原因是过滤记录到Excel输出的连接线类型选错了，盈利订单应连接“True输出”，亏损订单应连接“False输出”。重新创建连接线并正确选择后恢复正常。

问题2：Excel输出组件因文件名相同导致执行报错

解决方法：配置完两个Excel输出组件后执行转换，系统报错。检查发现两个组件的默认输出文件名都是“file”，没有修改。两个输出步骤使用了相同的文件名，导致平台无法区分。将盈利订单和亏损订单的“文件名”分别修改为“盈利订单”和“亏损订单”后，重新执行正确。

六、实验总结

通过本次实验，熟悉了助睿零代码ETL平台的基本操作方法，包括创建项目、同步数据源、新建转换流、添加和配置组件、执行转换以及查看结果。掌握了表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法，理解了多表关联和条件分流在数据处理中的应用。

相比传统编写SQL和脚本的数据处理方式，助睿平台的零代码拖拽式操作更加直观，组件之间的数据流向清晰可见，便于理解和调试。对于初学者来说，这种方式降低了学习门槛，能够快速上手完成常见的数据加工任务。