助睿实验作业1-订单利润分流数据加工​

一、实验背景​

1.1 实验目的​

本次实验旨在熟悉助睿零代码数据集成平台（ETL 平台）的核心功能与操作方法，具体目标如下：

熟练配置表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件；

理解多表关联、数据过滤与分流处理的 ETL 设计思路；

能够独立完成订单利润计算与分类存储的数据加工任务；

1.2 实验环境​

实验数据表：订单表（business_anaylsis.order_detail）、产品表（business_anaylsis.product）

1.3 业务场景​

企业经营分析中，需将订单表与产品表关联计算单条订单利润，再按利润正负对订单分类存储，分别输出盈利订单与亏损订单的 Excel 文件，为经营分析提供规范数据。

1.4 数据加工流程​

订单明细表左外连接产品信息表 → 移除重复字段 → 计算利润 → 按profit ≥ 0过滤分流 → 分别输出盈利 / 亏损订单 Excel

二、实验步骤​

2.1 登录实验平台

在贵兰在线对应的课程学习页面，点击“实验课1：助睿ETL入门实验”

点击课程实训说明中的“大数据实训平台”，即可前往实验地址 数据智能平台

从贵兰在线进入实验平台可以自动登录，登录成功后进入实验平台首页

2.2 基本概念了解​

是什么：助睿一站式大数据平台中的数据集成平台，通过可视化方式做数据ETL（抽取、转换、加载）。

2.3 团队管理

在该环节，每个小组的组长可以创建该小组的团队方便团队实验作业的管理进入实验平台后，选择数据集成/ETL，进入数据集成页面

点击“团队管理”菜单，并点击“新增团队”

在弹出的窗口中团队名称和团队描述，点击“确认”

创建成功后，点击团队卡片右上角的“更多”，选择“添加成员”

输入手机号查询组员，勾选后点击“添加”即可

2.4 创建实验项目

平台提供默认项目，可以使用默认项目进行实验，但为了方便管理，可以为课程创建专属项目。​

选择创建的项目所属团队为“hyl”（也可以是个人）

点击“新建项目”

输入项目名称后点击“确定”

创建成功后即可在数据集成页面看到新创建的项目

2.5 同步数据源

项目创建成功后点击该项目右上角“…”，点击“打开项目”

在项目页面，可以看到左侧有3个菜单：资源库、文件、元数据​

资源库用于对工作流的管理，包括新建、删除、修改、查看工作流的信息；导出导入工作空间；调度管理等操作​

文件库用于保存工作流中需要用到的文件和工作流产生的文件​

元数据管理是数据集成的重要基石，可以为工作流定义“运行配置”、“数据库”、“flink集群”等配置​

首先获取本次的实验数据集：点击“元数据”，右键根“关系数据库”，点击“同步数据源”

切换“文件库”菜单再切换回到元数据，可以看到成功同步的数据库“线上公共数据源(Readonly)”

2.6 新建转换流

本次实验将创建“订单利润分流处理”转换流，实现订单数据与产品信息的关联，并根据利润正负将数据分流为盈利订单和亏损订单，分别输出到两个Excel文件。​

整体逻辑：订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出​

切换到资源库，同样右键根目录，点击“新建转换流”​

输入转换流名字“订单利润分流处理”，点击“确定”​

创建成功后进入转换流设计页面​

转换流设计页面每次打开都是锁定状态，需要解锁后才可编辑转换流，点击锁的图标进行解锁

2.7 添加组件

在建立转换任务后，可添加相应操作组件到转换任务中。​

下面以订单数据（business_anaylsis.order_detail）和产品信息数据（business_anaylsis.product）生成盈利订单数据和亏损订单数据为例来构建转换任务，按如下顺序向转换中添加组件：​

本次实验需要将两类数据进行合并计算，所以需要添加2个表输入组件，读取2个不同表的数据。​

点击“组件库”，由于组件库的组件数量较多，可以通过关键字搜索快速获取，在搜索输入框中输入“表输入”，即可查询到“表输入”组件​

将表输入组件拖拽至画布中

再次拖拽表输入组件拖拽至画布中，即拖拽2个表输入组件至画布中​

右键表输入组件，点击“编辑组件”

修改步骤名称中为订单_详细订单，点击“确认”，此时画布中的对应表输入组件被命名为“订单_详细订单”​

同样的，另一表输入组件修改为订单_产品信息

使用表输入组件读取数据后，需要通过记录集连接组件将表输入组件的数据进行关联。​

在搜索输入框中输入“记录集连接”，将记录集连接组件拖拽至画布中​

创建两个表输入组件到记录集连接组件的连接线，如下图：​

在建立连接线时，会出现“排序需要”的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的，如果接收的数据是无序的，可能会造成记录连接结果出错。​

两个表数据进行连接后，会出现重复的字段“产品ID”。我们可以通过“字段选择”组件移除这个多余字段。​

在搜索输入框中输入“字段选择”，将字段选择组件拖拽至画布中​

将字段选择组件名字修改为“移除产品ID_1字段”​

创建记录集连接组件到字段选择组件的连接线，如下图：​

本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。​

在搜索输入框中输入“过滤记录”，将过滤记录组件拖拽至画布中​

创建字段选择组件到过滤记录组件的连接线，如下图：​

在选择连接线的弹窗中点击“主输出步骤”。由于在进行字段选择操作时，可能有记录不满足要求，导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。​

记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置（文件、数据库表）。在本次实验中，我们选择将记录输出到 Excel 文件中。​

在搜索输入框中输入“excel 输出”，将2个表输出组件拖拽至画布中​

2个excel 输出组件分别命名为“盈利订单”和“亏损订单”，并创建过滤记录组件到两个excel 输出组件的连接线，在选择连接线类型的弹窗中分别选择“True输出”和“False输出”​

“False输出”表示不满足过滤条件的记录输出。​

至此，一个完整的转换任务流程构建完毕，如下图所示：

2.8 配置组件信息

2.8.1 表输入组件配置​

双击订单_详细订单表输入组件，弹出组件配置页面。在数据库连接下拉框中选择已同步的“线上公共数据源(Readonly)”如下图所示：​

点击“获取SQL查询语句”，自动生成SQL查询语句。​

点开“线上公共数据源(Readonly)”-“表”目录​

下滑找到“business_anaylsis.order_detail”并点击它，再点击“确定”

在系统提示弹窗中点击“确认”

系统自动填写了完整的SQL查询语句，点击“确认”。当自动生成的SQL语句无法满足业务需求时，也可以通过在文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可，​

另一个订单_产品信息表输入也参考上述配置，获取“business_anaylsis.product”的SQL查询语句

2.8.2 记录集连接组件配置​

双击记录集连接组件，在下拉列表中选择需要连接的数据来源​

第一个Transform选择订单_详细订单，第二个Transform选择订单_产品信息，连接类型选择LEFT OUTER​

点击第一个Transform的连接字段中的“获得连接字段”按钮，即可获取表输入组件在订单_详细订单的查询到的字段​

同样的，获取第二个Transform的连接字段​

第一个Transform字段保留 produc_id，第二个Transform的字段保留 id，连接类型选择LEFT OUTER，表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接​

第一个Transform字段中除了 produc_id 外的其他字段，右键点击“删除选中的行”，第一个Transform字段中除了id 外的其他字段，右键点击“删除选中的行”​

删除完后，点击“确认”，若删除错误，可重新获取连接字段再进行删除

2.8.3 字段选择组件配置​

通过记录集连接后，我们可以发现，字段 produc_id 与字段 id 内容相同，只需要保留一个，因此，需要使用“移除产品ID_1字段”字段选择组件的移除选项移除字段 id，具体操作如下：​

双击“移除产品ID_1字段”字段选择组件，点击“移除”，并点击“获取字段”​

在获取的字段中选中除“id”字段以外的字段，右键点击“删除选中的行”

可以看到，字段“id”已被删除，点击“确认”

2.8.4 过滤记录组件配置​

根据业务需求需要将盈利订单和亏损订单分开存储，两个订单可以使用字段利润来区分​

双击“过滤记录”组件，在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤，如下图：​

选择字段利润（profit）来作为判断字段，选中“profit(Number)”后点击“确定”​

>=0 作为判断条件，点击“=”，在函数中选择“>=”，点击“确定”​

点击“value”，值类型选择“Integer”，值输入“0”点击“确定”​

至此，过滤条件已配置完成，点击“确认”

2.8.5 Excel 输出组件配置​

将接收到的结果写入到Excel表中，双击“盈利订单”excel表输出组件，在配置弹窗中，文件名修改为“盈利订单”，选择文件拓展名“xlsx [Excel 2007 and above]”​

在配置弹窗中点击“输出字段”，在空白表格处右键点击“获取字段”​

字段获取后，点击“确认”

“亏损订单”的excel组件也进行同样的设置

2.9 执行转换

在弹出的窗口中点击“启动”​

​执行成功

2.10 查看执行日志

任务执行过程中，会将相关操作记录到日志中，任务执行完毕后，可查看执行结果及日志，如下所示

2.11 查看结果

点击“文件库”，右键根目录刷新，可以看到转换任务的输出结果：盈利订单和亏损订单，可以右键下载查看

三、实验结果

实验成功实现了订单数据的关联与分流处理，为后续的盈利分析提供了规范的数据基础。

四、核心组件说明​

五、问题与解决​

问题现象：两表关联后部分订单数据丢失，字段重复且排列混乱。

问题原因：连接类型选择错误，未使用左外连接；关联字段未正确匹配 product_id 与 id。

解决方法：将连接类型改为 LEFT OUTER，只保留关联关键字段，删除多余字段后重新执行。

问题现象：执行后盈利与亏损订单数据混在一起，分流失败。

问题原因：利润字段类型不匹配，条件 profit ≥ 0 未正确识别数值。

解决方法：在过滤组件中重新选择 profit 字段，确认数据类型为数字，重新设置判断条件后恢复正常。

六、实验总结

本次助睿实验作业 1-订单利润分流数据加工实验，是我首次系统使用助睿零代码 ETL 数据集成平台完成完整的数据加工流程。通过从登录平台、创建团队、新建项目、同步数据源，到搭建转换流、配置组件、执行转换、分流输出的全流程实操，我不仅熟悉了平台的操作逻辑，更深入理解了企业级 ETL 数据处理的核心思路与业务价值，整体收获十分充实。

在实验过程中，我逐步掌握了表输入、记录集连接、字段选择、过滤记录、Excel 输出等核心组件的功能与配置方法，能够独立完成数据库数据读取、多表关联匹配、重复字段清理、条件判断分流、结果文件导出等一系列标准数据处理操作。通过将订单表与产品表进行左外连接，计算订单利润，并按利润正负实现数据分流，我真切体会到 “数据抽取 — 转换 — 加载” 的完整 ETL 流程在实际经营分析中的作用，也理解了企业为什么需要通过数据清洗、关联、过滤来得到规范、可用、可直接用于分析的数据集。

同时，本次实验也让我意识到细节操作与问题排查在数据处理中的重要性。在配置组件、连接数据流、设置过滤条件的过程中，任何一个小失误都可能导致转换执行失败或结果异常。通过独立排查与修正错误，我提升了对 ETL 流程的理解能力与问题解决能力，也养成了先检查配置、再核对连线、最后执行运行的严谨操作习惯。

助睿数智平台的零代码、可视化、拖拽式操作模式，极大降低了数据集成的学习门槛，让我在不编写复杂代码的情况下，就能完成原本需要技术背景才能实现的数据加工任务。这种轻量化、高效率的工具使用体验，让我对大数据工具、数据治理、商业数据分析有了更直观、更贴近实际工作的认知。

总体而言，本次实验不仅让我熟练掌握了助睿 ETL 平台的基础操作与核心功能，更建立起完整的数据处理思维，提升了实操能力与逻辑思维能力，为后续更复杂的数据处理、数据可视化、机器学习建模等学习内容打下了坚实基础。在今后的学习与实践中，我将继续加强对 ETL 流程的理解，熟练运用数据处理工具，不断提升自身的数据分析与数据工程能力。