前言

本文是我在完成 助睿数智(Uniplore)一站式数据科学实验平台 入门实验时的完整学习笔记。实验任务是将订单明细表与产品信息表关联,并根据利润正负将数据分流为盈利订单和亏损订单,最终输出到两个 Excel 文件中。全程使用零代码拖拽操作,非常适合数据集成初学者参考。

  • 平台官网:https://www.uniplore.com
  • 实验平台地址:https://lab.guilian.cn/

一、实验背景

1.1 实验目的

本次实验旨在熟悉助睿数智零代码数据集成平台(ETL平台)的核心功能和操作方法,具体包括:

  • 掌握新建转换、添加组件、执行转换等基本操作流程
  • 熟悉表输入记录集连接字段选择过滤记录Excel输出等常用组件的配置方法
  • 理解多表关联数据过滤与分流处理的ETL设计思路

通过本次实验,我能够独立使用助睿平台完成常见的数据加工任务,为后续更复杂的数据处理场景打下基础。

1.2 实验环境

本次实验使用 助睿数智(Uniplore) —— 覆盖数据接入、ETL处理、机器学习建模到可视化展示的全链路 Agentic 零代码数据智能平台。

  • 实验平台:助睿零代码在线实验平台
  • 数据库:MySQL(含订单数据和产品信息表)
  • 数据准备:
    • 订单表:business_anaylsis.order_detail
    • 产品表:business_anaylsis.product

1.3 业务场景

在企业经营分析中,经常需要将多张表关联起来计算利润,并按利润正负对订单进行分类存储。本实验以订单利润分流为例,通过零代码拖拽方式完成这一数据处理任务。

1.4 数据加工流程

整体流程为:订单明细表 → 左外连接产品信息表 → 移除重复字段 → 按利润是否大于等于零进行分流 → 分别输出盈利订单和亏损订单到两个Excel文件
在这里插入图片描述


二、实验步骤

2.1 登录实验平台

在贵兰在线对应的课程学习页面,点击“实验课1:助睿ETL入门实验”。

(此处为原文档图:课程入口界面截图,media/image2.png)

点击课程实训说明中的“大数据实训平台”,即可前往实验地址

(此处为原文档图:点击大数据实训平台后的跳转界面,media/image3.png)

从贵兰在线进入实验平台可以自动登录,登录成功后进入实验平台首页。

(此处为原文档图:实验平台首页截图,media/image4.png)

2.2 基本概念了解

助睿实验平台是一个面向数据分析与教学的一站式零代码实验平台。下表是核心概念:

概念 说明
Pipeline(转换) 面向数据流,处理数据的一个功能单元,由多个Transform组成
Workflow(作业) 面向任务,完成一件完整的事,由多个Action组成,必须包含开始项
Transform(步骤) 转换内的最小单元,如“Excel输入”、“字段选择”,每个步骤独立线程运行
Action(任务项) 作业的执行单位,如“启动”、“发送邮件”
Hops(节点连接) 数据传输通道,连接步骤或任务项

(此处为原文档图:概念示意图1,media/image5.png)

(此处为原文档图:概念示意图2,media/image6.png)

2.3 团队管理

进入实验平台首页后,点击 数据集成/ETL,进入数据集成界面。

在该环节,每个小组的组长可以创建小组的团队方便团队实验作业的管理。点击“团队管理”菜单,并点击“新增团队”。

(此处为原文档图:团队管理菜单及新增团队界面,media/image7.png)

在弹出的窗口中输入团队名称和团队描述,点击“确认”。

(此处为原文档图:填写团队信息弹窗,media/image8.png)

创建成功后,点击团队卡片右上角的“更多”,选择“添加成员”。

(此处为原文档图:添加成员操作界面,media/image9.png)

输入手机号查询组员,勾选后点击“添加”即可。
在这里插入图片描述

可以观察到,成功添加了小组成员。
在这里插入图片描述

2.4 创建实验项目

平台提供默认项目,可以使用默认项目进行实验,但为了方便管理,我为课程创建了专属项目。选择创建的项目所属团队为“商业数据分析小组1”(也可以是个人),这里我选择的是个人。

点击“新建项目”。

(此处为原文档图:新建项目按钮位置,media/image16.png)

输入项目名称后点击“确定”。

(此处为原文档图:填写项目名称弹窗,media/image17.png)

创建成功后即可在数据集成页面看到新创建的项目。

(此处为原文档图:项目列表展示,media/image18.png)

2.5 同步数据流

项目创建成功后点击该项目右上角“”,点击“打开项目”。

(此处为原文档图:打开项目菜单,media/image19.png)

在项目页面,可以看到左侧有3个菜单:资源库文件库元数据

  • 资源库:用于对工作流的管理,包括新建、删除、修改、查看工作流的信息;导出导入工作空间;调度管理等操作。
  • 文件库:用于保存工作流中需要用到的文件和工作流产生的文件。
  • 元数据管理:数据集成的重要基石,可以为工作流定义“运行配置”、“数据库”、“flink集群”等配置。

本次实验主要用到资源库文件库

首先获取本次的实验数据集:点击“元数据”,右键根“关系数据库”,点击“同步数据源”。

(此处为原文档图:同步数据源操作截图1,media/image20.png)

(此处为原文档图:同步数据源操作截图2,media/image21.png)

2.6 新建数据流

本次实验将创建“订单利润分流处理”转换流,实现订单数据与产品信息的关联,并根据利润正负将数据分流为盈利订单和亏损订单,分别输出到两个Excel文件。

整体逻辑:订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出

各组件作用:

组件 作用
表输入(订单/产品) 读取原始数据
记录集连接 按产品ID关联两表
字段选择 移除重复的ID字段
过滤记录 根据利润正负分流
Excel输出 分别输出盈利/亏损订单

新建转换流具体操作如下

切换到资源库,同样右键根目录,点击“新建转换流”。

(此处为原文档图:新建转换流右键菜单,media/image22.png)

输入转换流名字“订单利润分流处理”,点击“确定”。

(此处为原文档图:命名转换流弹窗,media/image23.png)

创建成功后进入转换流设计页面。

(此处为原文档图:转换流设计页面空白画布,media/image24.png)

转换流设计页面每次打开都是锁定状态,需要解锁后才可编辑转换流,点击图标进行解锁。

(此处为原文档图:解锁画布图标位置,media/image25.png)

2.7 添加组件

在建立转换任务后,可添加相应操作组件到转换任务中。

下面以订单数据(business_anaylsis.order_detail)和产品信息数据(business_anaylsis.product)生成盈利订单数据和亏损订单数据为例来构建转换任务,按如下顺序向转换中添加组件:

(1)添加表输入组件

本次实验需要将两类数据进行合并计算,所以需要添加2个表输入组件,读取2个不同表的数据。

点击“组件库”,由于组件库的组件数量较多,可以通过关键字搜索快速获取。在搜索输入框中输入“表输入”,即可查询到“表输入”组件。

(此处为原文档图:搜索表输入组件截图,media/image26.png)

将表输入组件拖拽至画布中。

(此处为原文档图:拖拽第一个表输入,media/image27.png)

再次拖拽表输入组件拖拽至画布中,即拖拽2个表输入组件至画布中。

(此处为原文档图:两个表输入组件在画布中,media/image28.png)

右键表输入组件,点击“编辑组件”。

(此处为原文档图:编辑组件右键菜单,media/image29.png)

修改步骤名称中为“订单_详细订单”,点击“确认”,此时画布中的对应表输入组件被命名为“订单_详细订单”。

(此处为原文档图:重命名表输入组件界面,media/image30.png)

同样的,另一表输入组件修改为“订单_产品信息”。

(此处为原文档图:重命名第二个表输入组件,media/image31.png)

(2)添加记录集连接组件

使用表输入组件读取数据后,需要通过记录集连接组件将表输入组件的数据进行关联。

在搜索输入框中输入“记录集连接”,将记录集连接组件拖拽至画布中。

(此处为原文档图:搜索并拖拽记录集连接组件,media/image32.png)

创建两个表输入组件到记录集连接组件的连接线,如下图:

(此处为原文档图:两个表输入到记录集连接的连线1,media/image33.png)

(此处为原文档图:两个表输入到记录集连接的连线2,media/image34.png)

(3)添加字段选择组件

两个表数据进行连接后,会出现重复的字段“产品ID”。我们可以通过“字段选择”组件移除这个多余字段。

在搜索输入框中输入“字段选择”,将字段选择组件拖拽至画布中。

(此处为原文档图:搜索并拖拽字段选择组件,media/image35.png)

将字段选择组件名字修改为“移除产品ID_1字段”。

(此处为原文档图:重命名字段选择组件,media/image36.png)

创建记录集连接组件到字段选择组件的连接线,如下图:

(此处为原文档图:记录集连接到字段选择的连线,media/image37.png)

(4)添加过滤记录组件

本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。

在搜索输入框中输入“过滤记录”,将过滤记录组件拖拽至画布中。

(此处为原文档图:搜索并拖拽过滤记录组件,media/image38.png)

创建字段选择组件到过滤记录组件的连接线,如下图:

在选择连接线的弹窗中点击“主输出步骤”。由于在进行字段选择操作时,可能有记录不满足要求,导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。

(此处为原文档图:选择主输出步骤弹窗,media/image39.png)

(5)添加 Excel 输出组件

记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置(文件、数据库表)。在本次实验中,我们选择将记录输出到 Excel 文件中。

在搜索输入框中输入“excel 输出”,将2个表输出组件拖拽至画布中。

(此处为原文档图:搜索并拖拽Excel输出组件,media/image40.png)

2个excel输出组件分别命名为“盈利订单”和“亏损订单”,并创建过滤记录组件到两个excel输出组件的连接线,在选择连接线类型的弹窗中分别选择“True输出”和“False输出”。

  • “True输出”表示满足过滤条件的记录输出。
  • “False输出”表示不满足过滤条件的记录输出。

(此处为原文档图:连接到盈利订单(True输出),media/image42.png)

(此处为原文档图:连接到亏损订单(False输出),media/image43.png)

2.8 配置组件信息

组件添加完成后需要对其进行相应配置。

2.8.1 表输入组件配置

双击 订单_详细订单 表输入组件,弹出组件配置页面。在数据库连接下拉框中选择已同步的“线上公共数据源(Readonly)”如下图所示:

(此处为原文档图:选择数据源下拉框,media/image44.png)

点击“获取SQL查询语句”,自动生成SQL查询语句。

(此处为原文档图:获取SQL查询语句按钮,media/image45.png)

点开“线上公共数据源(Readonly)”-“表”目录。

(此处为原文档图:展开表和视图目录,media/image46.png)

下滑找到“business_anaylsis.order_detail”并点击它,再点击“确定”。

(此处为原文档图:选择订单表界面,media/image47.png)

在系统提示弹窗中点击“确认”。

(此处为原文档图:确认提示框,media/image48.png

系统自动填写了完整的SQL查询语句,点击“确认”。当自动生成的SQL语句无法满足业务需求时,也可以通过文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可。

(此处为原文档图:SQL自动填充界面,media/image49.png)

另一个 订单_产品信息 表输入也参考上述配置,获取“business_anaylsis.product”的SQL查询语句。

(此处为原文档图:配置产品表1,media/image50.png)

(此处为原文档图:配置产品表2,media/image51.png)

2.8.2 记录集连接组件配置

双击 记录集连接 组件,在下拉列表中选择需要连接的数据来源:

  • 第一个Transform选择“订单_详细订单
  • 第二个Transform选择“订单_产品信息
  • 连接类型选择“LEFT OUTER

(此处为原文档图:记录集连接基本配置界面,media/image52.png)

点击第一个Transform的“连接字段”中的“获得连接字段”按钮,即可获取表输入组件在订单_详细订单中查询到的字段。

(此处为原文档图:获取第一个表的连接字段,media/image53.png)

同样的,获取第二个Transform的连接字段。

(此处为原文档图:获取第二个表的连接字段,media/image54.png)

第一个Transform字段保留 produc_id第二个Transform的字段保留 id,连接类型选择LEFT OUTER,表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接。

第一个Transform字段中除了 produc_id 外的其他字段,右键点击“删除选中的行”;第二个Transform字段中除了 id 外的其他字段,右键点击“删除选中的行”。

(此处为原文档图:删除多余字段操作,media/image55.png)

删除完后,点击“确认”。若删除错误,可重新获取连接字段再进行删除。

(此处为原文档图:确认记录集连接配置,media/image56.png)

2.8.3 字段选择组件配置

通过记录集连接后,我们可以发现,字段 produc_id 与字段 id 内容相同,只需要保留一个。因此,需要使用“移除产品ID_1字段”字段选择组件的移除选项移除字段 id,具体操作如下:

双击“移除产品ID_1字段”字段选择组件,点击“移除”,并点击“获取字段”。

(此处为原文档图:字段选择移除标签页,media/image57.png)

在获取的字段中选中除“id”字段以外的字段,右键点击“删除选中的行”。

(此处为原文档图:选择要保留的字段(排除id),media/image58.png)

(此处为原文档图:右键删除选中的行,media/image59.png)

可以看到,字段“id”已被删除,点击“确认”。

(此处为原文档图:最终字段列表,media/image60.png)

(此处为原文档图:确认保存字段选择配置,media/image61.png)

2.8.4 过滤记录组件配置

根据业务需求需要将盈利订单亏损订单分开存储,两个订单可以使用字段“利润”来区分。

双击“过滤记录”组件,在弹窗中的下拉列表选择将结果发送给不同的后续处理步骤,如下图:

选择字段 利润(profit) 来作为判断字段,选中“profit(Number)”后点击“确定”;>=0 作为判断条件,在函数中选择“>=”,点击“确定”。点击“value”,值类型选择“Integer”,值输入“0”点击“确定”。

(此处为原文档图:过滤记录条件配置界面,media/image62.png)

2.8.5 Excel输出组件配置

将接收到的结果写入到Excel表中。

双击“盈利订单”excel表输出组件,在配置弹窗中,文件名修改为“盈利订单”,选择文件拓展名“xlsx [Excel 2007 and above]”。

(此处为原文档图:Excel输出基本配置(文件名、扩展名),media/image63.png)

在配置弹窗中点击“输出字段”,在空白表格处右键点击“获取字段”。

(此处为原文档图:获取输出字段操作,media/image64.png)

字段获取后,点击“确认”。

(此处为原文档图:输出字段列表,media/image65.png)

亏损订单”的excel组件也进行同样的设置。

(此处为原文档图:亏损订单配置1,media/image66.png)

(此处为原文档图:亏损订单配置2,media/image67.png)

2.9 执行转换

组件配置完成后,可执行转换任务,点击启动按钮。

(此处为原文档图:启动转换按钮位置,media/image68.png)

在弹出的窗口中点击“启动”,便可以看到执行结果。

2.10 查看日志

任务执行过程中,会将相关操作记录到日志中,任务执行完毕后,可查看执行结果及日志,如下所示。

(此处为原文档图:执行日志界面1,media/image69.png)

(此处为原文档图:执行日志界面2,media/image70.png)

2.11 查看结果

点击“文件库”,右键根目录刷新,可以看到转换任务的输出结果:盈利订单亏损订单,可以右键下载查看。

(此处为原文档图:文件库中的输出文件列表,media/image71.png)


三、实验结果

输出文件 内容 说明
盈利订单.xlsx profit ≥ 0 的订单 可进一步分析高利润产品
亏损订单.xlsx profit < 0 的订单 可用于亏损原因追踪

(此处为原文档图:盈利订单Excel预览,media/image72.png)

(此处为原文档图:亏损订单Excel预览,media/image73.png)

实验成功实现了订单数据的关联与分流处理,为后续的盈利分析提供了规范的数据基础。


四、问题与解决

在实验过程中我遇到了两个问题:

问题1:Excel输出获取不到字段

现象:配置Excel输出时点击“获取字段”没有反应。
原因:过滤记录到Excel输出的连接线类型选错了。盈利订单应连接“True输出”,亏损订单应连接“False输出”。
解决方法:重新创建连接线并正确选择后恢复正常。

问题2:Excel输出组件因文件名相同导致执行报错

现象:配置完两个Excel输出组件后执行转换,系统报错。
原因:检查发现两个组件的默认输出文件名都是“file”,没有修改。两个输出步骤使用了相同的文件名,导致平台无法区分。
解决方法:将“盈利订单”和“亏损订单”的文件名分别修改为“盈利订单”和“亏损订单”后,重新执行正确。


五、实验总结

我的收获

通过本次实验,我熟悉了助睿数智零代码ETL平台的基本操作方法,包括:

  • 创建项目、同步数据源、新建转换流
  • 添加和配置组件(表输入、记录集连接、字段选择、过滤记录、Excel输出)
  • 执行转换以及查看结果

掌握了多表关联和条件分流在数据处理中的应用,理解了零代码拖拽式ETL的设计思路。

对平台的评价

相比传统编写SQL和脚本的数据处理方式,助睿数智平台的零代码拖拽式操作更加直观:

  • 组件之间的数据流向清晰可见,便于理解和调试
  • 对于初学者来说,这种方式降低了学习门槛,能够快速上手完成常见的数据加工任务
  • 平台覆盖了从数据接入、ETL处理到可视化的全链路,后续可以进一步探索机器学习建模等功能

#助睿数智 #商业数据分析

Logo

一站式 AI 云服务平台

更多推荐