一、实验背景

1.1 实验目的

本次实验的核心目标是熟悉助睿零代码数据集成平台(ETL 平台)的核心功能与操作方法,具体来说,你将掌握以下技能:

  • 掌握新建转换、添加组件、执行转换等 ETL 基本操作流程
  • 熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的配置方法
  • 理解多表关联、数据过滤与分流处理的 ETL 设计思路

通过本次实验,你能够独立使用助睿平台完成常见的数据加工任务,为后续更复杂的数据分析场景打下坚实基础。

1.2 实验环境

本次实验基于助睿数智(Uniplore)一站式数据科学实验平台完成,平台定位为覆盖数据接入、ETL 处理、机器学习建模到可视化分析的全链路 Agentic 零代码数据智能平台。

1.3 业务场景

在企业经营分析场景中,我们经常需要将订单明细表与产品信息表关联起来计算订单利润,并按利润正负对订单进行分类存储。本次实验以订单利润分流为例,通过零代码拖拽的方式完成这一数据处理任务,为后续的盈利分析、亏损原因追踪提供规范的数据基础。

1.4 数据加工流程

订单明细表与产品信息表进行左外连接 → 移除重复字段 → 按利润是否大于等于 0 进行分流 → 分别输出盈利订单和亏损订单到两个独立的 Excel 文件中。


二、实验步骤

2.1 登录实验平台

  1. 打开贵兰在线课程学习页面,找到 “实验课 1:助睿 ETL 入门实验”。
  2. 点击课程实训说明中的 “大数据实训平台”,访问https://lab.guilian.cn/并登录,从贵兰在线进入实验平台可以自动登录,登录成功后进入实验平台首页。

2.2 基本概念了解

助睿一站式大数据平台中的数据集成平台,通过可视化方式做数据 ETL(抽取、转换、加载),核心概念如下:

表格

概念 说明
Pipeline(转换) 面向数据流,处理数据的一个功能单元,由多个 Transform 组成
Workflow(作业) 面向任务,完成一件完整的事,由多个 Action 组成,必须包含开始项
Transform(步骤) 转换内的最小单元,如 “Excel 输入”“字段选择”,每个步骤独立线程运行
Action(任务项) 作业的执行单位,如 “启动”“发送邮件”
Hops(节点连接) 数据传输通道,连接步骤或任务项

2.3 团队管理(可选)

在该环节,每个小组的组长可以创建该小组的团队,方便团队实验作业的管理:

  1. 进入实验平台后,选择数据集成 / ETL,进入数据集成页面。
  2. 点击 “团队管理” 菜单,并点击 “新增团队”。
  3. 在弹出的窗口中输入团队名称和团队描述,点击 “确认”。
  4. 创建成功后,点击团队卡片右上角的 “更多”,选择 “添加成员”,输入手机号查询组员,勾选后点击 “添加” 即可。

个人用户可直接跳过此步骤,使用默认团队即可。

2.4 创建实验项目

平台提供默认项目,也可以为课程创建专属项目:

  1. 选择创建的项目所属团队为 “商业数据分析小组 1”(也可以是个人)。
  2. 点击 “新建项目”,输入项目名称(如 “订单利润分流处理”),点击确认。
  3. 创建成功后,即可在数据集成页面看到新创建的项目。
  4. 在项目页面可以看到左侧有 “数据集、资源库、文件、元数据” 等菜单,本次实验主要用到资源库和文件库。

2.5 同步数据源

  1. 首先获取本次的实验数据集:点击 “元数据”,右键 “关系数据库”,点击 “同步数据源”。
  2. 切换 “文件库” 菜单再切换回到元数据,可以看到成功同步的数据库 “线上公共数据源 (read-only)”。c

2.6 新建转换流

本次实验将订单明细和产品信息两张表关联,实现订单数据与产品信息的关联,并根据利润正负将数据分流为盈利订单和亏损订单,分别输出到两个 Excel 文件。

  1. 切换到 “资源库”,同样在根目录下,右键 “新建转换流”。
  2. 输入转换流名字 “订单利润分流处理”,点击 “确定”。
  3. 创建成功后进入转换流设计页面,转换设计页面每次打开都是锁定状态,需要解锁后才可编辑转换流,点击右上角的解锁图标进行解锁。

2.7 添加组件

在建立转换任务后,可添加相应操作组件到转换任务中,按以下顺序向转换流中添加组件:

(1)添加两个「表输入」组件
  1. 在搜索框中输入 “表输入”,将组件拖拽到画布中,重复两次,添加两个表输入组件。
  2. 双击第一个表输入组件,修改名称为 “订单_详细订单”;双击第二个,修改为 “订单_产品信息”。
(2)添加「记录集连接」组件
  1. 在搜索框中输入 “记录集连接”,将组件拖拽到画布中。
  2. 创建两个表输入组件到记录集连接组件的连接线,将两个表输入的输出端连接到记录集连接的输入端。
(3)添加「字段选择」组件
  1. 在搜索框中输入 “字段选择”,将组件拖拽到画布中,修改名称为 “移除产品 ID 字段”。
  2. 创建记录集连接组件到字段选择组件的连接线。
(4)添加「过滤记录」组件
  1. 在搜索框中输入 “过滤记录”,将组件拖拽到画布中。
  2. 创建字段选择组件到过滤记录组件的连接线。
  3. 在选择连接线的弹窗中点击 “主输出步骤”。由于在进行字段选择操作时,可能有记录不满足要求,导致记录数据记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。
(5)添加两个「Excel 输出」组件
  1. 在搜索框中输入 “Excel”,将组件拖拽到画布中,重复两次,添加两个 Excel 输出组件。
  2. 2 个 excel 输出组件分别命名为 “盈利订单” 和 “亏损订单”,并创建过滤记录组件到两个 excel 输出组件的连接线,在选择连接线类型的弹窗中分别选择 “True 输出” 和 “False 输出”“True 输出” 表示满足过滤条件的记录输出。“False 输出” 表示不满足过滤条件的记录输出。

至此,一个完整的转换任务流程构建完毕。


三、组件配置(超详细步骤)

3.1 表输入组件配置

  1. 双击 “订单_详细订单” 表输入组件,弹出配置页面。
  2. 在数据库连接下拉框中选择已同步的 “线上公共数据源 (read-only)”。
  3. 点击 “获取 SQL 查询语句”,系统会自动生成 SQL 查询语句,点击确认。
  4. 打开 “线上公共数据源 (read-only)” 目录,下拉找到business_analysis.order_detail并点击它,再点击 “确定”。
  5. 用同样的方法配置 “订单_产品信息” 组件,选择business_analysis.product表,获取 SQL 并确认。

3.2 记录集连接组件配置

  1. 双击记录集连接组件,在下拉列表中:
    • 第一个 Transform 选择 “订单_详细订单”
    • 第二个 Transform 选择 “订单_产品信息”
    • 连接类型选择LEFT OUTER(左外连接)
  2. 点击第一个 Transform 的 “获得连接字段” 按钮,获取订单明细表的字段;同样获取第二个 Transform 的字段。
  3. 配置连接条件:第一个 Transform 字段选produc_id,第二个 Transform 字段选id,删除其余字段,只保留连接字段,点击确认。(删除多个字段可以按crtl并同时选中多个字段,右键删除)

3.3 字段选择组件配置

  1. 双击字段选择组件,点击 “移除”,再点击 “获取字段”。
  2. 在获取的字段中,选中重复的id字段(产品表的 id,和订单表的produc_id重复),右键删除选中的行。
  3. 确认后,id字段就被移除了,只保留订单表的字段,点击确认。

3.4 过滤记录组件配置

  1. 据业务需求需要将盈利订单和亏损订单分开存储,两个订单可以使用字段利润来区分。双击 “过滤记录” 组件,在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤,如下图:
  2. 双击过滤记录组件,配置过滤条件:
    • 字段选择profit(利润)
    • 条件选择>=(大于等于)
    • 值输入0
  3. 配置完成后,过滤记录的两个输出端:
    • 条件为true(利润≥0)连接 “盈利订单” Excel 组件
    • 条件为false(利润 <0)连接 “亏损订单” Excel 组件
  4. 点击确认,过滤条件配置完成。

3.5 Excel 输出组件配置

  1. 双击 “盈利订单” Excel 组件,在配置弹窗中:
    • 文件名称修改为 “盈利订单”,文件格式选择Excel 2007 and above(后缀名为.xlsx
    • 点击 “输出字段”,右键选择 “获取字段”,系统会自动获取所有字段,点击确认。
  2. 用同样的方法配置 “亏损订单” 组件,文件名改为 “亏损订单.xlsx”,获取字段后确认。

四、执行转换与查看结果

4.1 执行转换

所有组件配置完成后,点击画布上方的「启动」按钮,在弹出窗口中点击 “启动”,等待转换执行完成,执行成功后会显示 “执行成功” 提示。

4.2 查看执行日志

任务执行过程中,会自动记录日志,执行完成后,点击「日志」按钮,可以查看执行结果和报错信息,确认数据读取、关联、过滤、输出的每一步是否正常。

4.3 查看结果

  1. 回到项目页面,右键刷新文件目录,可以看到转换任务生成的两个 Excel 文件:盈利订单.xlsx亏损订单.xlsx
  2. 下载文件并打开后,验证数据结果:
    • 盈利订单文件中所有记录的利润值均≥0
    • 亏损订单文件中所有记录的利润值均 < 0
    • 两张表的关联字段匹配正确,无重复字段或缺失数据的情况

五、问题与解决

问题 1:Excel 输出获取不到字段

  • 问题现象:配置 Excel 输出时点击 “获取字段” 没有反应。
  • 问题原因:过滤记录到 Excel 输出的连接线类型选错了,盈利订单应连接 “True 输出”,亏损订单应连接 “False 输出”,连接错误导致没有数据流入 Excel 组件。
  • 解决方法:重新创建连接线并正确选择输出端,修改后获取字段恢复正常。

问题 2:Excel 输出组件因文件名相同导致执行报错

  • 问题现象:配置完两个 Excel 输出组件后执行转换,系统报错。
  • 问题原因:两个组件的默认输出文件名都是 “file”,没有修改,导致平台无法区分两个输出文件。
  • 解决方法:将盈利订单和亏损订单的 “文件名” 分别修改为 “盈利订单” 和 “亏损订单”,重新执行转换后成功生成文件。

问题 3:记录集连接后数据为空

  • 问题现象:配置记录集连接组件后,后续组件获取不到数据,数据为空。
  • 问题原因:连接字段配置错误,将订单明细表的produc_id字段写错为product_id,导致关联条件不匹配。
  • 解决方法:重新检查并修改连接字段,确保订单明细表的字段为produc_id,与产品信息表的id字段对应,修改后数据恢复正常。

六、实验总结

通过本次实验,你能完整掌握助睿数智平台零代码 ETL 的核心操作流程,从数据源同步、多表关联、字段处理到数据过滤与分流输出,每一步都亲自动手完成,对 ETL 数据处理的逻辑有了更直观的理解。

助睿数智平台的零代码可视化操作方式降低了 ETL 任务的学习门槛,无需编写复杂的 SQL 语句,通过拖拽组件即可完成数据处理任务,组件之间的数据流向清晰可见,便于理解和调试。对于初学者来说,这种方式降低了学习门槛,能够快速上手完成常见的数据加工任务。

Logo

一站式 AI 云服务平台

更多推荐