实验背景

1.1 实验目的

本次实验旨在熟悉助睿零代码数据集成平台(ETL平台)的核心功能和操作方法,具体包括:

  • 掌握新建转换、添加组件、执行转换等基本操作流程
  • 熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法
  • 理解多表关联、数据过滤与分流处理的ETL设计思路

通过本次实验,学生能够独立使用助睿平台完成常见的数据加工任务,为后续更复杂的数据处理场景打下基础。

1.2 实验环境
  • 零代码在线实验平台:本次实验使用助睿数智(Uniplore)作为一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能,适用于数据分析教学与企业数据加工场景。产品官网为 https://www.uniplore.com,本次实验的访问地址为 https://lab.guilian.cn/
  • 数据库:MySQL(含订单数据和产品信息表)
  • 数据准备:订单表(business_analysls.order_detail)、产品表(business_analysls.product)
1.3 业务场景

在企业经营分析中,经常需要将多张表关联起来计算利润,并按利润正负对订单进行分类存储。本实验以订单利润分流为例,通过零代码拖拽方式完成这一数据处理任务。

1.4 数据加工流程

订单明细表与产品信息表进行外连接,移除重复字段,按利润是否大于等于零进行分流,最后分别输出盈利订单和亏损订单到两个Excel文件。

二、实验步骤

2.1 登录实验平台https://lab.guilan.cn/

2.2 基本概念了解

是什么:助睿一站式大数据平台中的数据集成平台,通过可视化方式做数据ETL(抽取、转换、加载)。

概念

说明

Pipeline(转换)

面向数据流,处理数据的一个功能单元,由多个Transform组成

Workflow(作业)

面向任务,完成一件完整的事,由多个Action组成,必须包含开始项

Transform(步骤)

转换内的最小单元,如"Excel输入"、"字段选择",每个步骤独立线程运行

Action(任务项)

作业的执行单位,如"启动"、"发送邮件"

Hops(节点连接)

数据传输通道,连接步骤或任务项

2.3 团队管理

2.4 创建实验项目

2.5 同步数据源

2.6 新建转换流

本次实验将创建“订单利润分流处理”转换流,实现订单数据与产品信息的关联,并根据利润正负将数据分流为盈利订单和亏损订单,分别输出到两个Excel文件。

整体逻辑:订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出

组件

作用

表输入(订单/产品)

读取原始数据

记录集连接

按产品ID关联两表

字段选择

移除重复的ID字段

过滤记录

根据利润正负分流

Excel输出

分别输出盈利/亏损订单

2.7 添加组件

2.8 配置组件信息
2.8.1 表输入组件配置

2.8.2 记录集连接组件配置

2.8.3 字段选择组件配置

2.8.4 过滤记录组件配置

2.8.5 Excel 输出组件配置

2.9 执行转换

2.10 查看执行日志

2.11 查看结果

三、实验结果

输出文件

内容

说明

盈利订单.xlsx

profit ≥ 0 的订单

可进一步分析高利润产品

亏损订单.xlsx

profit < 0 的订单

可用于亏损原因追踪

实验成功实现了订单数据的关联与分流处理,为后续的盈利分析提供了规范的数据基础。

四、问题与解决

在实验过程中遇到了两个问题:

问题1:Excel输出获取不到字段

解决方法:配置Excel输出时点击“获取字段”没有反应。原因是过滤记录到Excel输出的连接线类型选错了,盈利订单应连接“True输出”,亏损订单应连接“False输出”。重新创建连接线并正确选择后恢复正常。

问题2:Excel输出组件因文件名相同导致执行报错

解决方法:配置完两个Excel输出组件后执行转换,系统报错。检查发现两个组件的默认输出文件名都是“file”,没有修改。两个输出步骤使用了相同的文件名,导致平台无法区分。将盈利订单和亏损订单的“文件名”分别修改为“盈利订单”和“亏损订单”后,重新执行正常。

五、实验总结

通过本次实验,熟悉了助睿零代码ETL平台的基本操作方法,包括创建项目、同步数据源、新建转换流、添加和配置组件、执行转换以及查看结果。掌握了表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法,理解了多表关联和条件分流在数据处理中的应用。

相比传统编写SQL和脚本的数据处理方式,助睿平台的零代码拖拽式操作更加直观,组件之间的数据流向清晰可见,便于理解和调试。对于初学者来说,这种方式降低了学习门槛,能够快速上手完成常见的数据加工任务。

Logo

一站式 AI 云服务平台

更多推荐