一、实验背景

1.1 实验目的

掌握助睿 ETL 软件基本操作，包括新建转换、添加组件、执行转换；熟练运用表输入、记录集连接、字段选择、过滤记录、表输出等核心组件；实现多表关联、数据过滤与分流处理，完成订单数据与产品信息的关联，并根据利润正负将数据分流为盈利订单和亏损订单，分别输出到不同文件。

通过本次实验，具备独立运用助睿平台完成订单数据关联加工、过滤分流的实操能力，为后续应对复杂数据处理场景奠定坚实基础。

1.2 实验环境

实验依托助睿数智（Uniplore）一站式数据科学平台开展，该平台具备可视化ETL数据集成能力，全面覆盖数据接入、转换、加载全流程，支持零代码拖拽式开发，适配教学场景与企业日常数据加工需求。其官方网站https://www.uniplore.com/，本次实验的具体访问地址为https://lab.guilian.cn/。

采用MySQL数据库，包含订单数据与产品信息两张核心业务数据表，为实验提供基础数据支撑。

数据准备：订单表（business_anaylsis.order_detail）、产品表（business_anaylsis.product），两张表涵盖实验所需的全部业务数据，用于完成数据关联与分流处理。

1.3 数据加工流程

本次实验的数据加工流程整体为：通过表输入组件读取订单表与产品表数据→利用记录集连接组件实现两表关联→借助字段选择组件移除关联后产生的重复字段→通过过滤记录组件根据利润字段进行数据分流→将分流后的盈利与亏损订单数据通过Excel输出组件分别导出，完成整个ETL数据加工过程。

二、实验步骤

2.1 登录并进入实训平台

完成实训平台的登录操作后，直接进入ETL功能界面，准备开展后续实验操作。

2.2 团队管理

平台中的团队分为个人团队与协作团队两类，其中协作团队可实现团队成员之间的资源共享，便于多人线上协同完成工作任务，个人团队则由系统默认自动创建。本次实验为个人独立实验，无需创建协作团队；若有协作需求，可参考以下步骤创建协作团队：

• 进入团队管理模块，点击“新增团队”功能按钮；

• 输入团队名称、团队描述等必要信息后，即可完成协作团队的创建；

• 团队组长可通过输入组员手机号的方式，搜索并添加组员，实现团队协作配置。

2.3 项目创建

实验可直接使用系统默认创建的项目开展，但为了便于课程实验的统一管理，建议自主创建专属项目，具体操作步骤如下：

• 确定项目所属的团队，根据实际情况选择个人团队或已创建的协作团队；

• 完善项目相关信息，其中项目名称为必填项，且一旦确定后无法修改，其余信息可根据需求选填，完成后提交创建。

2.4 完成实验

点击项目右上角的“…”图标，选择“打开项目”，进入项目操作界面。

项目打开后，左侧显示三个核心库，其功能如下：

• 资源库：主要用于工作流的管理，涵盖工作流的新建、删除、修改、查看等操作，同时支持工作空间的导出导入以及调度管理等功能；

• 文件库：用于保存工作流运行过程中所需的文件，以及工作流执行后生成的各类结果文件；

• 元数据：用于定义工作流的“运行配置”“数据库”“flink集群”等相关配置，为工作流的运行提供基础参数支撑。

本次实验主要用到资源库和文件库，具体操作流程如下：

（1）同步数据源

选择左侧“元数据”模块，右键点击“关系数据库”，选择“同步数据源”选项；待数据源同步成功后，先点击“资源库”或“文件库”，再切换回“元数据”，即可看到线上公共数据源已成功添加。

（2）新建转换流

选择左侧“资源库”，右键点击根目录，选择“新建转换流”并为其命名；转换流设计页面每次打开时均处于锁定状态，需手动点击“解锁”后，方可进行后续编辑操作。

（3）添加组件

本次实验需对订单数据表（business_anaylsis.order_detail）和产品信息数据表（business_anaylsis.product）进行合并计算，具体组件添加步骤如下：

• 添加表输入组件：由于需要读取两张数据表的数据，需添加两个“表输入”组件，通过搜索组件名称并拖拽至设计画布即可完成添加；

  

• 添加记录集连接组件：两表数据读取完成后，需进行关联处理，搜索“记录集连接”组件并拖拽至画布，同时创建两个表输入组件到记录集连接组件的连线，实现数据传输；

• 添加字段选择组件：两表关联后会出现重复的“产品ID”字段，需添加“字段选择”组件移除重复字段，按照上述组件添加方法完成添加，并建立记录集连接组件到字段选择组件的连线；

• 添加过滤记录组件：本次实验需根据利润字段的值进行数据分流，搜索“过滤记录”组件并拖拽至画布，建立字段选择组件到过滤记录组件的连线，连线时选择“主输出步骤”（主输出步骤用于传输满足过滤要求的数据，避免不符合要求的数据被标记为错误）；

• 添加Excel输出组件：数据过滤后会分为两个数据流，本次实验将其以Excel格式导出，需添加两个“Excel输出”组件，双击组件将其名称分别修改为“盈利订单”和“亏损订单”，并建立过滤记录组件到两个Excel输出组件的连线。

  

（4）配置组件

• 表输入组件配置：右键点击第一个表输入组件，选择“编辑组件”，将组件名称改为“订单_详细订单”；在数据库一栏选择已同步的线上公共数据源，点击“获取SQL语句”，打开“表”目录并选择business_anaylsis.order_detail表单，依次点击确认，获取完整SQL语句后再次确认；另一个表输入组件命名为“订单_产品信息”，选择business_anaylsis.product表单，其余操作与上述一致。

• 记录集连接组件配置：进入组件编辑界面，点击“获得连接字段”；在第一个Transform中仅保留product_id字段，第二个Transform中仅保留id字段，删除其余字段后点击确认；若不小心误删字段，可重新点击“获得连接字段”进行恢复。

• 字段选择组件配置：将组件名称改为“移除产品ID_1字段”，选择“移除”选项，在下方空白区域右键点击“获取字段”，删除除id字段外的所有字段，点击确认完成配置。

• 过滤记录组件配置：将过滤记录组件与“盈利订单”“亏损订单”两个Excel输出组件相连，连接“盈利订单”时选择“True输出”，连接“亏损订单”时选择“False输出”。

  

进入组件编辑界面，设置匹配结果发送至“盈利订单”，不匹配结果发送至“亏损订单”

选择利润profit字段作为过滤判断字段

，设置判断条件为“≥0”。

• Excel输出组件配置：进入组件编辑界面，将文件名修改为与组件名一致（即“盈利订单”“亏损订单”），文件扩展名选择“xlsx[Excel 2007 and above]”；点击“输出字段”，在下方空白区域右键点击“获取字段”，获取完成后点击确认；两个Excel输出组件均按照此步骤配置。

（5）执行转换与查看结果

所有组件配置完成后，点击“开始”按钮执行转换任务；

任务执行过程中，系统会将各类操作信息写入执行日志，便于查看任务进度与异常情况。

任务执行完成后，点击左侧“文件库”，右键点击根目录并选择“刷新”，即可看到生成的两个Excel文件，完成实验操作。

三、实验结果

3.1 实验结果展示

盈利订单结果展示：导出的“盈利订单.xlsx”文件中，包含所有利润≥0的订单记录，数据完整且无异常。

亏损订单展示：导出的“亏损订单.xlsx”文件中，包含所有利润<0的订单记录，数据分类准确且无遗漏。

3.2 实验结果分析与验证

借助AI工具对盈利订单和亏损订单数据进行全量校验，未发现任何分类错误，数据分流逻辑完全符合“利润≥0为盈利订单、利润<0为亏损订单”的预设规则，整体分类准确率达到100%。具体数据统计如下表所示：

文件名称

处理记录数

利润校验标准

异常记录情况

盈利订单.xlsx

7,977 条

利润≥0，无负利润记录

0 条，无异常

亏损订单.xlsx

2,023 条

利润＜0，无非负利润记录

0 条，无异常

合计

10,000 条

分类标准合规

0 条异常记录

结合数据统计来看，本次实验共处理10,000条订单记录，成功导出盈利订单7,977条、亏损订单2,023条，数据总量与原始数据源记录数一致，无数据丢失情况。从利润分布来看，盈利订单利润集中在0~10108区间，平均利润394，整体盈利水平合理；亏损订单利润集中在-7978~-1区间，平均亏损额487，利润分布无异常极值，符合正常业务数据特征。

四、问题与解决

问题描述：配置记录集连接组件后，执行转换任务时出现连接失败报错，无法实现订单表与产品表的数据关联，任务无法正常推进。

问题原因：配置连接字段时，误将两个Transform中的关联字段选择错误，未将订单表的product_id字段与产品表的id字段正确匹配，且未删除多余无关字段，导致系统无法识别关联关系，触发连接失败。

解决方法：停止当前任务，重新进入记录集连接组件的编辑界面，点击“获得连接字段”，重新选择关联字段——第一个Transform保留订单表的product_id字段，第二个Transform保留产品表的id字段，删除其余所有无关字段，确认配置无误后保存；重新执行转换任务，两表成功关联，任务顺利推进。

五、实验总结

本次助睿零代码ETL平台实操实验，让我完整走完了数据ETL全流程，从前期项目搭建、数据源同步，到中期转换流设计、各类核心组件配置，再到后期任务执行、结果校验与问题排查，每一个环节都实现了理论与实操的结合。我不仅熟练掌握了表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置逻辑与使用技巧，更深刻理解了数据抽取、关联、清洗、分流、加载的完整ETL设计思路，具备了独立完成基础数据加工任务的能力。

对比传统依靠手写SQL、编写代码的数据处理模式，助睿零代码ETL平台的可视化拖拽开发优势十分突出，全程无需编写复杂代码，数据流向直观可见，流程调试和错误定位更加高效，大幅降低了数据处理的技术门槛，尤其适合零基础初学者快速上手，也能有效提升日常数据处理的工作效率。

通过本次实验，我也深刻意识到细节操作的重要性，组件参数配置、文件名设置、字段匹配等细微环节的疏忽，都会直接导致任务失败、结果出错。后续我会继续深耕该平台，学习更多高级组件用法与复杂流程设计思路，优化数据处理逻辑，强化实操细节把控，逐步提升复杂业务场景下的ETL处理能力，为后续专业学习和实际工作积累扎实的实操经验。