一、实验背景

1.1 实验目的

本次实验的核心目标是掌握助睿数智(Uniplore)一站式数据科学实验平台的基础操作流程,完成从订单数据源接入、数据清洗、字段处理到结果输出的完整数据加工任务,理解ETL(抽取、转换、加载)的核心逻辑,并学会运用平台零代码组件实现订单利润的分流处理与数据验证,为后续商业数据分析类任务打下基础。

1.2 实验环境

  • 实验平台:助睿数智(Uniplore)一站式数据科学实验平台
  • 数据源:平台提供的订单业务数据集,包含订单ID、商品信息、成本、售价、订单状态等字段
  • 工具支持:平台内置的表输入、记录集连接、字段选择、过滤记录、Excel输出等零代码数据处理组件

1.3 业务场景

电商平台在运营过程中,需要对订单数据进行精细化分析,其中订单利润计算与分流是基础且关键的环节。通过对订单数据的加工,我们可以:

  • 计算每笔订单的实际利润(利润=售价-成本-相关费用)
  • 筛选有效订单(排除取消、退款状态的订单)
  • 按利润区间对订单进行分流分类,为后续盈利分析、用户分层提供数据支撑

1.4 数据加工流程

整体流程分为6个核心阶段:

  1. 数据接入:通过表输入组件同步订单数据源
  2. 数据合并:使用记录集连接组件整合订单主表与明细表数据
  3. 字段处理:通过字段选择组件筛选所需字段,去除冗余信息
  4. 数据过滤:利用过滤记录组件剔除无效订单数据
  5. 利润计算:通过字段计算组件生成利润字段,并按利润区间分流
  6. 结果输出:通过Excel输出组件导出加工后的订单利润数据

二、实验步骤

2.1 登录实验平台

  1. 打开浏览器,访问助睿数智实验平台地址:
  2. 输入账号密码,完成登录操作,进入平台首页
  3. 确认平台环境正常,无登录异常或权限提示
    在这里插入图片描述
    4.进入实训平台
    在这里插入图片描述

2.2 基本概念了解

  • 学习助睿平台的核心术语:转换流、组件、数据源、字段映射、执行日志
  • 理解数据处理组件的作用:每个组件对应一个数据处理步骤,通过拖拽连接形成完整流程
  • 明确订单利润计算的业务逻辑,梳理所需字段与数据规则

2.3 团队管理

  1. 选择数据集成/ETL,进入数据集成页面
    在这里插入图片描述
    在这里插入图片描述
  2. 点击"团队管理"菜单,并点击"新增团队“
  3. 在弹出的窗口中团队名称和团队描述,点击"确认“
  4. 创建成功后,点击团队卡片右上角的"更多",选择"添加成员“
  5. 输入手机号查询组员,勾选后点击"添加"即可

2.4 创建实验项目

  1. 在平台首页点击「新建项目」,输入项目名称:`助睿ETL入门实验
  2. 点击「创建」,进入项目编辑界面
  3. 项目创建成功后点击该项目右上角"."“,点击"打开项目“

在这里插入图片描述
在这里插入图片描述

2.5 同步数据源

  1. 首先获取本次的实验数据集:点击"元数据",右键曰,点击"同步数据源"
  2. 切换"文件库"菜单再切换回到元数据,可以看到成功同步的数据库"线上公共数据源(Readonly)"

在这里插入图片描述

2.6 新建转换流

  1. 本次实验将创建"订单利润分流处理"转换流,实现订单数据与产品信息的关联,并根据利润正负将数据分流为盈利订单和亏损订单,分别输出到两个Excel文件。
    整体逻辑:订单明细表→左外连接产品信息表→移除重复ID字段→按利润≥0分流→盈利订单/亏损订单分别输出
  2. 新建转换流具体操作如下:
    切换到资源库,同样右键根目录,点击"新建转换流
    输入转换流名字"订单利润分流处理",点击"确定“
    创建成功后进入转换流设计页面
    转换流设计页面每次打开都是锁定状态,需要解锁后才可编辑转换流,点击图标进行解锁
    在这里插入图片描述

2.7 添加组件

按流程顺序,从组件库中拖拽以下组件到画布中:

  1. 表输入组件(2个,分别读取订单主表与明细表)
    右键表输入组件,点击"编辑组件"
    修改步骤名称中为订单_详细订单,点击"确认“,此时画布中的对应表输入组件被命名为"订单_详细订单“
    同样的,另一表输入组件修改为订单_产品信息

  2. 记录集连接组件(用于关联两张表数据)
    创建两个表输入组件到记录集连接组件的连接线,如下图:
    在这里插入图片描述
    在建立连接线时,会出现"排序需要"的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的,如果接收的数据是无序的,可能会造成记录连接结果出错。

  3. 字段选择组件(筛选所需字段)
    将字段选择组件名字修改为"移除产品ID_1字段"
    创建记录集连接组件到字段选择组件的连接线,如下图:
    在这里插入图片描述

  4. 过滤记录组件(剔除无效订单)
    创建字段选择组件到过滤记录组件的连接线,如下图:
    在这里插入图片描述
    在选择连接线的弹窗中点击"主输出步骤"。由于在进行字段选择操作时,可能有记录不满足要求,导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。

  5. Excel输出组件(导出最终数据)
    2个excel输出组件分别命名为"盈利订单"和"亏损订单",并创建过滤记录组件到两个excel 输出组件的连接线,在选择连接线类型的弹窗中分别选择"True输出"和"False’'输出
    ''True输出"表示满足过滤条件的记录输出。
    ''False输出"表示不满足过滤条件的记录输出。

  6. 至此,一个完整的转换任务流程构建完毕,如下图所示:
    在这里插入图片描述

2.8 配置组件信息

2.8.1 表输入组件配置
  1. 双击订单_详细订单表输入组件,弹出组件配置页面。在数据库连接下拉框中选择已同步的"线上公共数据源(Readonly)"如下图所示:
    在这里插入图片描述

  2. 点击"获取SQL查询语句",自动生成SQL查询语句。

  3. 点开"线上公共数据源(Readonly)""表"目录

  4. 下滑找到"business_anaylsis.order_detail"并点击它,再点击"确定"

  5. 系统自动填写了完整的SQL查询语句,点击"确认"。当自动生成的SQL语句无法满足业务需求时,也可以通过在文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可。
    在这里插入图片描述

  6. 另一个订单_产品信息表输入也参考上述配置,获取"business_anaylsis.product"的sQL查询语句
    在这里插入图片描述

2.8.2 记录集连接组件配置
  1. 双击记录集连接组件,在下拉列表中选择需要连接的数据来源
    第一个Transform选择订单_详细订单,第二个Transform选择订单_产品信息,连接类型选择LEFTOUTER

点击第一个Transform的连接字段中的"获得连接字段"按钮,即可获取表输入组件在订单_详细订单的查询到的字段

同样的,获取第二个Transform的连接字段

第一个Transform字段保留 produc_id,第二个Transform的字段保留 id,连接类型选择LEFTOUTER,表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接

第一个Transform字段中除了produc_id 外的其他字段,右键点击"删除选中的行",第一个Transform字段中除了id外的其他字段,右键点击"删除选中的行"
在这里插入图片描述

2.8.3 字段选择组件配置

1.双击"移除产品ID_1字段"字段选择组件,点击"移除",并点击"获取字段"
2.在获取的字段中选中除"id"字段以外的字段,右键点击"删除选中的行"
在这里插入图片描述

2.8.4 过滤记录组件配置

1.选择字段利润(profit)来作为判断字段,选中"profit(Number)“后点击"确定”
2.>=0作为判断条件,点击”=“,在函数中选择”>=“,点击"确定”
3.点击"value",值类型选择"Integer",值输入"o"点击"确定"
在这里插入图片描述

2.8.5 Excel输出组件配置

1.将接收到的结果写入到Excel表中,双击"盈利订单"excel表输出组件,在配置弹窗中,文件名修改为"盈利订单",选择文件拓展名"xlsx[Excel 2007and above]”
在这里插入图片描述
2.在配置弹窗中点击"输出字段",在空白表格处右键点击"获取字段"
在这里插入图片描述

3.亏损订单"的excel组件也进行同样的设置

2.9 执行转换

  1. 检查转换流中所有组件的连接是否正确,无断连或错误连线
  2. 点击画布上方的「执行」按钮,启动转换流
  3. 等待执行过程,平台实时显示每个组件的执行进度与状态
    在这里插入图片描述
    执行成功
    在这里插入图片描述

2.10 查看执行日志

在这里插入图片描述
在这里插入图片描述

2.11 查看结果

  1. 点击"文件库",右键根目录刷新,可以看到转换任务的输出结果:盈利订单和亏损订单,可以右键下载查看
    在这里插入图片描述

三、实验结果

3.1 数据输出结果

本次实验成功生成了盈利订单.xlsx和亏损订单.xIsx文件
实验成功实现了订单数据的关联与分流处理,为后续的盈利分析提供了规范的数据基础。

3.2 结果验证与分析

  • 数据完整性:导出文件包含订单ID、订单状态、成本价、售价、订单数量、order_profit、利润区间共7个字段,无缺失数据
  • 计算准确性:随机抽取10条订单数据,手动计算利润与分流分类,与平台结果完全一致
  • 业务价值:通过利润分流,可快速识别平台订单的盈利结构,低利润订单占比偏高,后续可针对性优化定价或成本策略

在这里插入图片描述


四、核心组件说明

组件名称 作用 本次实验配置要点
表输入 从数据源中读取数据 分别读取订单主表与明细表,确保字段映射正确
记录集连接 关联多张表的数据,实现数据合并 使用内连接,以订单ID为关联键,保证数据匹配
字段选择 筛选、重命名、去除冗余字段 仅保留订单利润计算所需字段,简化数据结构
过滤记录 按条件剔除无效数据 过滤出已完成状态的订单,保证数据有效性
字段计算 基于现有字段生成新的计算字段 实现订单利润的公式计算,生成核心业务字段
分流组件 按条件对数据进行分支处理 按利润区间将订单分为高、中、低三类,实现分流需求
Excel输出 将处理后的数据导出为Excel文件 配置导出路径、文件名与字段,确保结果可下载查看

五、问题与解决

问题现象 问题原因 解决方法
记录集连接后数据条数异常减少 订单主表与明细表的订单ID存在不匹配的情况,内连接剔除了不匹配数据 1. 更换为左连接,保留主表所有数据;2. 检查数据源,修正明细表中缺失的订单ID
字段计算组件中利润计算结果为负数 部分订单的成本价高于售价,属于正常业务数据,但前期未考虑到 调整过滤条件,新增“订单利润≥0”的筛选,或保留负数订单,标记为亏损订单单独分析
Excel输出文件下载失败 项目存储目录权限不足,或输出组件配置的文件路径无效 1. 更换为项目默认存储目录;2. 重新配置输出组件,使用平台推荐的文件路径格式
转换流执行报错,提示“字段不存在” 字段选择组件中删除了后续计算所需的字段 回溯组件配置,恢复被误删的成本价、售价字段,确保后续组件可正常调用

六、实验总结

6.1 实验收获

  1. 掌握了助睿数智平台的基础操作流程,包括项目创建、数据源同步、转换流设计与执行
  2. 理解了ETL数据处理的核心逻辑,能够运用零代码组件完成数据的抽取、清洗、转换与输出
  3. 学会了订单利润计算与分流的业务处理方法,掌握了数据过滤、字段计算、数据分类的平台操作
  4. 提升了数据问题排查能力,能够通过执行日志定位并解决组件配置、数据匹配等常见问题

6.2 平台整体评价

助睿数智平台的零代码数据处理功能非常友好,适合零基础用户快速上手ETL流程,组件化的设计降低了数据加工的技术门槛。平台内置的可视化配置与执行日志功能,让数据处理过程清晰透明,便于问题排查。但在复杂计算与大规模数据处理场景下,仍需进一步优化性能与组件功能,整体来说是商业数据分析入门的优质工具。


话题标签#助睿数智 #商业数据分析 #订单分析 #数据ETL


Logo

一站式 AI 云服务平台

更多推荐