一、实验背景

（一）实验目的

1. 技能掌握目标：熟练使用助睿 ETL 内置文件抽取组件，掌握 CSV、TXT 文本、Excel 三类常见文件的零代码数据抽取、字段筛选、数据计算、条件分级、结果输出全流程操作；掌握计算器、数值范围、字段选择、空操作等通用转换组件配置逻辑；理解 ETL 数据接入、转换、输出基础原理。
2. 任务完成目标：
   1. 读取 CSV 项目数据，计算项目执行天数并自动划分绩效等级，输出处理后 CSV 结果文件；
   2. 读取分隔符 TXT 足球比赛文本数据，完成字段剔除，验证文本文件数据读取链路完整性；
   3. 读取 Excel 购房者信息表格数据，筛选指定业务分析字段，验证 Excel 数据源抽取流程。

（二）实验环境

1. 实验平台：助睿在线实验平台，助睿数智（Uniplore）一站式零代码数据智能平台，子模块为助睿 ETL 数据集成平台；
2. 平台访问地址：https://lab.guilian.cn/
3. 产品官网：https://www.uniplore.com/
4. 数据源文件（均从平台公共空间数据资源导出至项目文件库）：
   1. CSV 文件：project.csv（项目开工、完工时间等项目基础数据）；
   2. TXT 文本文件：usa_201209.txt（足球比赛日期、地点、主客队、比分数据，英文分号分隔）；
   3. Excel 文件：custinfo.xlsx（购房者年龄、学历、工作、家庭人数等购房调研数据）；
5. 平台特性：全链路零代码操作，覆盖数据接入、ETL 加工、结果预览、文件输出，适配高校教学与企业数据预处理场景。

（三）整体处理流程

本次实验分为三条独立 ETL 转换流，整体逻辑统一为数据源读取→字段筛选清洗→数据加工 / 验证→结果输出 / 预览：

1. CSV 处理流程：CSV 文件输入→字段选择→计算器（计算日期间隔）→数值范围（绩效分级）→文本文件输出（生成结果 CSV）；
2. TXT 文本处理流程：CSV 文件输入（适配分隔符文本）→字段选择（剔除无用字段）→空操作组件（数据链路验证预览）；
3. Excel 处理流程：Excel 输入→字段选择（保留业务目标字段）→空操作组件（结果校验预览）。

二、实验步骤

前置通用步骤：获取公共空间数据源文件

1. 操作说明：登录平台，将 project.csv、usa_201209.txt、custinfo.xlsx 从公共空间导出至项目文件库。
2. 关键截图：公共空间资源列表、导出弹窗、文件库刷新后文件列表截图。
3. 
4. 配置要点 （1）登录助睿 ETL 平台，进入「数据集成」-「我的项目」，打开目标项目； （2）右侧打开「公共空间」，切换至「数据资源」，找到对应文件，点击更多 - 导出； （3）导出路径选择项目根目录，确认导出； （4）左侧「文件库」右键刷新，确认文件已存在。

实验分支 1：从 CSV 文件抽取并加工项目数据

步骤 1：新建转换流，添加 CSV 文件输入组件

1. 操作说明：创建空白转换流，从组件库拖拽「CSV 文件输入」至画布。
2. 关键截图：空白画布、组件库拖拽组件界面截图。
3. 
4. 配置要点：画布完成组件放置，等待后续文件配置。

步骤 2：配置 CSV 文件读取路径，解析文件字段

1. 操作说明：双击 CSV 输入组件，浏览并选中 project.csv，自动解析文件结构。
2. 关键截图：组件配置弹窗、文件浏览器选中文件界面。
3. 
4. 

1. 配置要点 （1）点击浏览文件，选中项目库内 project.csv； （2）组件数据区域右键，选择「获取字段」自动识别表头； （3）点击预览，校验原始数据、字段读取是否正常。

步骤 3：添加并配置字段选择组件

1. 操作说明：拖拽「字段选择」组件，连接 CSV 输入主输出，筛选计算所需字段。
2. 关键截图：组件连线界面、字段选择配置窗口。

1. 配置要点 （1）连接线选择「主输出步骤」（正常数据链路）； （2）配置页右键获取上游全部字段，本案例无需修改字段名称、长度，保持默认。

步骤 4：添加计算器组件，计算项目执行天数

1. 操作说明：连接字段选择组件，新建日期差值计算字段 diff_date。
2. 关键截图：计算器配置新增计算规则界面。
3. 

1. 配置要点 （1）连线选择主输出步骤； （2）点击插入新增计算行，新字段命名 diff_date； （3）计算规则选择 Date A - Date B (in days)，字段 A 选 end_date，字段 B 选 start_date，值类型 Integer。

步骤 5：添加数值范围组件，划分绩效等级

1. 操作说明：连接计算器组件，按天数区间生成 performance 绩效字段。
2. 关键截图：数值范围区间配置界面。

1. 配置要点 （1）输入字段选择 diff_date，输出字段命名 performance； （2）区间规则：
   1. 0≤x＜30 → excellent
   2. 30≤x＜180 → very good
   3. 180≤x＜360 → good
   4. x≥360 → poor

步骤 6：配置文本文件输出组件，导出结果 CSV

1. 操作说明：拖拽「文本文件输出」，连接数值范围组件，配置输出文件参数。
2. 关键截图：输出组件文件、分隔符、字段配置页面。
3. 
4. 
5. 

1. 配置要点 （1）文件名称：porject_output，扩展名 csv； （2）内容标签页分隔符设置英文逗号，； （3）字段标签页右键获取全部上游字段，完整写入输出文件。

步骤 7：运行转换流

1. 操作说明：保存全部组件配置，启动转换流程。
2. 关键截图：完整工作流画布、运行启动弹窗。
3. 
4. 
5. 

1. 配置要点：点击画布左上角运行，弹窗点击启动执行流程。

实验分支 2：从 TXT 文本文件读取足球比赛数据

步骤 1：新建转换流，添加 CSV 文件输入组件读取 txt

1. 操作说明：新建转换，拖拽 CSV 输入组件读取 usa_201209.txt。
2. 关键截图：CSV 组件配置 txt 文件界面。
3. 
4. 
5. 

1. 配置要点 （1）浏览选中 usa_201209.txt； （2）列分隔符设置英文分号；，勾选包含列头行； （3）右键获取字段，预览原始数据校验解析效果。

步骤 2：搭建字段选择 + 空操作组件链路

1. 操作说明：依次拖拽字段选择、空操作组件，串联全部组件。
2. 关键截图：完整文本数据转换流画布。
3. 

1. 配置要点：两段连接线均选择「主输出步骤」。

步骤 3：配置字段选择，剔除 Venue 地点字段

1. 操作说明：打开字段选择组件，移除不需要的 Venue 字段。
2. 关键截图：字段选择移除标签配置界面。
3. 
4. 

1. 配置要点：切换至「移除」标签，获取字段后选中 Venue 执行删除。

步骤 4：运行流程并预览空操作输出

1. 操作说明：启动转换，在空操作组件预览筛选后数据。
2. 关键截图：运行日志、空操作数据预览窗口。

1. 配置要点：运行完成后右键空操作组件，选择预览输出校验结果。

实验分支 3：从 Excel 文件读取购房者信息数据

步骤 1：新建转换流，添加 Excel 输入组件

1. 操作说明：拖拽 Excel 输入组件，加载 custinfo.xlsx 文件。
2. 关键截图：Excel 文件选择配置弹窗。
3. 
4. 
5. 
6. 
7. 

1. 配置要点 （1）浏览选中 custinfo.xlsx，点击增加加入选中文件； （2）内容标签：勾选头部、非空记录，编码 UTF-8； （3）工作表标签：获取工作表名称，添加 Sheet1 至读取列表； （4）字段标签：右键获取来自头部的字段，自动识别表头。

步骤 2：搭建 Excel 输入→字段选择→空操作链路

1. 操作说明：添加字段选择、空操作组件，完成组件连线。
2. 关键截图：Excel 数据处理完整转换流。

1. 配置要点：所有连接线统一选择主输出步骤。

步骤 3：配置字段选择，仅保留目标分析字段

1. 操作说明：筛选保留 education、employment 两个业务字段。
2. 关键截图：字段选择保留字段配置界面。
3. 
4. 
5. 配置要点：获取上游全部字段，仅勾选 education、employment，其余字段删除。

步骤 4：运行流程并预览结果

1. 操作说明：启动转换，预览空操作组件输出数据。
2. 关键截图：Excel 数据预览结果界面。
3. 
4. 

1. 配置要点：运行完成后右键空操作组件预览输出，校验字段筛选效果。

三、实验结果

（一）CSV 文件处理结果

1. 输出文件：项目文件库生成 porject_output.csv 结果文件；
2. 数据内容：原始项目字段 + 新增 diff_date（项目执行天数）+ performance（绩效等级）；
3. 结果验证：
   1. 日期计算逻辑正确，end_date - start_date 天数无负数；
   2. 天数区间匹配预设分级规则，不同工期对应 excellent/very good/good/poor；
   3. 文件以英文逗号分隔，表头完整，无空乱码数据；
4. 佐证材料：porject_output.csv 文件预览截图。

（二）TXT 文本文件处理结果

1. 输出载体：空操作组件预览窗口，无落地文件；
2. 数据内容：保留比赛日期、主客队、比分等字段，已剔除 Venue 比赛地点字段；
3. 结果验证：
   1. 英文分号分隔文本解析正常，表头识别无误；
   2. 无用字段成功移除，数据完整传递至下游组件，链路无报错；
4. 佐证材料：空操作组件数据预览截图。

（三）Excel 文件处理结果

1. 输出载体：空操作组件预览窗口，无落地文件；
2. 数据内容：仅保留 education 学历、employment 工作两个目标字段，其余购房者信息全部过滤；
3. 结果验证：
   1. Excel Sheet1 数据正常读取，UTF-8 编码无中文乱码；
   2. 仅读取有效非空行，空记录自动过滤；
   3. 字段筛选生效，仅保留业务分析所需字段；
4. 佐证材料：Excel 数据预览截图。

整体结果总结

三类文件数据源均可通过助睿 ETL 零代码组件完成稳定抽取，数据转换、字段过滤、条件计算功能运行正常，输出数据符合预设业务规则，平台可完整实现文件型数据源 ETL 基础处理需求。

四、问题与解决

结合文件抽取实验常见场景，整理实操中易出现的问题、原因及解决方案：

问题 1：导入文件后，组件无法获取字段，预览无数据

1. 问题现象：选中文件后点击「获取字段」无响应，预览区域空白，读取不到任何数据；
2. 问题原因：①文件未成功导出至项目文件库，仅存在公共空间；②文件路径选择错误；③文本分隔符与实际文件不一致；④未勾选「包含列头行」；
3. 解决方法： （1）返回文件库右键刷新，确认目标文件存在； （2）重新浏览文件，选中项目空间内文件，不要直接读取公共空间资源； （3）核对文件分隔符，txt 文件需匹配分号 / 逗号，修改组件分隔符配置； （4）勾选包含列头行，重新执行「获取字段」。

问题 2：计算器 diff_date 计算出现负数、数值异常

1. 问题现象：部分数据 diff_date 为负数，绩效等级判定错乱；
2. 问题原因：源数据中存在 end_date 早于 start_date 的脏数据，未做前置过滤；
3. 解决方法：可新增过滤组件，过滤 end_date >= start_date 的有效数据，异常数据分流至错误步骤单独处理。

问题 3：Excel 读取出现中文乱码

1. 问题现象：预览数据中汉字显示乱码；
2. 问题原因：Excel 组件编码未设置为 UTF-8，默认编码不兼容中文；
3. 解决方法：切换 Excel 输入组件「内容」标签，编码下拉框选择 UTF-8，重新获取字段预览。

问题 4：运行流程时报错，提示字段不存在

1. 问题现象：流程启动失败，日志提示指定字段（start_date/Venue/education）不存在；
2. 问题原因：修改上游组件后未重新「获取字段」，下游组件缓存旧字段结构；
3. 解决方法：所有上下游组件依次点击「获取字段」同步最新字段结构，保存配置后重新运行。

问题 5：文本输出 CSV 文件全部数据挤在同一列

1. 问题现象：导出 porject_output.csv 打开后所有字段合并为一列；
2. 问题原因：输出组件分隔符使用中文逗号、顿号，未设置英文逗号；
3. 解决方法：打开文本文件输出组件，内容标签页分隔符改为英文半角逗号，。

五、实验总结

（一）实验收获

1. 技术技能层面 （1）掌握助睿 ETL 三大文件输入组件：CSV 输入（兼容 txt 分隔文本）、Excel 输入的完整配置流程，理解文件路径、分隔符、表头、编码、工作表等核心参数作用； （2）熟练使用通用转换组件：字段选择（保留 / 删除字段）、计算器（日期差值计算）、数值范围（条件分级）、空操作（链路校验）、文本文件输出； （3）理解 ETL 标准流程：数据源接入→清洗筛选→数据加工→结果输出，区分主输出步骤、错误步骤两种数据分流逻辑； （4）学会平台数据校验方法：组件预览、空操作验证、输出文件查看，能够快速定位数据读取、加工异常。
2. 业务思维层面 （1）理解文件交换式数据抽取适用场景：外部供应商数据、无法直连数据库的受限数据源； （2）掌握数据预处理基础思路：按需筛选字段减少数据冗余、基于业务规则衍生计算字段、通过区间条件完成业务评级。

（二）助睿 ETL 平台整体评价

1. 优势 （1）零代码可视化拖拽操作，无需编程，上手门槛低，适合教学入门； （2）内置完善文件抽取组件，原生支持 CSV、TXT、Excel 多类文件，自动解析表头、字段，无需手动编写解析代码； （3）组件功能模块化拆分，计算、筛选、分级功能独立，逻辑清晰，便于分步调试； （4）自带实时预览、运行日志、错误分流能力，数据问题定位简单； （5）配套公共空间样例数据，无需自行准备数据源，适配高校实验教学场景。
2. 可优化点 （1）文件路径层级较多，多次导出、刷新文件库操作步骤繁琐； （2）每次修改上游组件后，下游组件需手动重新获取字段，无自动同步机制； （3）缺少内置数据过滤组件，针对脏数据（如结束日期早于开工日期）需额外拓展组件实现。
3. 综合结论：该平台是学习 ETL 基础数据抽取的优质工具，能够快速建立数据集成思维，适合零基础学习者掌握文件类数据源处理全流程，可为后续数据库抽取、大数据建模、可视化分析打下扎实基础。