零代码ETL实操:CSV/Text/Excel文件数据抽取完整教程

📌 前言

ETL是数据处理、数据分析、数据建模的核心基础环节,其中多格式文件数据抽取是入门必备技能。相较于数据库直连抽取,CSV、TXT、Excel文件数据抽取,可完美解决外部数据源、跨防火墙、无数据库驱动等数据获取难题,适配绝大多数企业及教学数据预处理场景。

本文基于助睿Uniplore零代码数智平台,全程零代码操作,完整演示三类主流文件的数据读取、字段筛选、数据加工、结果输出全流程,步骤详细、可直接复刻,适合新手入门、课程实验、职场实操。

实验环境

1. 实验平台:助睿在线实验平台

2. 访问地址:https://lab.guilian.cn/

3. 核心产品:助睿数智(Uniplore)AI驱动一站式零代码数据智能服务平台

4. 操作子平台:助睿ETL数据集成平台

5. 产品官网:https://www.uniplore.com/

6. 平台能力:支持数据接入、ETL处理、机器学习建模、可视化大屏全链路零代码操作,适配高校教学、企业数据加工场景。

数据准备(必做)

本次实验所有数据文件均从平台「公共空间」获取,涉及3类核心文件:

1. CSV数据文件:project.csv(项目绩效分析数据)

2. 文本数据文件:usa_201209.txt(足球比赛数据)

3. Excel数据文件:custinfo.xlsx(购房者信息数据)

文件获取详细步骤

1. 登录助睿ETL平台,选择【数据集成】模块,进入【我的项目】,点击目标项目右侧【…】,选择【打开项目】。

2. 点击页面右侧【公共空间】,切换至【数据资源】标签页。

3. 找到对应数据文件,点击文件右侧【更多】,选择【导出】。

4. 在弹窗中确认文件名,选择导出路径(根目录即可),点击【确定】,文件自动保存至项目【文件库】。

5. 切换左侧导航栏【文件库】,右键刷新,即可查看已导出的实验文件。

一、实操一:CSV文件数据抽取与绩效自动化计算

实验目标:读取project.csv项目数据,通过开工、结束日期计算项目执行天数,自动判定项目绩效等级,输出标准化结果文件。

核心实现逻辑:CSV文件输入读取数据→字段筛选精简数据→计算器计算项目工期→数值范围判定绩效等级→文本文件输出结果。

详细操作步骤

1. 新建转换流,打开组件库,拖拽【CSV文件输入】组件至画布。

2. 双击【CSV文件输入】组件,点击【浏览文件】,在文件浏览器中选中已导出的project.csv,点击确定,自动回填文件路径。

3. 在组件下方数据区域右键,选择【获取字段】,自动解析CSV文件所有字段结构。

4. 点击组件【预览】,验证数据加载、字段解析是否正常,确认源数据无误。

5. 拖拽【字段选择】组件至画布,建立【CSV文件输入→字段选择】的组件连接。

6. 双击【字段选择】组件,在【选择和修改】页签右键【获取字段】,同步上游CSV文件所有字段,保持字段默认配置,无需修改参数,点击确认。

7. 拖拽【计算器】组件至画布,连接【字段选择→计算器】,连接类型选择【主输出步骤】(仅处理正常数据)。

8. 双击【计算器】组件,点击【插入】新增计算规则:

- 新字段:diff_date

- 计算公式:Date A - Date B (in days)

- 字段A:end_date(项目结束日期)

- 字段B:start_date(项目开工日期)

- 值类型:Integer(整数)

配置完成点击确认,实现项目执行天数自动计算。

9. 拖拽【数值范围】组件至画布,建立【计算器→数值范围】连接。

10. 双击【数值范围】组件,配置绩效判定规则:

- 输入字段:diff_date(工期天数)

- 输出字段:performance(绩效等级)

- 0≤x<30:excellent

- 30≤x<180:very good

- 180≤x<360:good

- x≥360:poor

配置完成点击确认。

11. 拖拽【文本文件输出】组件,建立【数值范围→文本文件输出】连接。

12. 双击【文本文件输出】组件,配置基础参数:

- 文件名称:porject_output

- 扩展名:csv

13. 切换至【内容】标签页,设置分隔符为英文逗号 ,

14. 切换至【字段】标签页,右键【获取字段】,同步上游所有计算后字段,点击确认保存配置。

15. 完整工作流搭建完成,点击画布左上角【运行】-【启动】,执行ETL流程。

16. 运行完成后,查看流程执行日志,进入文件库,查看生成的porject_output.csv结果文件。

二、实操二:TXT文本文件数据读取与字段筛选

实验目标:读取足球比赛txt文本数据,自定义分隔符解析文件,筛选核心字段、剔除冗余字段,验证数据流转完整性。

详细操作步骤

1. 新建转换流,拖拽【CSV文件输入】组件至画布(平台支持复用该组件解析文本文件)。

2. 双击组件,点击【浏览文件】,选中usa_201209.txt比赛数据文件,配置核心参数:

- 列分隔符:英文分号 ;

- 勾选【包含列头行】(以文件首行作为字段名)

3. 在数据预览区域右键【获取字段】,自动解析文本文件字段结构,点击确认。

4. 右键组件选择【预览输出】,验证文本数据读取、字段解析是否正常。

5. 依次拖拽【字段选择】、【空操作(什么也不做)】组件,搭建流转链路:CSV文件输入→字段选择→空操作,所有连接均选择【主输出步骤】。

6. 双击【字段选择】组件,切换至【移除】标签页,右键【获取字段】,选中【Venue】字段并删除,仅保留业务核心字段,点击确认。

  1. 点击画布【运行】-【启动】,执行数据处理流程。

  1. 右键【空操作】组件,选择【预览输出】,验证字段剔除、数据流转是否正常。

三、实操三:Excel文件数据读取与目标字段筛选

实验目标:读取购房者信息Excel数据,完成文件解析、工作表匹配、字段提取,筛选出购房影响因素核心字段,完成数据预处理。

详细操作步骤

1. 新建转换工作流,拖拽【Excel输入】组件至画布。

2. 双击组件,点击【浏览】,选中custinfo.xlsx购房者数据文件,点击【增加】添加至选中文件列表。

3. 切换至【内容】标签页,配置参数:

- 勾选【头部】(首行为字段名)

- 勾选【非空记录】(仅读取有效数据)

- 编码选择:UTF-8

4. 切换至【工作表】标签页,点击【获取工作表名称】,勾选Sheet1工作表,添加至右侧选中列表,确认仅读取Sheet1数据。

5. 切换至【字段】标签页,右键选择【获取来自头部的字段】,自动解析表格首行字段信息,点击确认。

6. 拖拽【字段选择】、【空操作(什么也不做)】组件,搭建流转链路:Excel输入→字段选择→空操作,连接均选择【主输出步骤】。

7. 双击【字段选择】组件,右键【获取字段】,仅保留【education(学历)】、【employment(就业情况)】两个核心分析字段,删除其余冗余字段,点击确认。

8. 点击画布【运行】-【启动】,执行预处理流程。

9. 右键【空操作】组件,预览输出数据,验证字段筛选效果与数据完整性。

实验总结

本次基于助睿Uniplore零代码ETL平台,完整完成了CSV、TXT、Excel三类高频文件的零代码数据抽取、清洗、筛选、加工全流程操作:

1. 掌握了不同格式文件的差异化解析配置(分隔符、编码、工作表、表头适配);

2. 熟练运用字段筛选、数值计算、范围判定等核心ETL组件,实现数据预处理与简单业务分析;

3. 全程无需编写代码,通过可视化拖拽+参数配置即可完成标准化数据处理,适配教学实验、企业基础数据加工场景。

以上操作是大数据分析、数据挖掘、数据建模的基础前置步骤,熟练掌握可快速应对各类结构化文件的数据预处理需求。

Logo

一站式 AI 云服务平台

更多推荐