【大数据实验】基于助睿ETL实现自媒体运营数据清洗与预处理

xue狐

112人浏览 · 2026-07-06 13:47:45

xue狐 · 2026-07-06 13:47:45 发布

✨ 实验系列：大数据自媒体运营分析实验7-1

✅ 实验工具：助睿ETL（Uniplore零代码大数据平台）

📊 实验场景：多平台自媒体作品互动数据清洗、缺失值处理、多条件筛选与分支预处理

💡核心目标：我将完成自媒体原始数据的标准化预处理，输出双维度规范数据表，为后续特征工程、数据可视化分析筑牢数据源基础。

一、实验前言

在完整的大数据分析流程中，我深知数据清洗与预处理是不可或缺的核心前置步骤。我们直接采集的原始数据集往往存在大量冗余数据、无效字段、空值缺失、数据杂乱等问题，如果直接用于统计分析，极易造成分析结果失真、程序运行报错、可视化图表异常等问题。

本次实验我依托助睿在线实验平台，使用零代码助睿ETL工具，对多平台自媒体作品互动数据开展全流程预处理工作。和普通单一的数据清洗实验不同，我在本次实操中采用了分支处理的设计思路，一次性输出全平台汇总统计数据与重点平台精细化明细数据，同时兼顾整体数据统计和精细化业务分析需求，能够完美适配后续仪表盘可视化展示、深度数据挖掘等一系列后续实验场景。

二、实验目的

通过本次实验，我需要完成以下学习目标：

1. 深入理解数据清洗在大数据分析流程中的基础性与核心价值，熟练识别原始数据中常见的数据缺陷，并掌握对应的解决思路；

2. 熟练掌握助睿ETL零代码工具的基础操作，独立完成多源自媒体数据的筛选过滤、缺失值填充、字段精简、聚合统计等全套预处理操作；

3. 吃透ETL分支处理的核心设计逻辑，实现「全平台整体统计+重点平台深度分析」的双场景数据分流处理；

4. 成功产出两张标准化核心数据表，为后续自媒体数据特征工程、互动指标分析、可视化大屏搭建提供规范、可用的数据源支撑。

三、实验环境与工具介绍

3.1 实验平台

我本次使用的在线实验平台：助睿在线实验平台

实验底层依托Uniplore优联博睿AI大数据智能平台，这是一款一站式零代码大数据基础软件，覆盖数据接入、ETL数据加工、AI智能建模、数据可视化展示的全链路能力，既适配高校数据分析教学实训，也可应用于企业数字化落地场景。

3.2 核心工具：助睿ETL

助睿ETL是本次实验的核心操作工具，也是平台自研的零代码数据集成工具，在实操过程中，我切实感受到它的诸多核心优势：

零代码可视化操作：全程采用拖拽式组件操作，无需编写任何代码，我可以快速完成数据抽取、转换、加载的全流程加工；

丰富预处理组件：平台内置过滤、空值填充、分组聚合、字段选择、数据排序等多种功能组件，能够灵活适配各类数据清洗与预处理场景；

元数据标准化架构：平台对全流程数据进行元数据标准化定义，有效保障了我本次数据处理全过程的规范性与稳定性；

Pipeline流水线机制：支持多组件自由组合搭建数据加工流水线，可灵活实现我本次实验所需的复杂多分支数据处理逻辑。

3.3 实验数据源

本次实验所用数据源文件：自媒体作品数据明细.csv

该数据集采集时间为6月8日至6月15日，汇总了全班同学在多个自媒体平台发布作品的互动数据，涵盖B站、CSDN、微信、知乎、小红书等主流平台，包含作品浏览、点赞、收藏、分享、B站投币等各类核心互动指标，为本次实验提供了完整的原始数据支撑。

四、原始数据问题分析

在正式开展数据预处理前，我先对原始数据集进行了数据探查，发现原始数据存在多处明显问题，这也是我本次数据清洗需要重点优化解决的核心痛点：

平台数据冗余无效：微信、知乎、小红书等平台的大量作品浏览量均为0，无有效互动数据支撑，不具备深度分析价值，属于冗余数据；
无效数据记录过多：部分作品的浏览、点赞、收藏数据全部归零，大概率是采集失败或无曝光的无效作品，对数据分析没有任何参考意义；
字段存在缺失值：数据集中的作者昵称、作品标题等文本字段存在空值，若不处理，会导致后续数据计算、字段匹配、可视化展示出现报错异常；
数据维度混杂：有效优质数据与无效冗余数据混杂在一起，无法同时满足全平台整体统计和重点平台深度分析的双重业务需求。

五、实验核心设计思路

本次实验我最大的收获就是掌握了ETL双分支处理架构。结合后续可视化仪表盘的两类展示需求，我将原始数据进行分流处理，实现一套原始数据、两套标准化结果输出，兼顾全局统计与精细分析。

5.1 分支一：全平台概况统计

在第一条处理分支中，我不做任何数据过滤，完整保留所有平台、所有作品的原始数据。通过分组聚合的方式，统计出全班自媒体作品总量、总浏览量、总互动量等核心指标，用于支撑仪表盘顶部的全局数据概览展示，完整还原整体运营情况，保证全局数据统计无遗漏。

5.2 分支二：重点平台深度清洗

在第二条处理分支中，我聚焦数据质量更高、分析价值更强的B站、CSDN两大平台。通过条件过滤剔除浏览量为0的无效记录，填充字段缺失值、精简冗余字段，最终产出精细化明细数据，为后续的平台数据对比、内容特征分析、互动规律挖掘等深度实验提供优质数据源。

六、详细实验操作步骤

步骤1：创建两张标准化目标数据表

结合本次实验的两类分析场景，我在助睿ETL中新建了两张结构规范的数据表，分别适配全局统计与深度分析需求。

1.1 全平台概况汇总表（summary_all_platforms）

这张表主要用于全维度数据统计，我完整保留所有平台的原始数据，将各平台的特色互动指标独立存储，不随意合并混淆，保证数据统计的真实性与完整性。具体字段结构如下：

字段名	字段类型	字段说明
crawl_date	DATE	数据采集日期
platform	VARCHAR(20)	自媒体平台名称
content_count	INT	作品发布数量
total_views	INT	总浏览/播放量
total_likes	INT	总点赞数
total_favorites	INT	总收藏数
total_shares	INT	总分享数
total_coins	INT	B站专属投币数
total_recommend	INT	微信专属推荐数
total_likes_zhihu、total_approvals	INT	知乎专属喜欢、赞同数

SQL
DROP TABLE IF EXISTS summary_all_platforms;
CREATE TABLE summary_all_platforms (
    id BIGINT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键ID',
    crawl_date DATE COMMENT '采集日期',
    platform VARCHAR(20) COMMENT '平台名称',
    content_count INT COMMENT '作品数量',
    total_views INT COMMENT '总浏览数',
    total_likes INT COMMENT '总点赞数',
    total_favorites INT COMMENT '总收藏数',
    total_shares INT COMMENT '总分享数',
    total_coins INT COMMENT '总投币数（仅B站）',
    total_recommend INT COMMENT '总推荐数（仅微信）',
    total_likes_zhihu INT COMMENT '总喜欢数（仅知乎）',
    total_approvals INT COMMENT '总赞同数（仅知乎）'
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT = '全平台汇总概况表，保留全部平台原始汇总数据';

1.2 重点平台内容分析表（content_analysis）

这张表主要服务于后续深度数据分析，我仅保留B站、CSDN的有效优质数据，同时预留了后续特征工程所需的拓展字段，为下一阶段实验做好数据铺垫。

字段	类型	说明
date	DATE	采集日期
author_name	VARCHAR(100)	作者昵称
title	VARCHAR(500)	作品标题
platform	VARCHAR(20)	B站 / CSDN
likes	INT	点赞数
favorites	INT	收藏数
shares	INT	分享数
coins	INT	投币数（仅B站）
views	INT	播放量/阅读量
url	VARCHAR(500)	作品链接
total_interaction	INT	互动总数
has_best	TINYINT(1)	是否含“保姆级”
has_lowcode	TINYINT(1)	是否含“零代码”
has_practice	TINYINT(1)	是否含“实战”
has_tutorial	TINYINT(1)	是否含“教程/指南”
has_pit	TINYINT(1)	是否含“踩坑”

SQL
DROP TABLE IF EXISTS content_analysis;
CREATE TABLE content_analysis (
    id BIGINT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键ID',
    date DATE COMMENT '采集日期',
    author_name VARCHAR(100) COMMENT '作者昵称',
    title VARCHAR(500) COMMENT '作品标题',
    platform VARCHAR(20) COMMENT '平台：B站 / CSDN',
    likes INT COMMENT '点赞数',
    favorites INT COMMENT '收藏数',
    shares INT COMMENT '分享数',
    coins INT COMMENT '投币数（仅B站）',
    views INT COMMENT '播放量/阅读量',
    url VARCHAR(500) COMMENT '作品链接',
    total_interaction INT COMMENT '互动总数',
    has_best TINYINT(1) COMMENT '是否含“保姆级”：1是，0否',
    has_lowcode TINYINT(1) COMMENT '是否含“零代码”：1是，0否',
    has_practice TINYINT(1) COMMENT '是否含“实战”：1是，0否',
    has_tutorial TINYINT(1) COMMENT '是否含“教程/指南”：1是，0否',
    has_pit TINYINT(1) COMMENT '是否含“踩坑”：1是，0否'
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT = '内容分析表，实验二输入源，仅存储B站、CSDN有效记录';

步骤2：导入实验数据源

实验开始后，我先在助睿ETL公共空间中找到本次实验所需的自媒体作品数据明细.csv文件，将公共文件复制到个人文件库中，完成数据源的导入配置，为后续所有数据处理操作提供原始数据支撑。

步骤3：全平台数据聚合统计（分支一）

在第一条数据处理分支中，我依次拖拽添加排序记录、分组聚合组件，设置以采集日期+平台作为分组依据，对作品数量、浏览量、点赞、收藏、分享等全部数值型字段进行求和聚合计算，最终生成全平台汇总数据表，完成班级自媒体整体运营数据的统计工作。

步骤4：多条件过滤有效数据（分支二核心）

这是本次实验的核心操作，我使用过滤记录组件，结合AND、OR逻辑运算符搭建多条件筛选规则，精准过滤有效数据，具体规则如下：

(平台 = 'B站' AND 浏览数量 > 0) OR (平台 = 'CSDN' AND 浏览数量 > 0)

通过该规则，我一次性完成双重筛选：只保留B站、CSDN两大优质分析平台，同时剔除两个平台中浏览量为0的无效作品记录，最大程度保证后续分析数据的有效性和参考价值。

步骤5：缺失值统一填充

针对原始数据中作者昵称、作品标题等文本字段的空值问题，我使用缺失值填充组件，将所有空值统一填充为“未知”。通过这一步操作，我彻底规避了后续数据计算、字段匹配、可视化渲染过程中可能出现的异常报错，有效提升了数据集的完整性与稳定性。

步骤6：精简冗余字段

我发现原始数据中包含source_file采集批次标记等无用字段，对本次数据分析无任何帮助。因此我使用字段选择组件，剔除所有冗余字段，仅保留date、author_name、title、platform、likes、favorites、shares、coins、views、url等核心分析字段，简化数据维度，让数据集更贴合实验需求。