本次实验使用助睿数智（Uniplore） 作为一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能，适用于数据分析教学与企业数据加工场景。
助睿数智官网为 https://www.uniplore.com/

---

一、项目背景与整体设计

1.1 项目背景

本项目基于全班同学在多平台发布的自媒体作品互动数据，运用助睿数智（Uniplore）一站式数据科学平台，完成从数据清洗、特征工程到可视化分析的全链路数据分析实践。项目旨在通过数据驱动的方法，深入理解自媒体运营的关键影响因素，提炼可复制的运营优化策略。

实验平台为助睿在线实验平台，数据处理工具为助睿ETL（数据集成平台），可视化工具为助睿BI（可视化探索平台）。助睿ETL采用零代码拖拽式操作，通过可视化方式完成数据的抽取、转换、加载；助睿BI支持交互式仪表盘和自助分析，拖拽式操作大幅降低分析门槛。

1.2 数据来源与特点

本次分析使用的数据来源于`自媒体作品数据明细.csv`，已采集了同学们在6月8日至6月15日前提交的作品互动数据，覆盖B站、CSDN、微信、知乎、小红书等多个平台。该数据集有以下特点：

内容同质化：全班发布的作品主题高度一致（本学期的实验作业）；平台固定：发布作品的平台固定，但数据较完整的是B站（视频）和CSDN（图文）；作品数量相近：每位学生发布的作品数量基本一致；标题存在差异：虽然内容相同，但标题写法存在差异（如"保姆级""零代码""手把手"等关键词的使用）。

这意味着内容、平台、数量都是控制变量，标题是主要差异来源。因此，分析聚焦于：在相同条件下，哪些运营策略差异导致了数据差异？

1.3 整体技术路线

整个数据分析流程分为三个阶段，环环相扣，逐步深入：

第一阶段：数据清洗与预处理

原始数据存在平台冗余（微信、知乎等浏览数大量为0）、无效记录（浏览/点赞/收藏全为0）和字段缺失等问题。通过助睿ETL完成多源数据的过滤、填充、聚合等预处理操作，采用"分支处理"设计思路——全平台概况统计与重点平台深度分析分流，输出`summary_all_platforms`和`content_analysis`两张核心数据表。

图1-1 数据处理分支流程图

第二阶段：作品特征构建

在清洗后数据的基础上，构建两类特征：互动总数（likes + favorites + shares + coins，反映作品的用户互动规模）和标题特征（将标题中是否包含特定关键词提取为0/1标志字段）。通过助睿ETL的"计算器"组件计算衍生指标，"JavaScript代码"组件完成文本关键词自动标注，"插入/更新"组件回填数据到`content_analysis`表，同时输出关键词级别的汇总表`title_feature_analysis`。

图1-2 特征工程数据处理流程

第三阶段：可视化探索

基于三张目标表，使用助睿BI搭建综合仪表盘，从核心指标、排名分析、标题影响、平台对比、趋势分析五个维度开展可视化分析，最终撰写数据驱动的运营优化报告。

---

二、数据清洗与预处理

2.1 数据质量问题诊断

对`自媒体作品数据明细.csv`进行质量诊断，发现以下问题：平台冗余——数据包含B站、CSDN、微信、知乎、小红书等多个平台，但微信、知乎等平台的浏览数量几乎全是0，缺乏核心浏览数据；无效记录——部分作品的浏览数量、点赞数量、收藏数量全部为0，对分析没有贡献；字段缺失——作者名称和作品标题中存在空值，需要填充处理。

2.2 目标表设计

根据后续可视化仪表盘的不同数据需求，设计两张目标表。第一张为全平台概况表`summary_all_platforms`，用于存放所有平台的汇总数据，不做任何过滤，保留所有平台的原始记录，各平台特色指标（B站投币、微信推荐、知乎喜欢/赞同）单独保留列。

字段	类型	说明
crawl_date	DATE	采集日期
platform	VARCHAR(20)	平台名称
content_count	INT	作品数量
total_views	INT	总浏览数
total_likes	INT	总点赞数
total_favorites	INT	总收藏数
total_shares	INT	总分享数
total_coins	INT	总投币数（仅B站）
total_recommend	INT	总推荐数（仅微信）

第二张为内容分析表`content_analysis`，只包含B站和CSDN的有效记录，作为后续特征工程和可视化分析的输入。

字段	类型	说明
date	DATE	采集日期
author_name	VARCHAR(100)	作者昵称
title	VARCHAR(500)	作品标题
platform	VARCHAR(20)	B站/CSDN
likes / favorites / shares / coins	INT	互动指标
views	INT	播放量/阅读量
url	VARCHAR(500)	作品链接
has_best / has_lowcode 等	TINYINT(1)	标题特征标志（下一阶段计算）

2.3 数据处理流程

在助睿ETL中，将原始CSV数据导入文件库后，按照以下步骤进行处理：

步骤一：导入原始数据

将公共空间提供的`自媒体作品数据明细.csv`复制到个人文件库，作为数据源输入。助睿ETL支持多种数据源接入，CSV文件可直接导入。

图2-1 导入原始数据

步骤二：全平台聚合统计

在数据清洗之前先做分支——拖入"排序记录"、"分组"组件，按日期和平台排序、分组，其余数值字段全部取求和，输出`summary_all_platforms`。此分支保留所有平台的原始数据，不做任何过滤。

步骤三：过滤有效记录

在另一个分支中，使用"过滤记录"组件筛选B站和CSDN的有效记录。通过AND与OR组合条件：`(平台 = 'B站' AND 浏览数量 > 0) OR (平台 = 'CSDN' AND 浏览数量 > 0)`，一个组件完成平台过滤与有效记录判定的双重过滤。

图2-2 过滤记录组件配置

步骤四：填充缺失值

作者名称和作品标题可能存在空值，统一填充为空字符串，避免后续使用时出现异常。

图2-3 填充缺失值配置

步骤五：字段选择与输出

剔除`source_file`等分析阶段不需要的字段，保留date、author_name、title、platform、likes、favorites、shares、coins、views、url等核心字段，输出为`content_analysis`表。

步骤六：执行与验证

完整转换流执行后，通过数据探查验证输出结果的一致性和完整性。

图2-4 完整转换流

图2-5 数据探查结果（summary_all_platforms）

图2-6 数据探查结果（content_analysis）

---

三、作品特征构建

3.1 特征设计思路

在数据清洗的基础上，本阶段构建两类特征并更新到`content_analysis`表中。第一类是互动总数，通过`total_interaction = likes + favorites + shares + coins`计算，反映作品的用户互动规模。第二类是标题特征，将标题中是否包含特定关键词提取为0/1标志字段。

选取了五个高频且与"教学价值""实操性"强相关的关键词："保姆级"、"零代码"、"实战"、"教程/指南"、"踩坑"。每个特征独立提取，便于在可视化分析中做分组对比。

3.2 互动总数计算

通过助睿ETL的"计算器"组件，新增`interactions`字段，公式为：`interactions = likes + favorites + shares + coins`。该指标综合了点赞、收藏、分享、投币四种用户行为，能够全面反映作品的互动热度。

3.3 标题特征提取

在"JavaScript代码"组件中，直接对`title`字段进行关键词匹配，生成5个标题特征标志字段。核心代码逻辑为使用`indexOf`方法判断关键词是否存在，存在则赋值为1，否则为0。

图3-1 JavaScript代码组件——标题特征提取

各特征字段的定义如下：

字段	含义	判定条件
has_best	含"保姆级"	title.indexOf("保姆级") !== -1
has_lowcode	含"零代码"	title.indexOf("零代码") !== -1
has_practice	含"实战"	title.indexOf("实战") !== -1
has_tutorial	含"教程"或"指南"	indexOf("教程")或indexOf("指南")
has_pit	含"踩坑"	title.indexOf("踩坑") !== -1

3.4 数据回填

使用"插入/更新"组件将计算好的特征数据回填到`content_analysis`表。关键配置包括：目标表为`content_analysis`，查询关键字为`id`（匹配依据），更新字段包括total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit。

"插入/更新"与"表输出"的区别在于：如果使用"表输出"，每次运行都会新增行，导致数据重复；而"插入/更新"按id匹配，id已存在则更新指定字段，不存在才插入新行，因此可以反复运行而不会产生重复数据。

3.5 关键词级别汇总

除了更新明细表外，还分别计算含每个关键词的作品的平均互动总数，输出到`title_feature_analysis`表。该表的字段包括：id（自增主键）、platform（平台）、feature_name（关键词名称）、avg_interaction（含该关键词的平均互动总数）、overall_avg（该平台整体平均互动总数）、sample_count（含该关键词的作品数）。

加工流程为：先计算整体平均互动数（不设分组条件，直接计算AVG），然后对每个关键词分别过滤（如has_best=1）、聚合（计算AVG和COUNT），最后用"增加常量"组件为每行贴上关键词名称标签，通过"记录集连接"合并整体平均值和关键词平均值，用"表输出"入库。

图3-2 更新content_analysis的转换流

图3-3 content_analysis更新结果

图3-4 关键词互动汇总转换流

图3-5 单个关键词汇总数据

图3-6 全部关键词汇总数据

---

四、可视化探索与仪表盘搭建

4.1 数据集构建

在助睿BI平台中，使用前三阶段输出的`summary_all_platforms`、`content_analysis`、`title_feature_analysis`三张表构建3个数据集，分别支撑全平台概况、重点平台深度分析和标题关键词互动分析。

图4-1 构建数据集

4.2 分析框架

基于数据特点（内容同质化、平台固定、作品数量相近、标题存在差异），确定五个分析维度：

维度	分析目标	核心问题
核心指标	了解数据整体情况	整体表现如何？
排名分析	对比学生间、作品间差异	同样的内容，谁的数据更好？
标题影响	量化标题特征对数据的影响	为什么做得好？
趋势分析	时间维度规律	数据随时间怎么变化？

4.3 核心指标卡

指标卡的作用是把最关键的数字突出显示，让读者几秒内建立对数据的整体认知。仪表盘顶部设置两行指标卡：第一行展示全平台概况（全平台作品总数、分发平台数、全平台总浏览数、全平台总互动数），第二行聚焦重点平台（B站作品数、CSDN作品数、B站总播放量、CSDN总阅读量）。

这组指标卡形成了清晰的阅读路径：先看到总量，再看分平台量，最后看质量，帮助读者快速建立对整体运营状况的认知。

4.4 排名分析

排名图表分为学生排名和作品排名两组。学生排名按作者分组，取该学生在某平台上所有作品的平均播放量/阅读量，降序排列取前10名，反映整体运营水平。作品排名按单篇作品的播放量/阅读量排序取前10名，揭示单篇爆款特征。

两者结合使用：先看学生排名找到表现好的同学，再看他具体做了哪些内容，从而总结出可复制的经验。左右两栏分别展示B站和CSDN的排名，可以对比同一个学生在两个平台的表现差异。

4.5 标题影响分析

标题影响分析是本实验最有价值的部分。在内容相同的情况下，标题是导致数据差异的核心因素之一。通过计算含某个关键词的作品的平均播放量与整体平均播放量的比值，得到"提升倍率"。例如提升倍率1.4表示含该词的作品平均播放量比整体平均高出40%。用条形图展示所有关键词的提升倍率，柱子越长说明该词越有效。

此外还做更直接的对比：含"保姆级"vs不含"保姆级"两组作品的柱状对比，配合整体平均互动数据水平线，一眼看出差异。左右两栏分别做B站和CSDN的标题分析，因为同一个关键词在两个平台的效果可能不同。

4.6 趋势分析

趋势分析回答"数据随时间如何变化"。趋势折线图展示的是截止到每个采集日所有已发布作品的总播放量/阅读量。还可以加一张"老作品趋势图"——先筛选出6月8日已存在的作品，只统计它们在后续日期的播放量变化，观察内容本身的长尾效应。整体趋势看大盘走势，老作品趋势看内容持续价值，两张图互补使用。

4.7 仪表盘布局

采用"先总后分、左右对照"的布局：核心指标置顶（一目了然），概况类图表靠前（先建立整体认知），深度分析靠后。左右两栏分别展示B站和CSDN的所有分析图表，每栏内部按"排名 -> 标题分析 -> 趋势"的顺序排列，形成完整闭环。

图4-2 综合仪表盘布局

---

五、核心知识点与方法论总结

5.1 数据清洗要点

多条件过滤：使用AND/OR组合平台过滤与有效记录判定，一个组件完成双重过滤。缺失值处理：统一填充默认值，避免计算异常。多日期保留：保留时间维度用于趋势分析，暂不做去重。Pipeline机制：通过多个Transform步骤组合完成完整的数据加工流程。宽表设计：一次清洗、多次使用，一张表支撑全部后续分析。

5.2 特征工程要点

"插入/更新"组件的使用：按id匹配更新已有数据，避免重复写入。关键词特征提取：通过JavaScript代码对文本字段进行模式匹配，生成二值标志字段。分组统计：通过"过滤+聚合+增加常量+合并"的组合，实现关键词级别的汇总分析。

5.3 可视化分析要点

指标卡设计：核心KPI突出展示，让读者几秒内建立整体认知。学生排名+作品排名：一个找"谁做得好"，一个找"什么内容好"，互为补充。标题影响力量化：通过提升倍率计算，识别最有效的标题关键词。趋势分析：利用多日期数据观察累积变化，区分整体趋势与老作品持续价值。

5.4 从图表到洞察的方法论

阅读仪表盘时，读者应自然经历"建立整体认知（指标卡） -> 发现问题（排名） -> 定位原因（标题分析） -> 观察规律（趋势）"的思考路径。排名类图表关注头部和尾部，对比类图表关注差距大小，分布类图表关注集中区间和异常点，趋势类图表关注走向和拐点，散点图关注分布模式和异常点。每个结论都要配上对应的图表作为证据，最终输出包含"现状描述 -> 原因分析 -> 优化建议"三个层次的分析报告。

5.5 实验输出成果

输出表	数据粒度	用途
summary_all_platforms	平台级	全平台概况指标卡
content_analysis（更新）	作品级	排名、趋势、概况等明细分析
title_feature_analysis（新建）	关键词级	标题特征互动分析