自媒体运营分析 —— 作品特征构建

实验7-1完成了数据清洗，得到了结构规范的content_analysis表。然而原始字段本身并不能直接回答业务层面的问题——例如"什么样的标题更容易获得互动""保姆级"这一关键词究竟是否有效。本实验在此基础上开展特征工程，将原始字段转化为更具分析价值的业务指标。

第一部分 实验背景

一、实验目的

本实验以实验7-1清洗后产出的content_analysis表为输入，借助助睿ETL完成两类特征的计算与落库。

任务一（更新明细表）：在content_analysis表中新增互动总数字段total_interaction，取值为likes、favorites、shares、coins四个互动指标的加和；同时从标题字段title中提取五个关键词标志位has_best（保姆级）、has_lowcode（零代码）、has_practice（实战）、has_tutorial（教程/指南）、has_pit（踩坑），并将计算结果回写到原表。

任务二（输出关键词汇总表）：分别统计含每个关键词的作品的平均互动总数，并与该平台整体平均互动数对比，结果写入新建的title_feature_analysis表。

通过本次实验，预期达成以下目标：

1. 理解特征工程在数据分析链路中的核心地位，能够将原始字段转化为可量化分析的业务特征。

2. 熟练使用助睿ETL的"计算器"组件完成衍生指标的计算。

3. 掌握"JavaScript代码"组件对文本字段进行关键词自动标注的方法。

4. 学会使用"插入/更新"组件按主键回填数据，避免新建表或覆盖已有基础数据。

5. 掌握"过滤+聚合"组件组合完成分组统计计算的思路。

二、实验环境

实验平台：助睿数智（Uniplore）一站式数据科学实验平台，登录地址为 https://lab.guilian.cn/。该平台覆盖数据接入、ETL处理、机器学习建模到可视化分析的全链路Agentic零代码数据智能操作。产品官网：https://www.uniplore.com/。

数据处理工具：助睿ETL（数据集成平台）。该工具采用全元数据驱动架构，支持零代码拖拽式操作，内置筛选、填充、聚合、连接、字段选择、计算器、JavaScript代码、插入/更新等多种转换组件，基于Pipeline（转换）机制将多个Transform步骤组合为完整的数据加工流程。

数据来源：实验7-1输出的content_analysis表，仅包含B站和CSDN两个平台的有效记录（浏览数大于0），字段完整、无空值。

三、整体处理流程

本次实验构建两类特征，对应两条相互独立的处理链路：

链路一（更新明细表）：从content_analysis表读取数据，经JavaScript代码组件提取五个标题关键词标志位，再经计算器组件计算互动总数，最后通过插入/更新组件按id回写到content_analysis表。

链路二（输出关键词汇总表）：从content_analysis表读取数据，分别针对每个关键词构建一条分支——先过滤出含该关键词的记录，再聚合计算平均互动数和样本数，同时计算整体平均互动数，最后通过记录集连接合并并写入title_feature_analysis表。

两条链路共用同一份输入数据，但产出不同粒度的结果表：链路一保持作品级粒度，链路二聚合为关键词级粒度。

图 1 作品特征构建整体流程示意图

第二部分 实验步骤

一、更新content_analysis表（标题特征+互动总数）

步骤1 导入数据

操作说明：新建转换流，拖入"表输入"组件，将实验7-1输出的content_analysis表作为数据源接入助睿ETL工作区。在组件配置中选择数据库连接和目标表，并通过SQL编辑区编写查询语句读取全表数据。

图 2 表输入组件读取content_analysis表

配置要点：id字段必须保留，后续"插入/更新"组件需要以id作为匹配依据；title字段必须保留，用于提取关键词特征；同时确认表输入能正常预览数据，避免后续组件因数据为空而报错。

步骤2 提取标题特征（核心分析维度）

操作说明：在"JavaScript代码"组件中编写脚本，对title字段进行关键词匹配，生成五个标题特征标志字段。在组件的字段表中需提前定义五个输出字段：has_best、has_lowcode、has_practice、has_tutorial、has_pit，类型均设为Integer。

关键词选择依据：在浏览全班同学的作品标题时，"保姆级""零代码""实战""教程/指南""踩坑"这五个词高频出现，且都与"教学价值"和"实操性"强相关。"保姆级"暗示内容详尽、适合新手；"零代码"强调无需编程基础，降低准入门槛；"实战"强调动手操作而非纯理论空谈；"教程/指南"表明内容具有教学属性；"踩坑"暗示内容包含避坑经验，实用性强。这五个词是分析标题影响力的理想切入点。

JavaScript代码如下：

var title = title; // 字段名直接作为变量使用



// 判断关键词

var has_best = title.indexOf("保姆级") !== -1 ? 1 : 0;

var has_lowcode = title.indexOf("零代码") !== -1 ? 1 : 0;

var has_practice = title.indexOf("实战") !== -1 ? 1 : 0;

var has_tutorial = (title.indexOf("教程") !== -1 || title.indexOf("指南") !== -1) ? 1 : 0;

var has_pit = title.indexOf("踩坑") !== -1 ? 1 : 0;

图 3 JavaScript代码组件的配置

配置要点：字段表中必须提前定义五个输出字段，否则组件虽然能运行但数据不会输出；JavaScript代码中字段名可直接作为变量使用，无需额外声明；indexOf方法返回-1表示未匹配，因此用!== -1判断关键词是否存在。

步骤3 计算互动总数

操作说明：使用"计算器"组件计算互动总数total_interaction，公式为likes + favorites + shares + coins。由于计算器组件单次只能处理两个字段的加法，需要分两步完成：第一步计算likes + favorites + shares的中间结果half_interaction，第二步将中间结果与coins相加得到total_interaction。

图 4 计算器组件配置（第一步：likes + favorites + shares）

图 5 计算器组件配置（第二步：half_interaction + coins）

配置要点：每一步计算器组件需在字段表中新增一个字段（half_interaction和total_interaction），并在公式列配置A+B的形式；字段A、字段B分别选择对应的输入字段。如果likes、favorites、shares、coins中存在NULL值，需在计算前先用"替换NULL值"组件填充为0，否则加法运算结果为NULL。

步骤4 回填数据到content_analysis表

操作说明：使用"插入/更新"组件将计算结果回写到content_analysis表。在组件配置中选择数据库连接和目标表，将查询关键字设为id，更新字段列表中勾选total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit六个字段。

图 6 插入/更新组件的配置

配置要点：查询关键字必须设为id，确保按主键匹配更新而非新增行；更新字段列表中六个新字段的"更新"列均需勾选"是"；与"表输出"不同，"插入/更新"组件在记录已存在时执行更新、不存在时执行插入，可反复运行而不会产生重复数据。

步骤5 执行转换流与数据验证

操作说明：完成上述组件配置后，将各节点按数据流向连线，形成完整的转换流。点击运行按钮执行转换流，运行结束后通过数据探查功能验证content_analysis表中新增字段的取值情况。

图 7 更新content_analysis表的完整转换流

图 8 转换流执行结果与运行日志

图 9 content_analysis表数据预览

配置要点：运行前需检查各节点之间的连线是否完整，特别是JavaScript代码组件的输出字段是否与计算器组件的输入字段对应；运行日志中如出现红色错误信息需逐节点排查；数据预览中确认total_interaction有值且has_*字段取值为0或1。

二、输出关键词级别汇总表

步骤1 创建title_feature_analysis表

操作说明：新建转换流并命名为"创建title_feature_analysis表"，拖入"执行一个SQL脚本"组件，配置数据库连接为"团队私有数据库"，输入建表SQL语句后点击运行。表结构包含id、platform、feature_name、avg_interaction、overall_avg、sample_count六个字段。

图 10 创建title_feature_analysis表的SQL脚本配置

配置要点：id字段设为自增主键；platform和feature_name为字符串类型，分别记录平台和关键词名称；avg_interaction和overall_avg为DECIMAL(10,2)类型，记录平均互动数；sample_count为INT类型，记录含该关键词的作品数。

步骤2 计算整体平均互动数

操作说明：新建转换流"关键词互动汇总"，拖入"表输入"组件读取content_analysis表（此时表中已包含total_interaction字段）。接入"排序记录"组件按id升序排序，再接入"分组"组件，不设分组条件，直接计算AVG(total_interaction)得到overall_avg。

聚合完成后，接入"增加常量"组件，新增字段feature_name并填入"保姆级"，为这一行数据贴上名称标签，以便后续与关键词数据通过记录集连接合并。

配置要点："分组"组件不设分组字段时，会对全表数据做整体聚合，输出一行结果；"增加常量"组件新增的字段值在所有行中相同，相当于为数据贴标签。

步骤3 计算关键词的平均互动数

操作说明：以"保姆级"为例，从表输入组件复制分发另一条分支，先接"过滤记录"组件，设置条件has_best = 1，只保留含"保姆级"关键词的作品。然后接入"排序记录"和"分组"组件，按id升序排序，计算AVG(total_interaction)得到avg_interaction，COUNT(id)得到sample_count。

聚合完成后，同样接入"增加常量"组件，新增字段feature_name并填入"保姆级"。

配置要点：为什么要加这个常量？因为聚合后的数据只有数值，没有关键词名称。如果不加，多个分支的数据合并后无法区分哪一行对应哪个关键词。常量就是给每一行贴上一个"标签"，告诉下游"这一行是保姆级的数据"。

步骤4 合并整体平均值与关键词平均值

操作说明：使用"记录集连接"组件将整体平均值分支和关键词平均值分支合并。匹配字段设为feature_name，连接类型选择INNER。由于两个分支都只有一行数据，无需排序。

图 11 关键词汇总分支流程

图 12 完整关键词汇总转换流

图 13 记录集连接组件的配置

配置要点：两个分支的feature_name常量值必须一致（均为"保姆级"），否则INNER连接后结果为空；连接后输出的字段包括platform、feature_name、avg_interaction、overall_avg、sample_count。

步骤5 数据入库

操作说明：使用"表输出"组件将合并后的数据写入title_feature_analysis表。在组件配置中选择数据库连接和目标表，并勾选"指定数据库字段"以映射字段。

图 14 表输出组件的配置

配置要点：此处不勾选"裁剪表"，因为还有其他关键词的数据也要入库，不能删除已有数据；勾选"指定数据库字段"后需在字段映射表中逐一核对源字段与目标字段的对应关系。

步骤6 执行转换流与数据验证

操作说明：点击运行按钮执行转换流，运行结束后通过数据探查功能验证title_feature_analysis表中的数据。

图 15 关键词汇总完整转换流执行结果

图 16 关键词汇总数据预览

配置要点：运行日志中确认所有节点执行成功；数据预览中确认avg_interaction、overall_avg、sample_count三个字段均有值且取值合理。

步骤7 复制分支加工其他关键词

操作说明：完成"保姆级"关键词的汇总后，复制粘贴整个分支，仅修改两处：过滤记录组件中的条件（如has_lowcode = 1）和增加常量组件中的常量值（如"零代码"）。其他组件配置完全相同。依次完成五个关键词的汇总加工。

配置要点：复制分支时需注意组件之间的连线也要一并复制；每次只修改过滤条件和常量值两处，避免误改其他配置；五个关键词的feature_name常量值分别为"保姆级""零代码""实战""教程/指南""踩坑"。

第三部分 实验结果

一、输出表说明

本次实验产出以下两张数据表：

content_analysis（已更新）：在原表基础上新增了total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit共六个特征字段，保持作品级粒度，用于后续排名、趋势、概况等明细分析。

title_feature_analysis（新建）：关键词级汇总表，按平台分别记录每个关键词的avg_interaction、overall_avg和sample_count，用于标题特征互动分析。

图 17 title_feature_analysis表的最终数据展示

二、数据验证

通过数据探查功能对两张表进行了交叉验证，确认以下三点：

第一，content_analysis表中每条记录都有total_interaction值，无空值，说明计算器组件配置正确。

第二，has_*字段均为0或1，取值正常，说明JavaScript代码组件的关键词匹配逻辑正确。

第三，title_feature_analysis表中每个关键词的sample_count与content_analysis中对应has_*=1的记录数一致，统计准确。

以"保姆级"为例：content_analysis中has_best=1的记录数为159条（B站）和178条（CSDN），title_feature_analysis表中对应sample_count为159和178，数据一致，验证通过。

三、实验结果分析

技术维度分析：本次实验通过JavaScript代码组件实现了标题关键词的自动化标注，相比人工逐条判断，效率提升显著。计算器组件完成互动总数的衍生计算，插入/更新组件实现了按id匹配的安全回填机制，可反复运行不产生脏数据。在关键词汇总部分，通过"增加常量"组件为聚合数据贴标签，再以记录集连接完成合并，形成规范的汇总表结构。

业务维度分析：从title_feature_analysis表可以看出不同标题关键词在各平台的表现差异。对比avg_interaction和overall_avg可以判断某个关键词是否对互动效果有正向提升作用——当avg_interaction大于overall_avg时，说明含该关键词的作品平均互动数高于平台整体水平，关键词具有正向带动作用。各关键词的sample_count则反映了创作者对不同标题策略的偏好程度。

图 18 content_analysis表数据查询结果

第四部分 问题与解决

问题一 JavaScript代码组件配置后数据表无数据

问题现象：执行转换流后，content_analysis表中has_*字段全部为空。

问题原因：JavaScript代码组件的输出字段未在字段表中提前定义，导致组件虽然运行但数据未输出。组件的字段表是输出数据的"模板"，如果模板中没有定义字段，即使代码中计算了变量值，也不会写入数据流。

解决方法：在JavaScript代码组件的字段表中，提前插入五行，字段名分别设为has_best、has_lowcode、has_practice、has_tutorial、has_pit，类型均设为Integer，然后再次执行转换流，has_*字段正常输出0或1。

问题二 互动总数计算值为空

问题现象：部分记录的total_interaction为NULL。

问题原因：likes、favorites、shares、coins中存在NULL值，在SQL和大多数计算引擎中，任何数值与NULL相加的结果仍为NULL，导致加法运算结果为NULL。

解决方法：在计算器组件之前，先用"替换NULL值"组件将四个字段的空值替换为0，再进行加法运算。修改后所有记录的total_interaction均有有效取值。

问题三 插入/更新组件配置错误导致数据重复

问题现象：多次运行转换流后，content_analysis表中数据重复累积，记录数成倍增长。

问题原因：误将"插入/更新"组件配置为"表输出"模式，导致每次运行都新增行而非按id更新。"表输出"组件不具备按主键匹配的能力，每次运行都会将输入数据全部追加到目标表。

解决方法：确认组件为"插入/更新"模式，查询关键字设为id，更新字段列表中六个新字段的"更新"列均设为"是"。修改后多次运行转换流，content_analysis表中的记录数保持不变，仅更新对应字段的值。

问题四 关键词汇总数据合并后无法区分关键词

问题现象：记录集连接合并后，所有数据混在一起，无法判断哪一行对应哪个关键词。

问题原因：聚合后的数据只有数值（avg_interaction、overall_avg、sample_count），没有关键词名称字段。多个分支的数据合并后，失去了来源标识。

解决方法：在每个关键词分支聚合完成后，接入"增加常量"组件，新增字段feature_name并填入对应的关键词名称（如"保姆级""零代码"），作为每一行数据的"标签"。合并后即可通过feature_name字段区分不同关键词的数据。

第五部分 实验总结

一、实验收获

通过本次实验，对特征工程的完整流程和助睿ETL的核心组件有了比较扎实的理解，主要收获体现在以下几个方面。

1. 特征工程思维：理解了特征工程在数据分析中的核心作用——原始字段不一定能直接回答业务问题，需要通过衍生计算创造新的特征变量。互动总数和标题关键词标志两个特征，都是为了后续量化分析"什么样的标题更有效"而构建的。

2. JavaScript代码组件：掌握了用JavaScript代码组件完成文本关键词的自动标注。相比人工逐条判断标题，自动化标注效率提升显著，且规则统一、可复现。

3. 插入/更新组件：掌握了按id匹配回填数据的操作。与"表输出"不同，"插入/更新"可以反复运行而不会产生重复数据，适合需要迭代调试的场景。

4. 常量标签设计：理解了在并行分支聚合后为数据添加常量标签的重要性——聚合后的数据只有数值没有维度，常量标签解决了多分支数据合并后的识别问题。

5. 分支并行处理：通过复制分支加工多个关键词，形成了可复用的ETL模板，代码复用效率高，体现了ETL流程设计中"一次设计、多次复用"的思想。

二、对平台的整体评价

助睿ETL的组件化设计使得复杂的特征工程变得简单易行。JavaScript代码组件支持灵活的关键词匹配逻辑，插入/更新组件解决了反复运行导致的数据重复问题，增加常量组件为聚合数据贴上标签便于合并识别。整体操作直观高效，零代码拖拽式操作降低了特征工程的技术门槛，让分析人员可以专注于业务逻辑而非代码实现。

当然，平台也有一些可以改进的地方。例如计算器组件单次只能处理两个字段的加法，计算多字段加和时需要串联多个计算器，略显繁琐；JavaScript代码组件的字段表需要手动定义输出字段，如果能在代码中自动识别变量名并生成字段表，会更加便捷。

#助睿数智 #商业数据分析 #自媒体数据分析