电商评论舆情采集完整实操方案

合规原则：优先平台官方开放API；网页采集（OpenClaw/RPA）仅做兜底；禁止破解接口、高频暴力抓取；只采集公开评价，手机号、地址等敏感信息必须脱敏；数据仅限内部运营、售后、供应链分析，禁止倒卖数据。

整体流水线：数据源接入 → 增量采集 → 数据清洗 → NLP语义分析打标签 → 入库存储 → 分级预警 → 工单闭环复盘。

一、数据源选型（3种方案，按业务选择）

方案A：官方开放API（优先，最稳妥）

平台	说明	限制
1688	寻源通ISV接口，仅可拿自己账号订单的评价，不能直接查竞品商品全部评论	无法批量抓取竞品公开评价
AliExpress速卖通	Solution开放API，获取商品评价、晒图、星级	QPS配额低，需要企业ISV申请
TikTok Shop	商家开放API，拉取店铺自有商品评论	仅授权店铺商品
淘宝/天猫	TOP开放 taobao.item.reviews.get	自有店铺，配额可控

优点：结构化JSON、反爬风险低；缺点：竞品评论多数平台不开放通用接口。

方案B：OpenClaw兜底网页采集（API额度不足时补充）

用于抓取公开网页评论，只做增量，不做全量历史拉取，适合自有店铺及少量竞品监控，前面已经讲过部署流程。

方案C：商用SaaS（零开发快速落地）

识微、新红、飞瓜、蝉妈妈；适合中小团队，不需要写代码，直接配置商品链接、关键词，自动输出报表和告警。

二、完整业务流程（生产标准流程）

1. 配置监控对象

1）录入监控商品ID/URL；区分自有商品、竞品商品。 2）配置负面关键词库

• 普通负面：色差、破损、漏发、发货慢、售后差
• 高危红色词：假货、自燃、漏电、有毒、致癌（触发最高等级告警） 3）设置采集频率
• 普通商品：30‑120分钟增量采集一次
• 新品、直播间爆款、大促：5‑15分钟

必须增量采集：只取上次采集时间之后新增评论，不要循环拉全部历史评论，减少压力与重复数据。

2、采集（两种实现）

① 官方API方式

1. 企业开发者认证，创建ISV应用，申请评论接口权限，拿到appKey、appSecret。
2. OAuth授权店铺账号。
3. 分页调用接口，记录最后一条评论ID/时间戳，下次只拉取更新之后的数据。
4. 每条评论以comment_id作为唯一标识做去重。

② OpenClaw网页采集兜底

1. 部署OpenClaw，安装scraper、cron‑task、csv‑exporter、playwright浏览器渲染。
2. 编写yaml任务，开启incremental:true增量，配置CSS选择器（每个平台DOM不一样，F12调试）。
3. cron定时运行，通过webhook把采集结果推送到自研后端服务。

   关键配置：slowMo ≥800ms，每分钟请求数≤6，遵守robots协议，防止IP封禁。

3、数据清洗

拿到原始评论之后做清洗，入库前处理：

1. 过滤默认好评、无意义短文本（少于5字符）、广告灌水内容。
2. 去除表情、特殊符号，文本统一编码。
3. 去重：按评论ID /评论时间+评论正文去重。
4. 脱敏：买家昵称哈希脱敏，禁止存储手机号、地址明文。

输出字段：

平台、商品ID、SKU、评论ID、评论时间、星级、评论文本、晒图链接

4、NLP语义分析（核心，避免纯关键词大量误报）

只靠关键词会误报，例如“性价比不差”会被关键词“差”误判负面，必须语义模型。

两种落地方式：

1. 自研NLP（Python PaddleNLP / BERT） 输出结构化标签：

• 情感：正面 / 中性 / 负面
• 痛点标签：质量、物流、包装、售后、色差等
• 风险等级：🔴红色高危 / 🟠橙色重要 / 🟡黄色一般

from paddlenlp import Taskflow
senta = Taskflow("sentiment_analysis", model="uie‑senta‑base")
result = senta("衣服掉色严重，客服不给退")

1. OpenClaw内置Agent：配置VOC舆情Agent，直接输出JSON结构化结果，适合快速原型。

5、数据库入库（对接代购代采中台）

存入两张核心表： 1）t_op_public_opinion：原始评论数据 2）t_op_sentiment_result：NLP分析结果、风险等级

如果对接1688代购代采中台：当同一个供应商多款商品短时间集中出现差评，自动告警采购运营，评估更换货源。

6、分级预警与降噪（避免告警轰炸）

等级	触发条件	处理SOP
🟡黄色	单条普通差评，无高危词	推送客服，24小时处理
🟠橙色	短时间多条同类差评、达人吐槽	运营+售后，2小时响应
🔴红色	命中高危安全词、群体性投诉	管理层介入，必要下架商品

降噪规则：

1. 同一条舆情24小时内不重复告警。
2. 只有橙色、红色才推送钉钉/企业微信Webhook。

7、工单闭环与复盘

1. 预警自动生成工单，分配给客服，记录核查、沟通、补偿、申诉结果。
2. 每周输出口碑报告：TOP痛点统计，反馈供应链、详情页文案优化。

三、高频踩坑清单

1. ❌只使用关键词匹配，大量误报 ✅规则词典 + 语义模型双校验，定期人工标注样本迭代模型。
2. ❌循环全量拉取历史评论，API限流封号、IP封禁 ✅严格增量采集，缓存商品基础信息，禁止高频轮询。
3. ❌JS动态评论抓不到内容 ✅必须开启浏览器渲染playwright，不能只用静态抓取。
4. ❌把网页采集作为主采集手段 ✅主链路官方API，OpenClaw仅兜底，降低合规风险。
5. ❌不做脱敏，落地买家隐私明文 ✅所有用户个人信息哈希脱敏存储，符合个保法。

四、三套落地选型参考

1. 零开发快速用：第三方SaaS舆情工具，配置商品链接即可，适合中小商家。
2. 轻量自研（对接ERP/代购系统）：官方API + OpenClaw兜底 + Python NLP + Webhook告警，2‑4周上线。
3. 企业级SaaS服务：微服务架构 + Flink实时计算，支持多语言跨境舆情，私有化部署。