文本去重分隔工具

按行或自定义分隔符快速去重,统计重复项数量,并可用指定分隔符重新合并输出,适合关键词、名单、标签清洗。

输入文本

去重选项

去重结果

文本去重的常见场景

去重是文本清洗里最常用的操作之一:SEO 关键词列表合并后去重、会员名单或账号名单查重、标签与分类词表清洗、问卷或表单导出数据去除重复项,都可以一步完成。工具默认按行处理,保留每一项第一次出现的顺序,结果稳定可预期。

如果数据不是按行组织,例如一段用逗号或空格分隔的关键词,可以切换到「按分隔符去重」,输入对应的分隔符后拆分去重,再用换行、逗号或空格等任意分隔符重新合并输出,实现分隔符转换的效果。

「忽略大小写」适合邮箱、用户名等大小写不敏感的场景;「忽略首尾空格」默认开启,可以清除从表格复制时带入的多余空格。全部处理在浏览器本地完成,文本不会上传。

使用步骤

  1. 把待去重的文本粘贴到上方输入框,默认每行一项。
  2. 按需选择去重模式、分隔符与忽略选项,结果实时更新。
  3. 选择合并分隔符后点击「复制」,即可得到去重并重新拼接的结果。

常见问题

去重后会保留哪一条?

保留每一项第一次出现的位置和内容,后面的重复项被删除,因此结果顺序与原文一致,不会打乱原始排序。

逗号分隔的关键词怎么去重?

选择「按分隔符去重」,在拆分分隔符中填入逗号(或直接使用逗号分隔的关键词默认按行时先用替换工具转成换行),去重后可用逗号重新合并输出。

空行会被删除吗?

会。空行与纯空格行会被自动过滤,不计入去重结果;过滤数量会在统计中单独显示。

重复项在哪里可以看到?

统计行下方会列出出现次数最多的前 10 个重复项及其出现次数,方便核对哪些内容被重复了。