文本去重分隔工具
按行或自定义分隔符快速去重,统计重复项数量,并可用指定分隔符重新合并输出,适合关键词、名单、标签清洗。
支持逗号、空格、分号或任意字符串;\n 表示换行,\t 表示制表符
重复项排行(前 10)
文本去重的常见场景
去重是文本清洗里最常用的操作之一:SEO 关键词列表合并后去重、会员名单或账号名单查重、标签与分类词表清洗、问卷或表单导出数据去除重复项,都可以一步完成。工具默认按行处理,保留每一项第一次出现的顺序,结果稳定可预期。
如果数据不是按行组织,例如一段用逗号或空格分隔的关键词,可以切换到「按分隔符去重」,输入对应的分隔符后拆分去重,再用换行、逗号或空格等任意分隔符重新合并输出,实现分隔符转换的效果。
「忽略大小写」适合邮箱、用户名等大小写不敏感的场景;「忽略首尾空格」默认开启,可以清除从表格复制时带入的多余空格。全部处理在浏览器本地完成,文本不会上传。
使用步骤
- 把待去重的文本粘贴到上方输入框,默认每行一项。
- 按需选择去重模式、分隔符与忽略选项,结果实时更新。
- 选择合并分隔符后点击「复制」,即可得到去重并重新拼接的结果。
常见问题
去重后会保留哪一条?
保留每一项第一次出现的位置和内容,后面的重复项被删除,因此结果顺序与原文一致,不会打乱原始排序。
逗号分隔的关键词怎么去重?
选择「按分隔符去重」,在拆分分隔符中填入逗号(或直接使用逗号分隔的关键词默认按行时先用替换工具转成换行),去重后可用逗号重新合并输出。
空行会被删除吗?
会。空行与纯空格行会被自动过滤,不计入去重结果;过滤数量会在统计中单独显示。
重复项在哪里可以看到?
统计行下方会列出出现次数最多的前 10 个重复项及其出现次数,方便核对哪些内容被重复了。