开发与数据

文本去重工具

批量去重文本、SKU或网址,配置空白、大小写、NFKC与排序,查看删除数量。

◈ 本地处理 · 输入不上传

输入与设置

此工作区在当前浏览器内处理;刷新后不保留输入。

结果工作台

填写内容后,点击生成结果。

↗

结果会显示在这里

查看明细、复制或下载,再继续你的工作。

如何使用文本去重工具

  1. 在工作区填写文本(每行一条),按需要调整选项。
  2. 点击生成结果,查看结果和错误提示。
  3. 核对结果后复制或下载;涉及上线、采购或发布时,再做实际验证。

试一个具体例子

整理产品编号、邮件列表或网址清单,去除重复行后再继续处理。

结果怎样理解

按所选空白、大小写和Unicode口径判断重复,保留首次出现的代表文本。NFKC可能把兼容字符和全角字符归为同组,请先核对SKU或编码规范;去重不会验证地址、邮箱或商品真实性。

常见问题

会改变原顺序吗?

保留首次出现的顺序。

大小写不同算重复吗?

由比较方式决定,精确模式区分大小写。

能识别同义词吗?

不能,它按文本规则去重,不是语义模型。