Skip to content

Slim the dict

Compare
Choose a tag to compare
@houbb houbb released this 08 Jan 12:53
· 158 commits to master since this release

格式统一化

  1. 将所有的大写字母统一转换为小写

  2. 将所有的全角转换为半角

  3. 移除所有【空格】【符号】(这个就是各种符号的过滤了)

  4. 繁体字统一转换为简体字

最后保证信息的去重。

移除大量的信息

  1. 移除 QQ 号的类似数字

  2. 移除所有网址(.com、cn、.org)

  3. 移除纯英文

  4. 移除乱码

备份相关信息。