密码字典整理思路

字典收集途径

先说下自己收集字典的一些途径：
1.Github上有许多，质量参差不齐，需要根据需求有选择性的下载。
2.网盘搜索，能搜到一些比较大的字典，比如某个研究无线安全的论坛放出用于跑Wi-Fi包的字典。
3.自己平时积累（比如一些商家使用的Wi-Fi密码，顺手记录到笔记里，积攒到比较多的时候再添加到字典中合并去重）
4.一些密码破解软件内置字典
5.姓名拼音、手机号、域名、地名等等
6.专门制作字典的站点（通常会放出免费的版本供网友试用，质量高文件大的用于出售，不免费提供） 例如：http://biggestpasswordlist.com/ https://www.passcape.com/pdc
7.网上泄露的各大网站数据库，使用正则提取密码字段，去除冗余内容，保留需要的部分。
8.使用密码生成工具生成 比如pydictor

当我拿到一个密码字典的时候，我首先会对该文件进行去重，确保没有重复的内容，优化到最小的状态。
之后再有新的字典，会把新的字典和整理好的字典合并后再次去重，并使用sort命令顺便排个序。

【处理步骤及用到的工具、命令】Windows下合并、去重方法：

文件合并不去重（多个文本合并在一起，需二次去重） 

或者使用工具合并

使用工具去重：

可以使用附件内的急速字典去重复工具。

Linux下合并及去重方法（并进行排序）：

效果不错，测试了一下2500w数据，2分钟不到就去重并排序完毕。

文本分割： 可使用split命令分割，也可以使用图形化的工具分割。