军事网站运行了也有好多年了，积累了好多关键词（标签），多半为专业术语。
一直没有好好的利用起来，今天趁自己勤快，就开始捣鼓起来了。
于是打开了Sql Server，将关键词表导出到CSV格式中，大概有3万多行。
中间不乏重复的关键词，要用肉眼去逐一删除还是有点累，要写一个工具去排除又有点不想。于是就想找找有没有现成的工具。忽然想到了Dreamweaver有正则查找替换，于是就开工了：

1、先在CSV中将列进行一个A-Z的升序，保存CSV文件；
2、直接改后缀为.html（便于Dreamweaver识别）；
3、打开Dreamweaver，“编辑”——>“查找和替换”，在“查找”中输入(.+\r\n)\1，在替换中输入$1，勾选“使用正则表达式”，点击 “全部替换”。

4、不一会儿，重复的行即被替换成单行了（可以多执行几次，因为可能存在重复三行、四行）；
5、将修改后的文件保存下来，以备后续做分词词典使用。