英文单词列表

《密码学》课上的一个内容就是“破译”密码。其实我们也不算真正的破译，只是老师选一段话，把每个字母用另外一个字母代替，让我们找出原文。比如这个：

GKVVEHDRR ER GKOEHQ K SKXQD

STOEHQ, ZKXEHQ, ZSTRD-PHEJ AKYESU —

EH KHTJGDX ZEJU. QDTXQD CBXHR.

其实破译这种密码并不困难，单词已经分开了，你只要找规律试就可以了。比如第一行的K，一个单独的字母单词，很容易猜到可能是a或I；还有几个EHQ结尾的单词，也很容易的会想到ing。就这样把已知的几个单词替换回去，并猜出更多的单词。最后，我们能得到这样的原文：

Happiness is having a large

loving, caring, close-knit family —

in another city. George Burns.

经过几次这样的尝试，我发现这种破译对于英文为第一语言的人来说是很简单的，可对于像我这种后来才学英语的人，对于英文单词就没有这么的敏感。比如那天我破译这一段的时候，第一行的SKYQD中，后四个我都猜出来了，于是就想了半天：什么单词是一个字母加上arge结尾的？结果想到最后，直到通过其它途径破解了密码后，才发现原来这个单词就是large啊。可当时我是怎么也想不出来。相信对于英文为母语的人来说，几乎是条件反射般的迅速反应吧。

我从上这门课的第一天，就想写个程序来协助破译。程序也不需要很复杂，用户告诉程序需要的单词的pattern，比如“GKVVEHDRR”，而程序通过搜索单词列表，把符合条件的单词都找出来，这样不用乱枪打鸟，比原先就方便多了。

但程序的基础，就是要有一份常用单词的列表。本来以为这样的东西网上一找一大片，没想到找了半天，得到的都是一些特殊的单词列表，什么简化英语单词列表之类的。很少有我想要的。而这种需求通过词典更不能解决了。

找了半天，发现了这样的一个网页，上面有3000个英文常用单词，看了之后，我觉得不错，但需要把单词整理成一个文件，每行放一个单词，然后再排序之类的。因此把这些单词都抓下来就是首要任务了。

我对Perl的正则比较熟悉，对Python的字符串处理也还行，但因为想练习Ruby，就选择用它来做。觉得Ruby这么大的“家业”，相关的模块应该不少，从网上搜索一番后，找到了Nokogiri这个库，据说是最快的一个HTML/XML Parser。它的用法很简单，看了例子后，我很快就上手了。相比起从网页中用正则挨个判断，用Nokogiri实在是太爽了。

但写程序的时候出现了一个小问题。我不知道怎么获得链接的地址。因为那个单词列表的页面上，有15个列表，点进去才是一个真正的单词表。因此我要通过Nokogiri来获得那些页面的链接。但找遍了Nokogiri的文档，却只看到返回标签内容的方法，丝毫找不到返回链接地址的方法。我不知道是因为我还没有习惯rdoc还是rdoc本来就没有这些详细的报告。最后我从一个中文blog上看到了答案，原来链接的地址被保存在对象的[:href]这里。

其它的基本上就是顺其自然的写下来了，一共不到20行。我把程序上传到了这里。程序运行后就在终端输出单词列表，稍加整理就应该能用了。不过，我用wc测试了一下，发现这个列表里面只有2000多个单词，根本没有达到页面上说的3000的数目。而且作者还把像tree这样的基础单词给删掉了。看来还要再增加啊。