Twitter备份

自从上次开始，我就想写一个工具，可以像Google搜索历史那样，把Twitter的历史记录下来。思考了几天后，今天开始动手写。

我简单的找了一下，没看到有很合适的工具，也不知道有什么好办法，就用最简单粗暴的方式，写个定时运行的程序，保存tweets到sqlite数据库中，然后从数据库中获取数据，得到列表。

前几天看了Ruby的书，就用Ruby来练一下。并找到了Twitter4r库，能比较方便的获取一定数量的tweet记录。然后结合sqlite3 api接口，在解决了下述几个问题后，程序运行成功。代码我还没有整理好，等以后再上传吧。以下是当中遇到的几个问题。

一是Ruby正则表达式替换的处理，以及sqlite对于转义字符的处理问题。Tweets上经常会有引号，这样在写SQL语句的时候就有了转义的问题。我在程序中是用单引号来包含字符串的，中间一度怎么也搞不定单引号的转义问题──要么把引号弄没了，要么生成不了正确的的结果。看了一下Ruby书，似乎在Ruby正则表达式中，\’和\有特殊的含义，不能直接转义。经过几次尝试，最后用gsub(/’/, ‘\’\”)解决了问题。具体是什么原理，我没研究过Ruby书，因此没有深究。

二是写好程序后上传到Dreamhost服务器上，sqlite总提示出错。似乎是用了IF EXISTS和IF NOT EXISTS就不行。后来经过搜索才知道，sqlite从3.3.4之后才支持EXISTS关键字。而Dreamhost上的版本不够，于是造成了这个问题。在检查了代码后，觉得虽然不如加了EXISTS保险一些（如果有人工干预操作数据库就可能出错），但也不是非要不可，把EXISTS删除就好了。

第三是当终于能运行了后，却又发现在Dreamhost上生成的数据库在合并的时候会出现每条tweet都存了两遍的情况。为了这个我检查了将近半下午，最后才发现是时区问题。我的表中有个DATETIME字段，存了tweet发布的时间。在我这里时区是GMT-5，而在Dreamhost服务器所在的地方，时区是GMT-7。把建立数据库的程序在服务器上运行一遍后就算解决了问题。

以上是写程序中遇到的三个问题，已经解决了。但在最后我又遇到了一个最大的问题。我准备在Dreamhost上用crontab来每天运行更新程序，但Dreamhost默认没有安装twitter4r，我是通过gem安装的。而似乎crontab运行程序的用户组不是普通用户，导致找不到twitter4r库，结果程序无法运行。当然这些只是我的推测，希望可以尽快解决吧。还有就是生成报告的程序，应该不难，但要在这个的基础上写。