web.py+Jinja2开源kindle推送网站，全网络首发“在GAE上使用Python生成MOBI“

cdhigh

起因：
最近因为网络上的一些kindle推送服务不太合自己的意，也不想买VIP服务，因此就自己使用web.py+Jinja2实现了此网站：
http://kindleear.appspot.com

用于推送自己感兴趣的RSS或网页内容至自己的kindle。
现已开源在github
https://github.com/cdhigh/kindleear

值得一说的是，此网站有一个首创，第一个移植calibre（一个电子书管理工具）的mobi生成模块用于google app engine(GAE)。

下面说说开发心得：

1.为何不使用GAE自带的webapp框架，而选择web.py？
   其实最重要的就是webapp缺少移植性，只能在gae上使用，反正webapp和web.py都需要学习，为何不学习一个以后在其他平台上也能使用的框架呢？还有，最开始时我也使用了django搭建了初始版本，后来发现使用django太繁琐了，太笨重了，而且时不时有各种各样的问题要解决，一气之下就丢一边去了。然后看了网上对于各种WEB框架的一大堆讨论分析对比，还是按照自己的心意和喜好选定了web.py。

2. 为何不使用web.py自带的模板，而使用jinja2？
   其实我之前已经使用web.py的模板搭建好系统框架了，后来发现Templetor模板（web.py自带模板）的“模板继承”功能太弱，各个页面之间的重复代码太多，就考虑换一个模板系统，因为学过django，所以jinja2无疑是首选，语法类似，并且jinja2也是GAE推荐，根据网上评测，性能也很好，所以就选定了jinja2。
   题外话：我没有使用web.py封装的jinja2接口，而是直接使用jinja2的Environment() API，也是为了更通用，不被绑死在web.py上，比如万一我哪天不爽，想切换成bottle...

3. 模块动态加载（插件机制）
   此网站支持插件机制，类似于calibre的recipe，写一个特定格式的py文件放到books目录下，网站自动加载并显示在“我的订阅”页面。
    核心代码：

1. def LoadBooks():
   
2.     for bkfile in os.listdir(os.path.dirname(__file__)):
   
3.         if bkfile.endswith('.py') and not bkfile.startswith('__') and not bkfile.endswith("base.py"):
   
4.             bookname = os.path.splitext(bkfile)[0]
   
5.             mbook = __import__("books." + bookname, fromlist='*')
   
6.             bk = mbook.getBook()
   
7.             RegisterBook(bk)

复制代码

4.更好的urlfetch。
   有些网站很可恶，如果你不带cookie访问，会返回302，并重定向到同一个地址，如果再次访问，有一定的概率会返回200。
   所以GAE时不时会报Too many redirects异常，又不是每次重现，之前因为这个问题，折腾了我好几天，后来经过google的反复调教，终于明白是cookie的问题，带cookie访问就没这个问题了。
   还有，因为要抓取网页，有时候网页中的一些图片会导致无法访问或访问超时，也会时不时出错，当然了，也是经过万能的google的帮助，在一位前辈那里学会了给urlfetch增加失败重试功能。
   然后，我再将上面两个解决方案合一，参见urlopener.py，使用此类代替urlfetch后，网站稳定了。

5.web.py在gae上使用session。
   web.py的session机制无法直接部署到GAE上，因为GAE不支持本地文件存储。
   这个问题的解决方案也是google来的，特地整理在这里，
   就是使用memcache实现一个Store子类，参见memcachestore.py文件。

6.尽管是个人网站，但是密码也不应该明文保存吧。
    但是也没有必要加密过甚，因此使用最简单的MD5即可：

1.     import hashlib
   
2.     passwd = hashlib.md5(password).hexdigest()

复制代码

cdhigh

一个烦恼：
在移植calibre的mobi模块过程中，遇到了n次很恼火的文件和字符串编码问题，不是解码失败就是编码失败，每次都不是很容易解决，都快要崩溃了。
所以终于明白了python 3的潜力，python 3和以前版本至少从UNICODE的角度看就必须要替代python 2，如果GAE支持了python 3，我将毫不犹豫的马上转向python 3

ssfjhh

楼主闭关一段时间就会有大作呀。

python3肯定是以后的方向，我早就看到了，所以直接就学python3，无视python2。:wink:

不知道gae支持python3有多难，google就是不支持python3。

我发现python3在windows下默认保存编码竟然不是utf-8，感觉很蛋疼。又不知道该怎么修改这个默认值，又或者必须重新编译才能搞定。

cdhigh

回复 3# ssfjhh

有hack的方法，不过不推荐，建议每个文件都在文件头声明编码：
# -*- coding:utf-8 -*-
PYTHON保存时会自动按照编码声明保存。
这也是python推荐的方法。

如果不想这样，也可以自己修改代码：
3.2.7：
C:\Python32\Lib\idlelib\IOBinding.py
392行
return chars.encode('ascii')
将ascii修改为utf-8
==============
2.7.3
C:\Python27\Lib\idlelib\IOBinding.py的399行
return chars.encode('ascii')
将ascii修改为utf-8即可
   

sxcong

推送服务听说nginx的模块比较好
我是自己在libevent为底层自己扩充了一下，适合自定义协议的推送。

ssfjhh

回复 4# cdhigh


     已经改了貌似不行。我用的是Python 3.3.2 你说的这行代码在这个版本中是第397行。

1.         if self.fileencoding == 'BOM':
   
2.             return BOM_UTF8 + chars.encode("utf-8")
   
3.         # See whether there is anything non-ASCII in it.
   
4.         # If not, no need to figure out the encoding.
   
5.         try:
   
6.             return chars.encode("utf-8")
   

复制代码

cdhigh

经过我亲自测试，证明是有效的，不知你为何无效。
只是要注意，对于全文都是英文字符来说，ASCII编码和UTF-8编码等效，如果没有BOM，你无法确认是否是UTF-8还是ASCII编码，所以要证明是否有效，内容至少有中文字符才行。

torvald

lz，在GAE Launcher上怎么缺省的8080端口不能进行调试？
系统自带的guest book的demo却可以？

重度kindle用户，正在学习gae和python中

cdhigh

话说GAE Launcher是经常出问题的，不是连不上就是报各种错误。
自从切换为使用命令行，从来就没有出过问题。
转到：C:\Program Files\Google\google_appengine
执行CMD命令
启动调试服务器：python.exe dev_appserver.py (app目录)
上传代码：python.exe appcfg.py update (app目录)

ssfjhh

回复 7# cdhigh


    又试了下，依然不行，真是奇了怪了。

1. >>> with open('abc.txt', 'w') as f:
   
2.         f.write('中华人民共和国,abc')
   
3. 
   
4.        
   
5. 11
   
6. >>> with open('abc.txt', 'r',encoding = 'utf-8') as f:
   
7.         print(f.readline())
   
8. 
   
9.        
   
10. Traceback (most recent call last):
    
11.   File "<pyshell#14>", line 2, in <module>
    
12.     print(f.readline())
    
13.   File "D:\Python33\lib\codecs.py", line 300, in decode
    
14.     (result, consumed) = self._buffer_decode(data, self.errors, final)
    
15. UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte
    
16. >>>

复制代码