接著說明一下建立這個站的程式和工具。
環境:
- Google App Engine:
程式語言:
- python v2.5
資料庫:
- App Engine Data store (Big Table)
Framework:
- GAEO v0.3 (py)
- Django template engine (py)
- beautifulsoup (py)
- feedparser (py)
- jQuery v1.3.2
使用服務:
- Google Ajax Lib
- Google Reader API (unofficial)
- Google Analytics
- Google Feedburner
心得:
不久之前買了兩本書:Ruby和Ruby on Rails,後來沒有看完,就變心去學Google App Engine了。以平常是php底子的我,新的程式語言(python)、資料庫又不是relational database。身旁又沒有會python的人可以讓我好好問問,還真是不容易。然而最大的工程還是在於自動抓資料、分析那塊。總共分析了四萬多篇部落格文章,並篩選出一萬兩千篇的美食文章。我想不久後漫畫邦我也可以很順利的轉去Google App Engine囉!
分享:
漫畫邦當年是使用RE去抓資料,這次在一開始使用python的beautiful soup這個library去解析資料,速度很快,感覺很像jQuery,但是解析到最後,我依然敵不過亂無章法的HTML code,決心用RE改寫。另外大家可以注意一下我分頁的規則,我自認為這是最完美的分頁,比Google 的blogspot還要好、還要準,且更漂亮(方法就不多說了,請爬文)。