• Feeds

  • python web.py使用flup lighttpd优化过程

    前文用Python实现CRUD功能REST服务中发现,一个普通的web.py页面每秒只能执行数十次requests,经网友Arbow提醒, web.py默认是单线程方式,所以性能提升困难,并推荐了一些高性能的web framework。同时也看到Python资深网友ZoomQuiet的总结 Pythonic Web 应用平台对比,因此觉得有必要换一种更强的web framework。同时也研究了国内著名的豆瓣所采用的Quixote框架。但由于牵涉到更换之后web.py中的REST接口代码实现要调整,所以就暂时搁置了。

    后来看到搜狐qiuyingbo在lighttpd 2.0一文中提到sohu mail也是用web.py, 在向qiuyingbo请教之后,了解到web.py通过fastcgi多进程方式也可以实现高性能的访问,决定不再换框架了。

    qiuyingbo推荐使用nginx+flup+webpy, 但是最近nginx的mod_wsgi页面中的 http://wiki.codemongers.com/NginxNgxWSGIModule 下载链接始终不能访问,所以就转向 lighttpd/fastcgi 方式,国外著名的reddit也是采用此架构,性能上应该不会有很大的差异。

    在安装了lighttpd和配置之后,目前调用一个helloworld.py在本地一普通服务器上可以每秒达到1000次左右,在一个更专业的4核服务器上,执行速度更可4,000次。基本上可以满足运营的要求。

    另外赖勇浩在blog我常用的几个第三方 Python 库中提到,使用psyco可以提升Python 40%或更高的性能。在32bit Linux下,测试上面的场景可提高约10%的性能。但由于Psyco不支持64bit架构,所以正式的生产环境就没有安装这个加速功能。

    具体配置过程如下,假定lighttpd安装在/data0/lighttpd下:

    • Install Lighttpd, Download lighttpd http://www.lighttpd.net/download/lighttpd-1.4.21.tar.gz

    ./configure –prefix=/data0/lighttpd –with-openssl; make; make install
    cp docs/lighttpd.conf /data0/lighttpd/sbin
    openssl req -new -x509 -keyout lighttpd.pem -out lighttpd.pem -days 365 -nodes

    • Install Python 2.6, 具有内置Json支持 http://www.python.org/ftp/python/2.6.1/Python-2.6.1.tgz

    ./configure; make; make install

    • Install web.py http://webpy.org/static/web.py-0.31.tar.gz

    python setup.py install

    • Install flup, http://www.saddi.com/software/flup/dist/flup-1.0.1.tar.gz
    • Install lighttpd + fastcgi with web.py

    fastcgi.server = ( “/main.py” =>
    (
    ( “socket” => “/tmp/fastcgi.socket”,
    “bin-path” => “/data0/lighttpd/www/python/main.py”,
    “max-procs” => 50,
    “bin-environment” => (
    “REAL_SCRIPT_NAME” => “”
    ), “check-local” => “disable”
    )

    )
    )

    url.rewrite-once = (
    “^/favicon.ico$” => “/static/favicon.ico”,
    “^/static/(.*)$” => “/static/$1″,
    “^/(.*)$” => “/main.py/$1″,
    )

    也可参看webpy官方的lighttpd fastcgi说明:http://webpy.org/cookbook/fastcgi-lighttpd

    • 启动Lighttpd

    cd /data0/lighttpd/sbin; ./lighttpd -f lighttpd.conf

    如想及时阅读Tim Yang的文章,可通过页面右上方扫码订阅最新更新。

    « | »

    6 Comments  »

    1. duma

      您好,之前一直用django,但最近我迷上了web.py,所以想请用过web.py开发的朋友谈一下经验。谢谢

    2. web.py 真心轻便好用啊 内部的各种REST场合,瞬间完成 :)

      LZ的部署经验也很值得参考,不过nginx+Spawn-fcgi+Flup也是很好搞定的 :)

    3. flame

      web.py现在默认支持多线程啦

    4. 在用webpy+nginx配置也很简单,谢谢楼主分享。

    5. hi,请教您你一个问题. 我在测试web.py 做压力测试的时候出现在app.run()出现 can’t start new thread 这个异常,不知道您有没有遇到过. 而且发现每个cgi进程内存在断增加,好像是有内存泄漏. 有什么好的解决方案吗?

    Leave a Comment