Scrapy和pyspider框架浅谈

自己现在也算是小小抓取工程师了,在公司也在撸自己的框架,在这之前也有使用和了解过python语言实现的最著名的两个框架,先来简单说一说。 scrapy scrapy框架应该算是最著名的框架了,不用 …

comments

pyenv的使用

pyenv是一个python的版本管理器,同时还具有虚拟环境管理的功能,对于需要安装或部署不同版本在一台机器的情况下,pyenv非常合适。对于常用的centos6.5来说默认是python2.6环境,yum什么的还依赖2.6版本,所以 …

comments

python3中filter返回值的判断问题

最早接触python3来说,最明显的变化就是print方法了,另一个非常大的变化 是返回值生成器类型的使用。 在python2中,很多返回list类型的方法,在python3中都返回生成器对象, 比如最著名的 …

comments

flask一次客户端请求的过程

按照Werkzeug的示例,继承封装了标准库http中的HTTPServer和BaseHTTPRequestHandler。在客户端发出请求后,会触发到Handler类中的handle()方法,然后是一连串的handle_one_request()-->run_wsgi()方法,run_wsgi在werkzeug中重写了会收集环境信息environ,并定义了write,start_response,execute内置方法,然后会 …

comments

GAE邮件短信提醒程序更新

久违更新一篇技术文章。 由于GAE的相关策略修改,python2.5将在不久之后被抛弃,同时原有的Master/Slave数据储存模式也将被弃用。通过两天对新的api文档阅读,对forwardnoticemail程序进行的修改,使用了新版的python2.7 的gae SDK …

comments

密码啊密码(续)

续昨天说到密码问题,那么该怎么解决呢。最好的方法是不要使用中文网站,虽然外国的月亮不一定圆,但是大陆的一定不 …

comments

利用GAE实现新邮件短信提醒

由于gmail好像没有短信提醒功能,而139,qq,163什么的邮箱就有这个功能。所以可以用邮件自动转发实现短信提醒。 但是,由于众所周知的原因,我们往往不想将我们的邮件转给疼 …

comments