Scrapy和pyspider框架浅谈
自己现在也算是小小抓取工程师了,在公司也在撸自己的框架,在这之前也有使用和了解过python语言实现的最著名的两个框架,先来简单说一说。 scrapy scrapy框架应该算是最著名的框架了,不用 …
自己现在也算是小小抓取工程师了,在公司也在撸自己的框架,在这之前也有使用和了解过python语言实现的最著名的两个框架,先来简单说一说。 scrapy scrapy框架应该算是最著名的框架了,不用 …
pyenv是一个python的版本管理器,同时还具有虚拟环境管理的功能,对于需要安装或部署不同版本在一台机器的情况下,pyenv非常合适。对于常用的centos6.5来说默认是python2.6环境,yum什么的还依赖2.6版本,所以 …
最早接触python3来说,最明显的变化就是print方法了,另一个非常大的变化 是返回值生成器类型的使用。 在python2中,很多返回list类型的方法,在python3中都返回生成器对象, 比如最著名的 …
为了进一步学习web开发相关内容,自己想了个需求,就开始干了。 github项目链接 构架采用流行的RESTful api风格后端加响应式前端组合,虽然都还不熟悉,但是硬着头皮开始。 经过一番调 …
按照Werkzeug的示例,继承封装了标准库http中的HTTPServer和BaseHTTPRequestHandler。在客户端发出请求后,会触发到Handler类中的handle()方法,然后是一连串的handle_one_request()-->run_wsgi()方法,run_wsgi在werkzeug中重写了会收集环境信息environ,并定义了write,start_response,execute内置方法,然后会 …
久违更新一篇技术文章。 由于GAE的相关策略修改,python2.5将在不久之后被抛弃,同时原有的Master/Slave数据储存模式也将被弃用。通过两天对新的api文档阅读,对forwardnoticemail程序进行的修改,使用了新版的python2.7 的gae SDK …
由于gmail好像没有短信提醒功能,而139,qq,163什么的邮箱就有这个功能。所以可以用邮件自动转发实现短信提醒。 但是,由于众所周知的原因,我们往往不想将我们的邮件转给疼 …