Scrapy和pyspider框架浅谈

自己现在也算是小小抓取工程师了,在公司也在撸自己的框架,在这之前也有使用和了解过python语言实现的最著名的两个框架,先来简单说一说。 scrapy scrapy框架应该算是最著名的框架了,不用 …

comments

pyenv的使用

pyenv是一个python的版本管理器,同时还具有虚拟环境管理的功能,对于需要安装或部署不同版本在一台机器的情况下,pyenv非常合适。对于常用的centos6.5来说默认是python2.6环境,yum什么的还依赖2.6版本,所以 …

comments

python3中filter返回值的判断问题

最早接触python3来说,最明显的变化就是print方法了,另一个非常大的变化 是返回值生成器类型的使用。 在python2中,很多返回list类型的方法,在python3中都返回生成器对象, 比如最著名的 …

comments

flask一次客户端请求的过程

按照Werkzeug的示例,继承封装了标准库http中的HTTPServer和BaseHTTPRequestHandler。在客户端发出请求后,会触发到Handler类中的handle()方法,然后是一连串的handle_one_request()-->run_wsgi()方法,run_wsgi在werkzeug中重写了会收集环境信息environ,并定义了write,start_response,execute内置方法,然后会 …

comments

正则表达式环视的理解

最近看完了《精通正则表达式》的前面和语言无关的几章,也正好碰到了一个知乎问题,所以就强行答了一下。如何理解先行 …

comments

修饰器及flask的route修饰器

python的修饰器是python的一个特色,也是比较难理解的地方,不过运用得当的话会非常优雅和简洁。 通常的两种修饰器形式是无参数的双层结构,即 def decorator(f …

comments