Scrapy和pyspider框架浅谈

自己现在也算是小小抓取工程师了,在公司也在撸自己的框架,在这之前也有使用和了解过python语言实现的最著名的两个框架,先来简单说一说。 scrapy...

comments

pyenv的使用

pyenv是一个python的版本管理器,同时还具有虚拟环境管理的功能,对于需要安装或部署不同版本在一台机器的情况下,pyenv非常合适。对于常用的centos6.5来说默认是python2.6环境,yum什么的还依赖2.6版本,所以使用pyenv非常合适。自己的开发机也可以安装各种版本的python。 安装 注意提前需要装一些编译python需要的 rpm系 yum install zlib-devel bzip2 bzip2-devel readline-devel sqlite...

comments

python3中filter返回值的判断问题

最早接触python3来说,最明显的变化就是print方法了,另一个非常大的变化 是返回值生成器类型的使用。 在python2中,很多返回list类型的方法,在python3中都返回生成器对象, 比如最著名的range(),在python3中返回生成器,即python2中的xrange()。 而很多其他方法也是如此,比如list相关的map,reduce,filter方法, 还有dict操作的keys(),items()等,都是由原来的返回list类型, 转而返回生成器类型。...

comments