编译安装
注意编译安装前要先把python需要的外部函数库安装一下:
libffi-devel (不装报”ModuleNotFoundError: No module named ‘_ctypes'”)
sqlite-devel (不装报”ModuleNotFoundError: No module named ‘_sqlite3′”)
虚拟环境
pip install virtualenv
virtualenv –no-site-packages venv
–no-site-packages: 默认情况下,虚拟环境会依赖系统环境中的 site packages,就是说系统中已经安装好的第三方 package 也会安装在虚拟环境中,如果不想依赖这些 package,那么可以加上 –no-site-packages 参数建立虚拟环境。(从版本20开始,默认就是 –no-site-packages 了)
从 python3.3 起,python 就自带了一个虚拟环境模块 venv。
可以直接使用 python3 -m venv venv 来创建一个虚拟环境。
进入虚拟环境与退出虚拟环境:
Window:
venv\Script\activate.bat
deactivate
Linux:
source venv\Script\activate
deactivate
爬虫框架 scrapy
安装: pip install Scrapy
新建项目: scrapy startproject main