VirtualBox CentOS7.7.1908 Python3.8 搭建Scrapy開發(fā)環(huán)境【圖文教程】

環(huán)境

VirtualBox_v6.0.14 CentOS_v7.1908 Python_v3.8.0 MongoDB_v3.2.22 pip_v19.3.1 windows Pycharm-2019.2.3企業(yè)版(社區(qū)版不支持遠(yuǎn)程連接linux開發(fā))，需激活使用系統(tǒng)自帶Python2.7.5不做處理，嘗試過pyenv安裝3.8，但是到安裝scrapy的時(shí)候報(bào)錯(cuò)不斷，最終又卸載了pyenv重新手動(dòng)編譯安裝。

安裝CentOS

為了保證虛擬機(jī)和宿主機(jī)能互相訪問和正常通信，采用2虛擬網(wǎng)卡的配置方式。

在VirtualBox菜單中設(shè)置–>網(wǎng)絡(luò)，啟用2個(gè)虛擬網(wǎng)卡（虛擬機(jī)啟用，如下2圖），網(wǎng)卡1連接方式設(shè)置為”網(wǎng)絡(luò)地址轉(zhuǎn)換NAT“，可保證虛擬機(jī)訪問外部網(wǎng)絡(luò)和宿主機(jī)，網(wǎng)卡2連接方式設(shè)置為”橋接網(wǎng)卡“，可保證宿主機(jī)能訪問到虛擬機(jī)。

在VirtualBox虛擬機(jī)上安裝CentOS7，系統(tǒng)在安裝過程中最好能配置啟用2網(wǎng)卡（CentOS系統(tǒng)啟用）。

安裝過程略。

啟動(dòng)虛擬機(jī)后使用# ip addr 可查看CentOS系統(tǒng)網(wǎng)卡使用及IP分配情況。enp0s3是NAT網(wǎng)卡信息，ip默認(rèn)是10.0.2.15；enp0s8是橋接模式下網(wǎng)卡信息，默認(rèn)分配的ip和宿主機(jī)會(huì)在同一個(gè)網(wǎng)段下。

如果看不到某網(wǎng)卡的ip信息，可能是系統(tǒng)在安裝的時(shí)候沒有啟用網(wǎng)卡，可在/etc/sysconfig/network-scripts/ifcfg-enp0s3 和 /etc/sysconfig/network-scripts/ifcfg-enp0s8中修改ONBOOT參數(shù)為yes，然后重新啟動(dòng)網(wǎng)絡(luò)服務(wù)# systemctl start network.service或者# service network restart即可。

系統(tǒng)使用DVD鏡像安裝完成后默認(rèn)有ssh服務(wù)。宿主機(jī)如果使用ssh連接虛擬機(jī)需要設(shè)置防火墻開放22端口。

# firewall-cmd --zone=public --add-port=22/tcp --permanent # 防火墻開放22端口 # firewall-cmd --reload #重新加載防火墻配置 # firewall-cmd --zone=public --list-port #查看已開放端口

至此可以使用windows客戶端工具SSH遠(yuǎn)程連接虛擬機(jī)訪問操作，主要是方便和宿主機(jī)共享剪貼板。

配置yum國(guó)內(nèi)鏡像源

使用阿里yum源可參考下面這一段

下載wget工具
# yum install -y wget
進(jìn)入yum源配置文件所在文件夾
# cd /etc/yum.repos.d/
備份本地yum源
# mv CentOS-Base.repo CentOS-Base.repo_bak
獲取阿里yum源
# wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
清理yum緩存 
# yum clean all
重建緩存 
# yum makecache 
升級(jí)Linux系統(tǒng)
# yum -y update 

# netstat -nltp # 查端口是否占用
# ifconfig # 查看ip的常用命令
這些命令默認(rèn)系統(tǒng)沒有安裝，可執(zhí)行以下命令行安裝
# yum install net-tools

安裝第三方依賴

這里需要安裝一大坨，是網(wǎng)上搜集+自己實(shí)踐加上去的，不想折騰就都從了吧

# yum -y groupinstall "Development tools"
# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libxml2-devel libxslt-devel libffi-devel

安裝mongodb

添加mongodb國(guó)內(nèi)鏡像源 # vim /etc/yum.repos.d/mongodb.repo 粘貼以下內(nèi)容

[mongodb-org]
name=MongoDB Repository
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mongodb/yum/el$releasever/
gpgcheck=0
enabled=1

刷新yum緩存

# yum makecache

安裝mongodb

# yum -y install mongodb-org
修改mongod.conf bindIp參數(shù)
# vim /etc/mongod.conf

重啟mongod服務(wù)

# /etc/init.d/mongod restart 或 # systemctl restart mongod.service

查看mongod版本

# mongod --version

防火墻開放27017端口

# firewall-cmd --zone=public --add-port=27017/tcp --permanent
# firewall-cmd --reload
# firewall-cmd --zone=public --list-port

安裝python3.8

下載Python3.8源碼編譯安裝

# wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz
# tar -zxvf Python-3.8.0.tgz
#cd Python-3.8.0.tgz

check依賴，生成Makefile，

# ./configure --prefix='/usr/local/python3'

編譯

# make

安裝

# make install

做軟鏈

# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

Python3.7后–with-ssl不可用，執(zhí)行configure的時(shí)候 不加–with-ssl也可以安裝成功，如果不成功，可以在Python-3.8.0/Modules/Setup文件中去掉以下3行的注釋符

# _ssl _ssl.c \# -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \# -L$(SSL)/lib -lssl -lcrypto

安裝scrapy

可以先修改pip源路徑，Pipfile文件中[source]下面url屬性，比如修改成：url = "https://pypi.tuna.tsinghua.edu.cn/simple"也可以直接用以下命令執(zhí)行安裝

# pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple # 指定清華大學(xué)的pip源更新pip
# pip3 install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple # 安裝scrapy

接下來(lái)會(huì)安裝很多scrapy的依賴包，到安裝Twisted的時(shí)候會(huì)很慢，要耐心等待。看到如下圖即安裝成功！

安裝完成后接下來(lái)配置遠(yuǎn)程開發(fā)環(huán)境請(qǐng)參考

https://www.cnblogs.com/xiao-apple36/p/8587086.html

聽說 pipenv 吊炸天，可以一步到位安裝Scrapy。

另外推薦使用Anaconda，可省去一堆依賴包的跨境下載，python多版本管理，Scrapy安裝可一鍵搞定。特別是Windows環(huán)境，強(qiáng)烈建議。 歡迎交流嘗試

附

CentOS7.7.1908清華大學(xué)的鏡像路徑

https://mirrors.tuna.tsinghua.edu.cn/centos/7.7.1908/isos/x86_64/CentOS-7-x86_64-DVD-1908.iso oracle VirtualBox

https://download.virtualbox.org/virtualbox/6.0.14/VirtualBox-6.0.14-133895-Win.exe

windows企業(yè)版pycharm-2019.2.3

https://download.jetbrains.com/python/pycharm-professional-2019.2.3.exe?_ga=2.181479010.470914607.1571468237-1358446455.1571468237

總結(jié)

以上所述是小編給大家介紹的VirtualBox CentOS7.7.1908 Python3.8 搭建Scrapy開發(fā)環(huán)境【圖文教程】,希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)億速云網(wǎng)站的支持！如果你覺得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！