[scrapinghub] pymysql 추가하기

scrapinghub에 pymysql 추가하기

작업용 서버로 centos 7을 사용하고 있다.
파이썬은 한글지원이 필요해서 python3을 사용하고 있다.
python3버전에서는 mysql connect가 pymysql이 설치가 용이하여 이를 선택하였다.

 

개요: scrapinghub를 이용해서 작업을 하는데 pymysql 의존성을 설치하는 방법
요지: requirement.txt에 PyPI에서 받을 수 있는 항목을 적는다.

스택설정

python3을 사용하기 위한 설정

scrapinghub.yml을 다음과 같이 수정

[scrapinghub.yml]

projects:
default: 1111
requirements:
file: ./requirements.txt
stacks:
default: scrapy:1.3-py3

 

의존성추가

참고: 의존성 모듈 추가
c.f. http://help.scrapinghub.com/scrapy-cloud/migrating-dependencies-to-scrapy-cloud-20

$ shub migrate-eggs # scrapinghub의 의존성 모듈을 로컬로 가져온다.

requirement.txt 파일에 다음을 추구한다.

[requirement.txt]

PyMySQL==0.7.10
$ shub deploy # cloud에 올린다.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s