I am Here, Here we are

2016년 5월 1일 일요일

동적 웹컨텐츠 크롤링

최근에 간단한 웹크롤러를 만들고 있는데, 동적 웹컨텐츠를 크롤링하는 방법을 정리한다. 이 블로그에서( http://yujuwon.tistory.com/entry/PhantomJS-사용하기) 설명한 것처럼 PhantomJS을 사용하였다.

1. 동적 웹컨텐츠

아래와 같이 파이어폭스의 개발자 도구의 "네트워크" 텝을 켜서 보면, 응답의 형식이 html이 아닌, json 이나 xml 인 경우가 있다. 브라우저가 이러한 응답을 읽어서 내용을 표시해주는데 보통의 ajax 방식으로 로딩되는 경우가 이러한 경우이다. 이런 경우는 소스에서 Request 을 하는 url 을 찾기 쉽지 않다. 그래서 PhantomJS 와 같은 브라우저를 이용해서 웹페이지를 로컬로 임시로 저장해서 그것을 크롤링 하는 방법을 사용해보기로 한다. 더 좋은 방법이 있을법도 한데, 일단 동작하는 프로그램을 빨리 만들어보자.

2. PhantomJS

맥에서 PhantomJS을 사용하려면 소스코드를 다운받고 빌드를 해주어야 한다. 아래 문서를 참고하자. http://phantomjs.org/build.html

git submodule update 까지 해주고 실행하고 build을 하려고 하면 OpenSSD, Xcode 등이 없다고 빌드가 되지 않는다. 다 설치해주고 나서 build 을 해주자. build 는 조금 시간이 걸린다.

	var page = require('webpage').create();
	var system = require('system');
	var fs = require('fs');

	if (system.args.length === 1) {
	console.log('Usage: loadspeed.js <some URL>');
	phantom.exit();
	}

	var address = system.args[1];
	page.open(address, function(status) {
	if (status) {
	fs.write('test.html', page.content, 'w');
	}
	phantom.exit();
	});

view raw save_web.js hosted with ❤ by GitHub

그리고 나서 phantomjs을 이용해서 웹페이지를 로컬로 저장해보자. 간단한 js 스크립트를 이용해서 저장을 한다. 위의 소스코드는 "http://yujuwon.tistory.com/entry/PhantomJS-사용하기" 에서 복사해온 것이다. 그리고 나서 아래처럼 실행해보자.

➜ phantomjs git:(d9cda3d) ✗ ./bin/phantomjs save_web.js http://sports.news.naver.com/wfootball/news/index.nhn

공식문서의 아래 문서를 참조하면 도움이 된다.
http://phantomjs.org/screen-capture.html

3. 크롤링 라이브러리

크롤링 하는 프로그램은 scrapy 라는 파이썬 라이브러리를 이용해서 작성하고 있다. 여러모로 편리하다.
http://scrapy.org

2016년 4월 13일 수요일

파이썬 모듈, 패키지

시간: 오후 8:32:00

1. 모듈

파이썬에서 모듈은 단순히 파이썬 코드 파일이다. 한권의 책이 단어들, 문장, 단락, 장(챕터) 로 이루어진 것처럼 프로그램 코드도 대략 데이터 타입(단어들), 문장, 함수(단락), 모듈(챕터)과 같은 형태로 구조화 된 것으로 생각해 볼 수 있다. 파이썬에서는 다른 모듈에 정의된 데이터 타입, 함수등을 import 을 통해서 불러와 사용할 수 있다.

아래 hello_world.py 에서는 hello 와 hi 모듈에 있는 함수를 사용하고 있다.

	import hello
	from hi import hi_once
	import world.china as cn
	from world.korea import where_are_you

	hello.hello_once()
	hello.hello_n(5)
	hi_once()
	where_are_you()
	cn.where_are_you()

view raw hello_python.py hosted with ❤ by GitHub

[라인 1] 에서와 같이 모듈에 있는 모든 함수를 import 하거나, [라인 2]에서 처럼 필요한 함수만 import 하여 사용할 수 도 있다.

2. 패키지

이 모듈들은 패키지라고 불리우는 폴더를 통해서 체계적으로 구조화 시킬 수 있다. 어플리케이션의 덩치가 커질수록 패키지를 이용해서 잘 구조화 시키는 것은 필수적인 요소이다. 파일시스템에서 파이썬 패키지로 인식되려면 __init__.py 라는 특별한 파일을 만들어 주어야 한다. 이 파일은 아무 내용이 없을 수도 있고, 필요한 내용들을 기술해 줄 수도 있다. 자세한 내용은 여기를 참조하자.

예제에서 사용된 파이썬 프로젝트의 구조를 살펴보면 두 개의 패키지("hello", "world") 가 생성되어 사용되고 있으며 각각의 폴더의 아래에는 __init__.py 라는 파일이 존재하는 것을 볼 수 있다.

[라인 3]에서 볼수 있는 것과 같이 "패키지명.모듈명" 의 형태로 다른 패키지에 있는 모듈을 import 하여 사용할 수 있다. as 키워드을 이용하 별칭을 붙여줄 수 있다. [라인 10]에서 별칭을 이용해 cn.where_are_you() 라는 메서드를 호출하고 있다. [라인 4]에서는 다른 패키지에 있는 모듈에서 특정함수만을 import 하는 것을 보여준다.

2016년 4월 2일 토요일

이클립스 python 개발 환경

시간: 오후 9:04:00

python 개발 도구로는 많은 것들이 있다. 나는 이클립스 환경이 익숙하기에, 이클립스에 PyDev 라는 플러그인을 설치하여 개발환경을 구축하여 사용한다. 프로젝트가 다양한 언어를 사용하여 이루어진 경우, 별도의 IDE 을 열지 않고, 이클립스 하나만으로 프로젝트 전체 코드를 보는데 유용하기도 하다.