파이썬에서 웹 크롤링을 하다보면 자동화 처리를 하고 싶을때가 있습니다
예를 들어 유튜브처럼 마우스 스크롤을 내려야 동영상 목록이 더 나오고 하는 등의 작업에서요
이럴때 크롤링을 하려면 화면 내리고 하는 작업을 할 때가 있습니다
이런걸 자동으로 할 수 없을까?
이것을 지원해주는 것이 셀레니움입니다
셀레니움은 웹 드라이버를 이용해서 접근하는데요
코드를 구성해서 실행하면 해당 웹 드라이버를 통해 웹 페이지에 접속해서 작업을 진행합니다
간단하게 설치하는 법을 알아볼까 합니다
그리고 테스트도 진행해볼게요
먼저 cmd창에서 파이썬이 설치된 경로로 이동합니다
cd 이동경로
로 이동하시면 됩니다
그리고 pip가 설치된 Scripts 폴더로 이동하세요
이후 pip install selenium을 이용해서 설치합니다
이렇게 설치가 될거에요~
Success가 되면서 설치가 완료될 것입니다.
그 다음으로 구글에서 chromedriver을 검색합니다
저는 크롬 기준으로 할 것이기에 크롬 드라이버를 다운받을거에요~
만약 다른 firefox, IE 등을 이용하시면 해당 드라이버를 받으시면 됩니다.
들어갑니다!
다운로드를 받으러 들어갑니다
현재 11.20일 기준으로 2.33버전이네요
여기서 윈도우용 버전을 받습니다
금방 받아져요!
파일을 받았으면 압축을 푸세요
그럼 크롬 드라이버가 있을겁니다
저는 이 파일을 파이썬이 설치된 폴더에 driver라는 폴더를 새로 만들어서 여기에 두었습니다
관리하기 쉽게요!
자 이제 준비는 끝났습니다
예제를 한번 해보죠
네이버에 자동으로 들어가서 네이버 검색창에 셀레니움 테스트입니다.
라는 문구를 작성하게 할 것입니다.
위 처럼 진행하면 되어요
query라는 부분은 네이버 검색창 부분의 id입니다.
그래서 element_by_id를 통해서 id 값을 가지고 옵니다
자바스크립트랑 비슷한 문법이죠? 자바스크립트를 하신 분들은 뭔가 익숙할 것입니다
그리고 send_keys를 통해 키를 전달합니다.
그리고 submit()으로 실행!
자 이 파일을 실행하면요
위 처럼 나옵니다!
여기까지 셀레니움 설치 및 간단 테스트였습니다
'python' 카테고리의 다른 글
파이썬 랜덤 사용해보기! (0) | 2017.11.20 |
---|---|
모바일 게임 순위를 알아보자! - 파이썬 셀레니움을 이용 (0) | 2017.11.20 |
파이썬(python) mysql 연결 및 select 문 테스트 (0) | 2017.11.19 |
파이썬3 exe(실행)파일 만들기! (0) | 2017.11.19 |
벅스 차트 분석(파이썬 크롤링과 R을 이용한 분석) (0) | 2017.11.16 |