Records of/Projects
[ToyPrj-Crawling] CGV 리뷰 크롤링 하기(final)
data_soin
2021. 8. 3. 06:33
이수안 선생님 감사합니다..
강의 들으면서 따라치기출처 : https://www.youtube.com/watch?v=qil0BtP8kLY |
| Selenium 및 웹 드라이버 설치 |
In [4]:
# jupyter notebook에서 !는 ! 이후 명령을 cmd에서 입력하는 것과 동일하게 처리해준다.
!pip install Selenium
!apt-get update
!apt install chromium-chromedriver
# chromedriver 현재 경로에 복사
!cp /usr/lib/chromium-brower/chromedriver /usr/bin
import sys
# sys.path에 경로 insert
sys.path.insert(0, '/usr/lib/chromium-brower/chromedriver')
from selenium import webdriver
# chrome webdriver 환결설정
chrome_options = webdriver.ChromeOptions()
# 클라우드 환경 내에서 실행하기 때문에 브라우저를 띄우지 않고 동작하게 args 정의
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
Requirement already satisfied: Selenium in c:\users\user\anaconda3\envs\datascience\lib\site-packages (3.141.0)
Requirement already satisfied: urllib3 in c:\users\user\anaconda3\envs\datascience\lib\site-packages (from Selenium) (1.26.4)
'apt-get'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는
배치 파일이 아닙니다.
'apt'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는
배치 파일이 아닙니다.
'cp'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는
배치 파일이 아닙니다.
In [25]:
import time
import pandas as pd
from selenium.common.exceptions import NoSuchElementException
# 함수 만들기
def get_movie_reviews(url, page_num=10) :
wd = webdriver.Chrome('chromedriver', options=chrome_options)
# url과 페이지 번호 default를 10으로 하는 page_num을 parameter로 받아오기
wd.get(url)
writer_list = []
review_list = []
date_list = []
# page_num에 대한 반복문
for page_no in range(1, page_num+1) :
try :
# *) 1페이지를 클릭했을 때 동작하는 것 == ul 태그
page_ul = wd.find_element_by_id('paging_point')
# Selenium 기능 : text 형태의 link를 찾는다.
# page_no에 대해서 str로 변환된 값을 link_text의 parameter로 보내주기
page_a = page_ul.find_element_by_link_text(str(page_no))
page_a.click()
# page_no을 누르면 새로고침 되어야 하는데,
#너무 빨리되면 새로고침되기 전에 접근되기 때문에 1초정도 지연해준다.
# (time을 import 해주기)
time.sleep(1)
# 1. 작성자 가져오기
# a 태그 안에 text로 들어가 있음 -> class 또는 writer-name으로 접근
writers = wd.find_elements_by_class_name('writer-name') # element's' 주의
# 작성자가 여러개이므로 list로 정리
writer_list += [writer.text for writer in writers] # for문 위에 선언해주기
# print(writer_list)
# 2. 드디어 수없이 봤던 찐리뷰..box-comment 가져오기 ㅡㅡ 후
reviews = wd.find_elements_by_class_name('box-comment')
review_list += [review.text for review in reviews] # for문 위에 선언해주기
# 3. 날짜 가져오기
dates = wd.find_elements_by_class_name('day')
date_list += [date.text for date in dates] # for문 위에 선언해주기
# **) 다음페이지를 눌렀을 때
if page_no % 10 == 0 :
next_button = page_ul.find_element_by_class_name('btn-paging next')
next_button.click()
time.sleep(1)
# 끝페이지까지 갔을 때의 예외처리로 Selenium의 NoSuchElementException을 import 해주고 오기
except NoSuchElementException :
break
# DataFrame으로 보여주기 위해 pandas를 import 해주고 온다.
movie_review_df = pd.DataFrame({'날짜' : date_list,
'작성자' : writer_list,
'리뷰내용' : review_list})
return movie_review_df
*) 1페이지를 클릭했을 때 동작하는 것
In [24]:
url = ' http://www.cgv.co.kr/movies/detail-view/?midx=84775'
movie_review_df = get_movie_reviews(url, 12)
movie_review_df
Out[24]:
| 작성자 | 리뷰내용 | 날짜 | |
|---|---|---|---|
| 0 | apollo | 모처럼 불필요한 요소 없이 기본에 충실하고도 긴장감 있는 영화를 본 것 같아요. 이... | 2021.08.02 |
| 1 | ka**aoh1 | 재미있게 잘봤습니다. | 2021.08.02 |
| 2 | gh**lgp8740 | 오랜만에 한국 드라마 재밌게 봤네요 | 2021.08.02 |
| 3 | ie**1004 | 카체이싱이 압권. 외국인 배우들 연기 잘한다. | 2021.08.02 |
| 4 | junna5830 | 몰입감있게 잘 봤습니다. 보는 내내 심장이 쫄깃쫄깃해서 긴장감을 놓을 수 없었어요.... | 2021.08.02 |
| 5 | du**k6968 | 볼만했어요 아르고 한국버전 | 2021.08.02 |
| 6 | ne**539 | 재미나요.ㅋㅋㅋㅋ ㄱ | 2021.08.02 |
| 7 | 유키Vip | 2021년 8월 2일 2D GOLD CLASS 볼만함ㅋ | 2021.08.02 |
| 8 | 새벽별빛 | 올로케 배경과 등장인물들이 꽤 괜찮았던 영화 | 2021.08.02 |
| 9 | 필립스 | 감독,배우들이 최고의 영화를 만들었네요 | 2021.08.02 |
| 10 | 그냥 그렇게 | 실화라 그런지 더 감동적이네요 | 2021.08.02 |
| 11 | *YJ* | 액션신 스릴 넘쳐요 조배우님 연기 좋구요 | 2021.08.02 |
| 12 | le**ate | 아주 이를 갈고 만드셨네… | 2021.08.02 |
| 13 | 예삐밍키 | 연기력은 정말 갑 오브 갑 | 2021.08.02 |
| 14 | oj**123 | 재미있고 시간 가는줄 모르고 봤습니다 역시 믿고 보는 조인성입니다 | 2021.08.02 |
| 15 | coffee milk | 마지막 고개 못 돌리는 장면 뭉클 ㅠㅠㅠㅠ 구교환배우 다음엔 덜 맞자구요ㅠㅠㅠㅠ | 2021.08.02 |
| 16 | mi**nfran | 긴장감 넘치며 흥미진진하게 잘 봤습니다. | 2021.08.02 |
| 17 | 네일아튜 | 재미나게 봤어요 감사합니다 | 2021.08.02 |
| 18 | lo**uls | 편히 앉아서 역사의 한부분을 몸소 느낄수있는 영화였습니다 | 2021.08.02 |
| 19 | 냐옹스라 | 배우들의 연기가 인상적입니다. 마지막이 가금 뭉클합니다. 평범한 일상에 감사하며 하... | 2021.08.02 |
| 20 | redforever | 4000원에 봐서 만족 | 2021.08.02 |
| 21 | 빛나는 사람 | 꿀잼이었어요~~~♡♡♡ | 2021.08.02 |
| 22 | 사과나무KCJ | 김윤석 연기 보러갔다가 조인성 연기에 감탄. 어느 하나 어색함 없는 연기!! 탄탄한... | 2021.08.02 |
| 23 | 무지개퍼즐 | 같은 듯 다른, 서로 작별 인사조차 할 수 없는 우리 민족 | 2021.08.02 |
| 24 | 딸기뽕짝 | 배우 연기 굿 생각보다 괞찬다 | 2021.08.02 |
| 25 | Lovely Jen | 연출, 연기 모두 너무 좋았어요! | 2021.08.02 |
| 26 | YIIOZ | 리얼해요 코로나시국에 어떻게 찍었는지 궁금함 | 2021.08.02 |
| 27 | 로맨스 | 액션 장면이 조금만 더 있었으면 훨씬 좋았을 텐데..ㅠ | 2021.08.02 |
| 28 | 조은사또 | 오랜만에, 재밌게 봤습니다. | 2021.08.02 |
| 29 | bl**zone39 | 보는 내내 안타까웠습니다. 소말리아의 상황도 남북한의 관계도..전쟁이 없는 세상이 ... | 2021.08.02 |
| 30 | pr**a02 | 오랜만에 볼만한 한국영화 ㅎ | 2021.08.02 |
| 31 | CGV회원이네헐 | 예전에 이와 비슷한 외국영화가 하나 있었는데 그 영화도 상당히 수작이었는데 제목이 ... | 2021.08.02 |
| 32 | ar**ldhan | 감사합니다 감사합니다 좋은 영상 감사합니다 | 2021.08.02 |
| 33 | 00**dia | 기대 안하고 봤는데 너무 재밌었어요 | 2021.08.02 |
| 34 | ma**e7999 | 믿고보는 감독과 배우님들. 그리고 영화 촬영하신 모든 관련자분들 고생하셨습니다. 덕... | 2021.08.02 |
| 35 | rlawps | 진짜 몰입도 짱. 아주 재밌게 잘 봤습니다!! | 2021.08.02 |
| 36 | 세삼스럽군 | 그럭저럭 볼만했다. 신파스럽지 않으려고 노력하면서 깊이는 조금 놓친 느낌이지만 밸런... | 2021.08.02 |
| 37 | 애기살 | 역시 류승완 감독 영화 유쾌하고 재미있네요 | 2021.08.02 |
| 38 | si**236 | 배우들의 연기가 일품ㅋ 안타까운 현실 항상 남북이 나오면 끝나고 나면 먹먹함ㅠㅠ | 2021.08.02 |
| 39 | 체력만땅 | 좋습니다. 아주 잘 봤습니다. | 2021.08.02 |
| 40 | un**le71 | 역시 류승완감독 믿고보는배우들 추천 꾹 | 2021.08.02 |
| 41 | chowiner | 볼만하네요 재미있어요ㅋ | 2021.08.02 |
| 42 | 무비트레블 | 헐리우드 영화같았음 자랑스러움을 느낌 | 2021.08.02 |
| 43 | jm**301 | 영화 아니었음 몰랐을사실 이네요. 긴장감 넘치고 재밋게 봤어요 | 2021.08.02 |
| 44 | sa**ho9931 | 킬링타임르으로 보기좋음 | 2021.08.02 |
| 45 | JSY330 | 코미디인줄 알고 보러갔는데 재밌고 감동적이였어요. | 2021.08.02 |
| 46 | xt**pupl | 배우들 연기가 훌륭하고 연출도 좋음. 열심히 찍은 느낌이 남! | 2021.08.02 |
| 47 | dl**gmldia | 생각보다는 아쉬운 점이 있었으나 볼만했다. 집중 잘되고 실화라고 하니 남과 북에 대... | 2021.08.02 |
| 48 | hs**7062 | 재밌게 봤어요!!!! | 2021.08.02 |
| 49 | pa**juny119 | 내용이 재밌었고 현실적이어서 놀랐어요 | 2021.08.02 |
| 50 | ??ACE?? | 배우들의 연기 내공이 느껴지는 그런 영화예요 최고최고~👍 | 2021.08.02 |
| 51 | hy**un4 | 영상 연기 모두 최고.. 오랜만에 몰입할 수 있는 영화네요 | 2021.08.02 |
| 52 | se**71014 | 재밋어요 연기짱!! 추천 | 2021.08.02 |
| 53 | ky**890303 | 존잼입니다 꼭추천드리는영화 강추 | 2021.08.02 |
| 54 | na**rmind | 긴장감 있고 좋았어요 추천합니다 | 2021.08.02 |
| 55 | 루키14 | 내전의 참상 외교적 미묘함 잘 만든 영화 | 2021.08.02 |
| 56 | pk**68 | 남북의 이념과 한민족의 본질성 사이의 미묘한 감정을 잘 보여줍니다. | 2021.08.02 |
| 57 | hi**ru76 | 실화가 주는 감동이 있었다... | 2021.08.02 |
| 58 | 선하우영♥ | 좋았어요!!.!.!,! | 2021.08.02 |
| 59 | 12**wjdals | 과한 신파 없어도 이렇게 재밌게 만들수 있는걸..! | 2021.08.02 |
폭 감
풍 동
**) 다음 페이지를 눌렀을 때의 동작을 처리해보자.
다른 영화도 해보자
In [28]:
url = 'http://www.cgv.co.kr/movies/'
wd = webdriver.Chrome('chromedriver', options=chrome_options)
wd.get(url)
movie_chart = wd.find_element_by_class_name('sect-movie-chart')
contents = movie_chart.find_elements_by_class_name('box-contents')
for content in contents :
link = content.find_element_by_tag_name('a').get_attribute('href')
title = content.find_element_by_class_name('title').text
percent = content.find_element_by_class_name('percent').text
info = content.find_element_by_class_name('txt-info').text
print(title, percent, info, link)
print(get_movie_reviews(link,2))
모가디슈 예매율32.6% 2021.07.28 개봉 http://www.cgv.co.kr/movies/detail-view/?midx=84775
날짜 작성자 리뷰내용
0 2021.08.02 w0**hanel 재미있습니다 여러 생각이 드는 그런 영화
1 2021.08.02 쵸이평론가 최신한국액션영화 정점
2 2021.08.02 레드루시 그들의 최종 목표는 생존이었다
3 2021.08.02 ki**e1982 오랜만에 본 영화였는데 재미있게 잘 봤습니다.
4 2021.08.02 God of movie 류승완이란 감독의 이름값에 김윤석, 조인성, 허준호라는 배우들의 이름값만으로도 높아...
5 2021.08.02 팝콘은메1가박스 정만식 배우님 홍보로 보게됐어요~ 부모님이랑 같이 봤는데 너무 재밌어요
6 2021.08.02 도도다녤 감동도 받았고 재밌게 봤습니다. 가족과 함께 볼수있는 좋은 영화인것 같아요.
7 2021.08.02 ce**2200 생동감이 넘쳐 보는 내내 눈 뗄수 없으며 배우들 연기또한 좋았어요
8 2021.08.02 실버서퍼 재미없었다. 감독이 누군지 진작에 알았으면 안 봤지
9 2021.08.02 맹이악 걍 소소하게 볼만한 영화였습니다ㅋㅋ
10 2021.08.02 ye**n4222 조인성멋있어존잘조인성
11 2021.08.02 부리바 그런대루 볼만 했슴니다
정글 크루즈 예매율6.5% 2021.07.28 개봉 http://www.cgv.co.kr/movies/detail-view/?midx=84743
날짜 작성자 리뷰내용
0 2021.08.02 슥이 너무재미있게봤어요~^^
1 2021.08.02 mijung0759 조카데리구봤는데 꿀잼이네용
2 2021.08.02 eh**o28 이 영화를 4dx로 볼까 고민하시는 분들을 위해 적습니다. 보지 마세요
3 2021.08.02 in**ect1 재밌었습니다. 상상력 넘치고
4 2021.08.02 우디알렌1 디즈니의 영상미는 언제나 좋네요
5 2021.08.02 미루나무꼭대기 방학시즌에 아이들과 보기 좋은 영화입니다
6 2021.08.02 gt**40 졸려요 트랜스포머3편 뭔가 다양함할 보여줄려는거같은데 쌩뚱맞고 잡탕느낌..기대가크니...
7 2021.08.02 Z20029 짜고치는 고스톱같은 뻔한 클리셰로 가득 찬 디즈니 영화. 심지어 더락 과 에밀리는 ...
8 2021.08.02 ar**vold 여자가 주인공인 인디아나존스를 본 것 같네요
9 2021.08.02 ch**g7876 판타지 모험을 떠난 것 같은 기분이!
10 2021.08.02 ka**aoh1 재미있게 잘봤습니다.
11 2021.08.02 jo**imimi 그럭저럭 입니다. 아들은 중간에 꾸벅 졸았네요
보스 베이비 2 예매율5.7% 2021.07.21 개봉 http://www.cgv.co.kr/movies/detail-view/?midx=84779
날짜 작성자 리뷰내용
0 2021.08.02 12**dltnqls 아이들이랑 보면 정말 재미있을거 같아여 동심이 돌아오는 느낌이에요!
1 2021.08.02 토리밤밤 재밌어요~ 가족에 대해 생각해볼수있는 따뜻한 시간이었어요~
2 2021.08.02 봉명동안방극장 굳이 나올 필요가 없었던 속편... 정신없고 혼란하다.
3 2021.08.02 ki**102 재미있게 잘봤습니다.
4 2021.08.02 장땡어린이 킬링타임용으로 볼만했습니다
5 2021.08.02 su**un3140 잼있게봤어요!!아이들도 좋아하네요
6 2021.08.02 귀여운여우♡ 아이들이 재미있었다고 합니다
7 2021.08.02 rl**l0911 ㅗㅗㅗㅠㅠㅏㅏㅏㅎㅍ퍼ㅕㅕㅕ
8 2021.08.02 yu**801 아이들이 잘 보네요 ,..
9 2021.08.02 요요비치 아이랑 재미있게봤어요~ 전편을 못봤는데 봐야겠어요
10 2021.08.02 sj**0211 귀여워 죽겠어! 또 보고싶어요
11 2021.08.02 뽀시시둥이맘 보스베이비2도 잼있었어요
블랙 위도우 예매율4.6% 2021.07.07 개봉 http://www.cgv.co.kr/movies/detail-view/?midx=82986
날짜 작성자 리뷰내용
0 2021.08.02 대박배우 마블이란 이벤트를 즐길 수 있는 시대에 살고 있다
1 2021.08.02 so**iano 미국은 돈이 정말 많구나
2 2021.08.02 gh**lgp8740 역시 블랙 위도우!!!
3 2021.08.02 oj**hyek 역시 마블!!!????????
4 2021.08.02 빛나는 사람 그닥ㅜㅜ걍쏘쏘였어요
5 2021.08.02 하쭉아빠 역시 스칼렛은 실망을 안시킨다
6 2021.08.02 zooyoung 역시 스칼렛 요한슨 액션도 좋고 정말 재밌게 봤어요!!
7 2021.08.02 ar**ldhan 감사합니다 감사합니다 좋은 영상 감사합니다
8 2021.08.02 d4**25d 처음보는거였는데 볼만하네요 재밌어요
9 2021.08.02 흑기사 딸내미랑 너무 재밌게 잘 봤습니다^^ 역시 최고입니다
10 2021.08.02 ki**2451 짱 재미있게 보았습니다
11 2021.08.02 콩호랑이 액션신이 좀 적은거같은데 그래도 내용이 탄탄해서 좋았어요. 마지막에 옐레나가 읍읍읍...
방법-재차의 예매율3.8% 2021.07.28 개봉 http://www.cgv.co.kr/movies/detail-view/?midx=84774
날짜 작성자 리뷰내용
0 2021.08.02 ju**n2002 은근 재밌었다 스릴감도 있고 짱~
1 2021.08.02 은쥬띠 지루하고 지루했음.
2 2021.08.02 ar**vold 크게 실망할 정도는 아닌데 조금 영화적 허용부분이 조금 오버스러운 것 같기도 합니다
3 2021.08.02 사랑덩이 긴장감있고 재미있게보았어요
4 2021.08.02 ch**g7876 배우들의 연기가 좋았어요!
5 2021.08.02 ne**539 재미나요.ㅋㅋㅋㅋㄱ
6 2021.08.02 레드크로서 모가디슈 S, 정글크루즈 A~B+, 재차의 F 1시간만에 포기하고 내발로 걸어나옴 ::
7 2021.08.02 쏭림 후두티입은 좀비들의 활약이 볼만합니다
8 2021.08.02 kk**040 드라마를 재밌게봐서 영화도 기대했는데 너무 재밌게 봤어요
9 2021.08.02 ve**nica314 드라마에 나오신분들 다 나와서 반가웠다는... 드라마만큼이나 재미있었어여.
10 2021.08.02 xt**pupl 짐작가능한 스토리이긴하지만 보기에 즐거운 영화
11 2021.08.02 멋쟁이신후 전개도 빠르고 스토리도 나름 탄탄했다.
이스케이프 룸 2-노 웨이 아웃 예매율1.7% 2021.07.14 개봉 http://www.cgv.co.kr/movies/detail-view/?midx=84740
날짜 작성자 리뷰내용
0 2021.08.02 ㅇㅖ은쏜 긴장감 오져따리~~ 시간순삭 3도 기대..!!
1 2021.08.02 황가리 재밌었습니다 재밌었습니다
2 2021.08.02 ㅁㄴㄴㄴ 개꿀잼 ㅋㅋ 시간가는게 아까울 정도 스릴넘침 자이로드롭 타는 기분이었어요 ㅋㅋㅋ 후...
3 2021.08.02 민트초코님 그냥그냥 볼만합니다 나쁘지않아요 ~
4 2021.08.02 레이가람 눈요기하기좋은 딱 킬링타임. 스토리는 생각마시길
5 2021.08.02 da**mby 3탄도 있군요~ 1편이 더욱 재밌었지만 2편 봤으니 3편도 고 ㅎ
6 2021.08.02 io**210 재밌네요..잘 봤습니다.
7 2021.08.02 하얀잉 반전이 예상가능한ㅋㅋ 그래도 긴장감은 있어영~
8 2021.08.02 yo**gk44 so so so so....so...
9 2021.08.02 dl**wns963 여전한 스릴러와 다음편이 기대되는 이야기
10 2021.08.02 유뎡이 1탄재밋게봐서 기대했는데 재밋어요
11 2021.08.02 su**3099 재밌네요. 추천해요. 몰입감 쩔%~~
피닉스 예매율0.4% 2021.07.22 개봉 http://www.cgv.co.kr/movies/detail-view/?midx=84792
날짜 작성자 리뷰내용
0 2021.08.02 ar**vold 끝이 매우 여운이 남는 영화
1 2021.08.02 서감독 슬픈 현실을 잘 보여주는 수작이네여
2 2021.08.02 jj**162 너무조아따. 너무 재미었다
3 2021.08.02 주드! 후기를 쓰게 되네요~ 영화를 평생 봐 왔는데.. 눈에 들어오는 영화네요~
4 2021.08.02 hs2775 엔딩곡이 모든 것을 말해주네요. 사랑의 허상과 쓸쓸함.
5 2021.08.02 mi**ii22 서사 외에도 전쟁의 참혹함을 느끼게 해줬어요
6 2021.08.02 na**o1 Phoenix. 불사조. 세계에서 가장 슬픈 연극.
7 2021.08.02 ILLIONAIRE 새롭게 태어날 불사조의 힘차고도 처연한 날갯짓.
8 2021.08.02 보우먼 구수구수ㅜㅛㅜ수수ㅜㅛㅜ수
9 2021.08.02 앞집 여자 긴장감 제로에요. 뭘 말하고 싶은건지...
10 2021.08.02 ba**un33 한 여자의 첫번째 죽음에 대한 영화.
11 2021.08.02 소승불교 여자는 알면서도 내색을 하지 않았고 중간중간에 힌트는 많았다. 노래가 대박~~
-끝-