• 로그인
  • 장바구니에 상품이 없습니다.

home2 게시판 Python, SQL 게시판 크롤러 관련 문의드려봅니다

크롤러 관련 문의드려봅니다

3 글 보임 - 1 에서 3 까지 (총 3 중에서)
  • 글쓴이
  • #14166

    곰돌이
    참가자

    선생님 안녕하세요.

    웹강 프리패스 수강생입니다. 제가 사정상 급하게 크롤링관련 공부를 하게되서, 아직 수강전이지만 혼공하다가 막히는게 있있어 질문드리게 되었습니다. 혹여 실례가 안된다면 간단한 언지라도 주실수 있으실까요? ㅜ

    계속 아래와 같은 에러가 나는데 보통 어디를 체크해야 하면 좋을까요?

    구글창이 뜨면서 이미지 검색후 더보기가 없는 끝까지 간후, 이미지가 따로 저장이 안됩니다..

     

    원 코드 입니다.

     

     

    from selenium import webdriver
    from urllib.request import urlopen
    from bs4 import BeautifulSoup as bs
    from urllib.parse import quote_plus
    from selenium.webdriver.common.keys import Keys
    import time
    import urllib.request

    driver = webdriver.Chrome('C:\myapp\chromedriver.exe') # 여기에 크롬드라이브 다운로드 받은 경로를 입력한다.
    driver.get("https://www.google.co.kr/imghp?hl=ko&ogbl")
    elem = driver.find_element_by_name("q")
    elem.send_keys("flying birds")
    elem.send_keys(Keys.RETURN)
     
    SCROLL_PAUSE_TIME = 1
     
    last_height = driver.execute_script("return document.body.scrollHeight")
     
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
     
        time.sleep(SCROLL_PAUSE_TIME)
     
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            try:
                driver.find_element_by_css_selector(".mye4qd").click()
            except:
                break
        last_height = new_height
     
    images = driver.find_elements_by_css_selector(".rg_i.Q4LuWd")
    count = 1
    for image in images:
        try: 
            image.click()
            time.sleep(2)
            imgUrl = driver.find_element_by_xpath('/html/body/div[2]/c-wiz/div[3]/div[2]/div[3]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div/div[2]/a/img').get_attribute("src")
            urllib.request.urlretrieve(imgUrl, str(count) + ".jpg")
            count = count + 1
        except:
            pass
     
    driver.close()

     

    #14169

    codingapple
    키 마스터

    for image in images:
        try: 

    이 구문이 실행이 잘 안되는 것 같은데요 

    xpath가 살짝 다르거나 그런 문제 같습니다 

    xpath 말고 셀렉터로 찾든 그래봅시다 

    #14178

    곰돌이
    참가자

    넵 한번 시도해 보겠습니다. 답변 감사드려용!

3 글 보임 - 1 에서 3 까지 (총 3 중에서)
  • 답변은 로그인 후 가능합니다.

About

현재 월 700명 신규수강중입니다.

  (09:00~20:00) 빠른 상담은 카톡 플러스친구 코딩애플 (링크)
  admin@codingapple.com
  이용약관
ⓒ Codingapple, 강의 예제, 영상 복제 금지
top

© Codingapple, All rights reserved. 슈퍼로켓 에듀케이션 / 서울특별시 강동구 고덕로 19길 30 / 사업자등록번호 : 212-26-14752 온라인 교육학원업 / 통신판매업신고번호 : 제 2017-서울강동-0002 호 / 개인정보관리자 : 박종흠