• 로그인
  • 장바구니에 상품이 없습니다.

home2 게시판 Python, SQL 게시판 파이썬 웹크롤러 인스타그램 질문

파이썬 웹크롤러 인스타그램 질문

2 글 보임 - 1 에서 2 까지 (총 2 중에서)
  • 글쓴이
  • #95392

    임규연
    참가자
    모듈 import 전부 다 정확하게 했고 로그인 코드 짠 다음에 
    
    # instagram의 사과 이미지 수집
    # 1) 로그인
    # 2) #사과 검색 페이지 이동
    # 3) 첫 사진 클릭
    # 4) 이미지 저장
    # 5) 다음 누르고 이미지 저장
    # 6) 5 반복
    # 페이지 이동 : driver.get 사용
    driver.get ('https://www.instagram.com/explore/tags/%EC%82%AC%EA%B3%BC/')
    driver.implicitly_wait(10) # 찾는 요소가 없으면 알아서 n초 기다려라
    # 첫 사진 클릭
    firstpt = driver.find_element(By.CLASS_NAME, '_aagw')
    firstpt.click()
    # 이미지 저장 후 다음 누르고 또 저장  ->  찾기
    driver.implicitly_wait(5)
    imageurl = driver.find_element(By.CLASS_NAME, '_aagv').get_attribute('src')
    print (imageurl)
    urllib.request.urlretrieve(imageurl, '1.jpg')
    nextbt = driver.find_element(By.CLASS_NAME, '_abl-')
    nextbt.click()
    
    이렇게 코드를 짜서 실행시켰더니 
    
    TypeError: expected string or bytes-like object, got 'NoneType'
    alphastation:webscrapingusingpython alphastation$ /usr/local/bin/python3 "/Users/alphastation/repository/webscrapingusingpython/practice selenium/pagemovement_saveimage.py"
    None
    Traceback (most recent call last):
      File "/Users/alphastation/repository/webscrapingusingpython/practice selenium/pagemovement_saveimage.py", line 60, in <module>
        urllib.request.urlretrieve(imageurl, '1.jpg')
      File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/urllib/request.py", line 241, in urlretrieve
        with contextlib.closing(urlopen(url, data)) as fp:
                                ^^^^^^^^^^^^^^^^^^
      File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/urllib/request.py", line 216, in urlopen
        return opener.open(url, data, timeout)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
      File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/urllib/request.py", line 503, in open
        req = Request(fullurl, data)
              ^^^^^^^^^^^^^^^^^^^^^^
      File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/urllib/request.py", line 322, in __init__
        self.full_url = url
        ^^^^^^^^^^^^^
      File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/urllib/request.py", line 348, in full_url
        self._parse()
      File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/urllib/request.py", line 377, in _parse
        raise ValueError("unknown url type: %r" % self.full_url)
    ValueError: unknown url type: 'None'
    
    이라는 버그가 떴습니다 ㅠㅠㅠㅠㅠ 그래서 
    
    imageurl = driver.find_element(By.CLASS_NAME, '_aagv').get_attribute('src') 
    
    이 객체를 print로 출력해봤더니 None이 떴어요 ㅠㅠ 
    도저히 구글링으로 해결이 안되네요 클래스명이 잘못되어서 img url이 이상하게 되어서 생기는 오류일까요? 아니면 제가 urllib 문법을 잘못 적은 것일까요?
    
    #95413

    codingapple
    키 마스터
    driver.find_element(By.CLASS_NAME, '_aagv') 이걸로 이미지 못찾아온듯요 <img> 태그를 찾아봅시다
2 글 보임 - 1 에서 2 까지 (총 2 중에서)
  • 답변은 로그인 후 가능합니다.

About

현재 월 700명 신규수강중입니다.

  (09:00~20:00) 빠른 상담은 카톡 플러스친구 코딩애플 (링크)
  admin@codingapple.com
  이용약관
ⓒ Codingapple, 강의 예제, 영상 복제 금지
top

© Codingapple, All rights reserved. 슈퍼로켓 에듀케이션 / 서울특별시 강동구 고덕로 19길 30 / 사업자등록번호 : 212-26-14752 온라인 교육학원업 / 통신판매업신고번호 : 제 2017-서울강동-0002 호 / 개인정보관리자 : 박종흠