• 로그인
  • 장바구니에 상품이 없습니다.

home2 게시판 Python, SQL 게시판 파이썬 크롤링강좌 질문드립니다

파이썬 크롤링강좌 질문드립니다

2 글 보임 - 1 에서 2 까지 (총 2 중에서)
  • 글쓴이
  • #61231

    Raph
    참가자
    
    
    인스타그램에 특정 해시태그의 사진을 크롤링하는 함수를 만들었습니다
    순차적으로 잘 굴러가다가 특정 사진에서만 14번 라인에서 오류가 납니다
    같은 해시태그로 다시 실행해도 같은 사진에서 같은 오류가 나길래 사진의 형식이 다른건가 싶어
    오류가 나지 않는 다른 사진들과 아무리 요소를 비교해봐도 전혀 차이를 모르겠습니다...
    
    
    Traceback (most recent call last):
      File "C:\Users\kmj\Desktop\vscode\web\selenium\instagram\app.py", line 30, in <module>
        insta_img_crawling('candle', 10)
    	
      File "C:\Users\kmj\Desktop\vscode\web\selenium\instagram\app.py", line 14, in insta_img_crawling
        urllib.request.urlretrieve(f'{e}', f'./image/{key}{str(i).zfill(3)}.jpg')
    	
      File "C:\Program Files\Python311\Lib\urllib\request.py", line 241, in urlretrieve
        with contextlib.closing(urlopen(url, data)) as fp:
                                ^^^^^^^^^^^^^^^^^^
    							
      File "C:\Program Files\Python311\Lib\urllib\request.py", line 216, in urlopen
        return opener.open(url, data, timeout)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    		   
      File "C:\Program Files\Python311\Lib\urllib\request.py", line 503, in open
        req = Request(fullurl, data)
              ^^^^^^^^^^^^^^^^^^^^^^
    		  
      File "C:\Program Files\Python311\Lib\urllib\request.py", line 322, in __init__
        self.full_url = url
        ^^^^^^^^^^^^^
    	
      File "C:\Program Files\Python311\Lib\urllib\request.py", line 348, in full_url
        self._parse()
    	
      File "C:\Program Files\Python311\Lib\urllib\request.py", line 377, in _parse
        raise ValueError("unknown url type: %r" % self.full_url)
    	
    ValueError: unknown url type: 'None'
    
    
    디버깅을 해보려고 해도 라이브러리 내 영역이라 어떻게 동작하는지 전혀 모르겠고
    짧은 지식으로 한참 구글링을 해봤지만 원인을 못 찾겠어서 질문 남깁니다..ㅠㅠ
    
    
    #61290

    codingapple
    키 마스터
    처음 클릭 후에 바로 이미지 src 찾으라고 코드짠거같은데 대기시간을 줘봅시다
2 글 보임 - 1 에서 2 까지 (총 2 중에서)
  • 답변은 로그인 후 가능합니다.

About

현재 월 700명 신규수강중입니다.

  (09:00~20:00) 빠른 상담은 카톡 플러스친구 코딩애플 (링크)
  admin@codingapple.com
  이용약관, 개인정보처리방침
ⓒ Codingapple, 강의 예제, 영상 복제 금지
top

© Codingapple, All rights reserved. 슈퍼로켓 에듀케이션 / 서울특별시 강동구 고덕로 19길 30 / 사업자등록번호 : 212-26-14752 온라인 교육학원업 / 통신판매업신고번호 : 제 2017-서울강동-0002 호 / 개인정보관리자 : 박종흠