인스타그램에 특정 해시태그의 사진을 크롤링하는 함수를 만들었습니다
순차적으로 잘 굴러가다가 특정 사진에서만 14번 라인에서 오류가 납니다
같은 해시태그로 다시 실행해도 같은 사진에서 같은 오류가 나길래 사진의 형식이 다른건가 싶어
오류가 나지 않는 다른 사진들과 아무리 요소를 비교해봐도 전혀 차이를 모르겠습니다...
Traceback (most recent call last):
File "C:\Users\kmj\Desktop\vscode\web\selenium\instagram\app.py", line 30, in <module>
insta_img_crawling('candle', 10)
File "C:\Users\kmj\Desktop\vscode\web\selenium\instagram\app.py", line 14, in insta_img_crawling
urllib.request.urlretrieve(f'{e}', f'./image/{key}{str(i).zfill(3)}.jpg')
File "C:\Program Files\Python311\Lib\urllib\request.py", line 241, in urlretrieve
with contextlib.closing(urlopen(url, data)) as fp:
^^^^^^^^^^^^^^^^^^
File "C:\Program Files\Python311\Lib\urllib\request.py", line 216, in urlopen
return opener.open(url, data, timeout)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Program Files\Python311\Lib\urllib\request.py", line 503, in open
req = Request(fullurl, data)
^^^^^^^^^^^^^^^^^^^^^^
File "C:\Program Files\Python311\Lib\urllib\request.py", line 322, in __init__
self.full_url = url
^^^^^^^^^^^^^
File "C:\Program Files\Python311\Lib\urllib\request.py", line 348, in full_url
self._parse()
File "C:\Program Files\Python311\Lib\urllib\request.py", line 377, in _parse
raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: 'None'
디버깅을 해보려고 해도 라이브러리 내 영역이라 어떻게 동작하는지 전혀 모르겠고
짧은 지식으로 한참 구글링을 해봤지만 원인을 못 찾겠어서 질문 남깁니다..ㅠㅠ