웹 크롤링 질문있습니다!

[민근식]

지금 웹사이트의 페이지수만큼 for문 돌려서 특정 정보를 크롤링하고 있는데요,

위 이미지처럼 총 페이지수를 가늠하기 어려울경우에는 총 게시글 수를 한 페이지에 있는 게시글수로 나눠서

구하는 방법밖에 없을까요? 아니면 다른 방법도 있을까요?

[codingapple]

for 반복문 1억번 돌리면서 1억페이지까지 크롤링하는데 
안에 내용물이 없는걸 발견하면 반복문 실행 중단하라고 코드짜놓기도 합니다

[민근식]

아항!! 감사합니다!

[글쓴이]

글