웹 크롤링 질문있습니다!

3 글 보임 - 1 에서 3 까지 (총 3 중에서)

2023년 1월 15일 17:04 #62769

참가자

지금 웹사이트의 페이지수만큼 for문 돌려서 특정 정보를 크롤링하고 있는데요,

위 이미지처럼 총 페이지수를 가늠하기 어려울경우에는 총 게시글 수를 한 페이지에 있는 게시글수로 나눠서

구하는 방법밖에 없을까요? 아니면 다른 방법도 있을까요?

2023년 1월 15일 17:33 #62776

키 마스터

for 반복문 1억번 돌리면서 1억페이지까지 크롤링하는데 
안에 내용물이 없는걸 발견하면 반복문 실행 중단하라고 코드짜놓기도 합니다

2023년 1월 15일 18:24 #62782

참가자

아항!! 감사합니다!

3 글 보임 - 1 에서 3 까지 (총 3 중에서)

https://codingapple.com/wp-content/uploads/2019/06/logo2-3.png