무한 스크롤 데이터 수집 2 (네이버블로그) URL에러인가요..?

[임현성]

개발자 도구에서 Network -> Search 로 원하는 단어 검색 후 Headers에서 Request URL 
https://s.search.naver.com/p/review/48/search.naver?ssc=tab.blog.all&api_type=8&query=%EC%82%AC%EA%B3%BC&start=31&nx_search_query=&nx_and_query=&nx_sub_query=&ac=0&aq=0&spq=0&sm=tab_jum&nso=&prank=31&ngn_country=KR&lgl_rcode=09230103&fgn_region=&fgn_city=&lgl_lat=37.583161&lgl_long=127.037855&enlu_query=IggCAGmCULhCAAAAuGDqbIuW1YP0vEg6kPSZvKThDfucDIms%2FudRHfdG8G6lrY51DY46PeYIbwkbS8xixeo4LsZA%2FD90YRbodcbatX4Aq1ueMdBvNVXqgOrxLrs%3D&abt=&retry_count=0
이거 복사한 다음 실제로 홈페이지url에 복사붙여넣기 했는데 이런식으로 나옵니다
강사님 강의에 나온 https://s.search.naver.com/p/review/search.naver?rev=43&where=view&api_type=11&start=61&query=사과
이 url을 홈페이지 url에 복붙하면 정상적인 모습이던데 제가 찾은 url은 왜 이렇게 나오는건가요... 

• 이 게시글은 임현성에 의해 11 월, 4 주 전에 수정됐습니다.

[codingapple]

그대로 BeautifulSoup에 넣으면 됩니다
soup.contents 출력해보면 아마 리스트안에 글들이 담겨있습니다

[임현성]

감사합니다!!

[김운영]

어디에 무얼 넣으시라는 건지 자세히 좀...

[codingapple]

soup = BeautifulSoup(requests로가져온거.json()['contents'], 'html.parser') 해봅시다

[김건민]

데이터  =requests.get('url')
soup = BeautifulSoup(데이터.json()['contents'], 'html.parser')
print(soup.contents)

이렇게해도 KeyError: 'contents' 라면서 안됩니다...ㅠㅠ

[codingapple]

어떤 url 사용했습니까

[김건민]

import requests
from bs4 import BeautifulSoup
import urllib.request

데이터 = requests.get('https://s.search.naver.com/p/review/49/search.naver?ssc=tab.blog.all&api_type=8&query=%EC%82%AC%EA%B3%BC&start=31&nx_search_query=&nx_and_query=&nx_sub_query=&ac=0&aq=0&spq=0&sm=tab_jum&nso=&prank=30&ngn_country=KR&lgl_rcode=09590101&fgn_region=&fgn_city=&lgl_lat=37.512308&lgl_long=126.942013&enlu_query=IggCAF6CULgyAAAApp5sdqcxJDqMGQmWQ164vkcTzogZcH1zlb5ISBIP91tXGPgXEQYrhtKLSvQiaUjJtKB0MqT70JL8nDUXe%2FWG0XDT%2FdEQ5tHtMYblgWs5aIUtRpbvXHpBaELqW%2FEkyG6o29vI1gzOsQ1XXGzkNy35CTAi6OVqAhrg1yNZgUyCMs0%3D&enqx_theme=IggCAEeCULgRAAAAh%2FDtntZaiMLGh3DOFtIyqw%2Ft3q4clEos1p2O1NTRYn4NUJzpY2XWim4radqdYrSZDNiELd6nYNJwytlWzreKNul2xLfylQ7CjZHVqCLhCfDfLmMEOVaPYbdbw2RxiX5kzvQc%2BH53BTcRGA4hvzLyCw%3D%3D&abt=')

soup = BeautifulSoup(데이터.json()['contents'], 'html.parser')
print(soup.contents)

이렇게했습니다

[codingapple]

맨날 달라져서 url 결과보고 이거저거 해봐야합니다

import json

데이터 = requests.get(어쩌구)
데이터 = json.loads(데이터.text)
데이터 = 데이터['collection'][0]['html']
print(데이터)
이러면 html부분만 나오는거같은데 beautifulsoup에 넣어봅시다

[김건민]

감사합니다! 해결됐습니다!

[글쓴이]

글