무한 스크롤 데이터 수집 2 질문

[황승현]

개발자모드 -> network -> headers 탭에서 request URL을 브라우저 주소창에 입력하면 사진과 같이 나오고 텍스트의 일부를 개발자모드로 찾을 수 없는 상태가 됩니다. 어떻게 해야 강의처럼 할수 있을까요? 게시판에서 비슷한 질문들 찾아봤는데 잘 안되네요.

[codingapple]

파이썬으로 그 url로 요청해서 가져온 결과에다가 ['collection'][0]['html'] 붙여서 출력해봅시다

[황승현]

import requests
from bs4 import BeautifulSoup
import json

res = requests.get(
    "https://s.search.naver.com/p/review/49/search.naver?abt=%5B%7B%22eid%22%3A%22SURF-AD%22%2C%22value%22%3A%7B%22bucket%22%3A%224%22%2C%22is_control%22%3Afalse%7D%7D%5D&ac=1&api_type=7&aq=0&enlu_query=IggCAF6CULjpAAAAgzoL4vRj4agFKr6%2B1mQG9ZliW%2FdQIcAgr8zGQPwGbCLSJ9lCGN6ru1YJQsozhhZctodOyK96xpR5inwJjaCUG1JKNpGWMbw3Te2gN5Z9CNqdve4UVwbpF5NLwzjvAXaeP6fd0cskVxmnZy1Cb4KN7pLBjsS2pzLlKoqkWefJDGM%3D&enqx_theme=IggCAFaCULjiAAAAh%2FDtntZaiMLGh3DOFtIyqw%2Ft3q4clEos1p2O1NTRYn4NUJzpY2XWim4radqdYrSZDNiELd6nYNJwytlWzreKNul2xLfylQ7CjZHVqCLhCfDfLmMEOVaPYbdbw2RxiX5k6tEn%2FafuHrrZte47kEtzz1FzCMTvSRXkqLRfoya9Xws%3D&equery=IggCACuCULjrAAAAjNzhDV%2FTwET%2F%2BfdwekkH6g%3D%3D&fgn_city=&fgn_region=&lgl_lat=37.237756&lgl_long=127.060818&lgl_rcode=02117107&ngn_country=KR&nso=&nx_and_query=&nx_search_query=&nx_sub_query=&prank=120&query=%EC%82%AC%EA%B3%BC&sm=tab_jum&spq=0&ssc=tab.m_blog.all&start=121"
)
json_data = res.json()
html_data = json_data['collection'][0]['html']
soup = BeautifulSoup(
    html_data.replace("\\", ""), "html.parser"
)

print(html_data)

data['collection'][0]['html']을 출력했는데 오류가 났고, Chatgpt한테 물어봐서 위 코드대로 실행하여 터미널에 html을 출력하는건 성공했습니다. 이 html 코드를 웹브라우저에서 보고싶은데 어떻게 해야하죠? 강의 만드실때와는 다르게 이제는 request url에 html이 아니라 json파일이 담기는거 같습니다. 그래서 이후 내용에서 태그로 내용을 찾는거도 못하고 있네요.

• 이 답변은 황승현에 의해 3 주, 3 일 전에 수정됐습니다.

[codingapple]

해당 웹페이지에서 크롬 개발자도구 열어서 elements 탭에서 원하는 태그들 검사해보면 됩니다 
제목 가져오려면 class가 title_link인 것들 가져오면 되겠군요

[글쓴이]

글