블로그 글쓰기 셀레니움 headless 옵션 사용할 경우 오류

[김형태]

안녕하세요? 강의 잘 듣고 있습니다.

 

파이썬 크롤링 강좌의 네이버 블로그 글쓰기 강의를 따라서 코드를 작성한 후,

 

headless 모드를 사용하지 않을 경우에는 정상적으로 작동하는 것을 확인했습니다.

 

하지만, headless 모드를 적용할 경우(options.add_argument('headless'))

 

블로그 글쓰기 화면에 들어간 후, 제목 textarea를 selector를 기준으로 찾는 부분에서 코드의 에러가 발생합니다.

selenium.common.exceptions.NoSuchElementException: Message: no such element

 

네이버 블로그 글쓰기 페이지가 브라우저가 headless인 경우 결과를 내려주지 않는게 아닐까 추측하는데

이게 맞을까요?

 

나름 인터넷에서 검색을 해서 User-Agent도 넣어주고 이것저것 해보았는데도 해당 오류를 해결할 수 없는데,

해결책이 있을까요?

[김형태]

추가적으로 좀 더 테스트를 해보았습니다.

 

node.js의 puppeteer로 테스트를 해보았는데

이 경우에는 별도로 다른 조치를 취하지 않아도 headless 모드에서 정상적으로 글쓰기가 되네요..

 

셀레니움의 경우에는 왜 그럴까요? ㅠㅠ

[김형태]

좀 더 테스트를 해보니.. 블로그 글쓰기 페이지로 이동했을 때 로그인 화면이 뜨네요

 

headless 모드가 아닐 경우에는 안떴었는데, 왜 그럴까요 ㅜㅜ

[codingapple]

headless mode를 사용하면 자바스크립트를 많이 사용해서 html을 로드하는 사이트의 경우 가끔 모든 html이 로드되지 않을 수 있습니다 headers 옵션과는 상관없이요

그런 사이트는 굳이 이유가없다면 headless 옵션을 끄고 크롤링하는게 좋습니다

그리고 chromedriver는 headless모드에 적합하지않습니다 잔오류가 많아서 firefox 혹은 다른 headless모드 지원하는 드라이버로 테스트해봐야합니다

[글쓴이]

글