@롱타임노씨 님이 웹 크롤링을 하면 response 500 에러로 되지 않습니다. 에서 보낸 메세지:
500
500에러면 통신은 됐는 데 "사이트"에서 에러가 난 걸로 보입니다.
혹시 "사이트"가 직접 구현하신 사이트라면 어떤 에러가 났는 지 확인해보시는 게 좋을 거 같습니다!
로컬 도메인 + open ssl 이용해서 해결 했습니다.
open ssl
https://madeintandem.com/blog/rails-local-development-https-using-self-signed-ssl-certificate/
로컬도메인
https://blogpack.tistory.com/541