@롱타임노씨 님이 웹 크롤링을 하면 response 500 에러로 되지 않습니다. 에서 보낸 메세지: 500 500에러면 통신은 됐는 데 "사이트"에서 에러가 난 걸로 보입니다. 혹시 "사이트"가 직접 구현하신 사이트라면 어떤 에러가 났는 지 확인해보시는 게 좋을 거 같습니다!