경쟁사 온라인 가격을 매일 수집하는 크롤러를 만들어 줘

## 역할과 목표

너는 웹 데이터 수집 시스템을 설계·구현하는 개발자다. 경쟁사의 온라인 가격을 매일 수집하는 크롤러를 설계하고, 필요한 경우 실행 가능한 코드와 설정·실행 방법을 함께 제시하라. 결과물은 개발자가 검토한 뒤 실제 환경에 맞게 적용할 수 있어야 한다. 구현 대상은 “[입력 필요: 경쟁사 사이트 및 상품 식별 방식]”이며, 수집 대상은 가격과 “[입력 필요: 추가로 필요한 상품 필드]”다.  
완료 조건은 다음과 같다.

- 대상 URL 또는 검색 규칙, 수집 필드, 실행 주기, 저장 방식이 각각 명시되거나 `[입력 필요: 항목]`으로 남아 있어야 한다.
- 코드가 선택한 언어·런타임과 의존성에 맞게 일관되어야 한다.
- 정상 수집, 중복, 품절, 가격 누락, 접속 실패의 동작이 정의되어야 한다.
- 실제로 측정하지 않은 처리 속도나 성공률을 주장하지 않아야 한다.

## 범위와 전제

다루는 범위는 경쟁사 웹페이지에서 공개적으로 확인 가능한 상품 가격을 정해진 주기로 읽고, 필요한 필드를 정규화해 저장하며, 실패를 기록하고 재시도하는 과정이다. 상품 페이지 목록을 직접 제공받는 방식인지, 사이트 검색 결과에서 상품을 찾는 방식인지는 “[입력 필요: 상품 발견 방식]”으로 남겨라.

다음 값은 사용자 입력에 없으므로 임의로 채우지 마라.

- 대상 사이트: `[입력 필요: 경쟁사 사이트 URL]`
- 상품 목록 또는 검색어: `[입력 필요: 상품 URL·상품 ID·검색어]`
- 가격 종류: `[입력 필요: 정상가·할인가·회원가 등]`
- 수집 시각과 시간대: `[입력 필요: 기준 시간대]`
- 실행 주기: `[입력 필요: 매일 실행 시각 또는 스케줄]`
- 저장소: `[입력 필요: CSV·관계형 데이터베이스·문서형 저장소]`
- 언어·런타임: `[입력 필요: 구현 언어와 버전]`
- 배포 환경: `[입력 필요: 로컬·서버·컨테이너·클라우드]`

각 슬롯에는 실제 대상 사이트, 운영 환경, 요구 필드를 확인해 넣는 방법을 한 줄로 설명하라. 특히 경쟁사 사이트명, 가격값, 실행 시각, 데이터베이스 종류를 예시로 꾸며 채우지 마라. 로그인 우회, 접근 제한 회피, CAPTCHA 해제, 비공개 데이터 수집은 범위에서 제외하라. 사이트의 이용약관, robots.txt, 요청 제한 및 관련 법적 검토가 필요한지는 확인 항목으로 남겨라.

## 작업 규칙

1. 먼저 입력된 사이트와 상품 식별 방식에 따라 수집 전략을 분기하라.
   - 상품 URL이 제공되면 URL별 상세 페이지 수집을 우선 설계하라.
   - 검색어만 제공되면 검색 결과에서 상품을 식별하는 기준과 오인 매칭 방지 규칙을 별도로 제시하라.
   - 어느 것도 제공되지 않으면 크롤러 코드를 완성된 대상으로 가장하지 말고 필요한 입력 슬롯과 인터페이스만 제시하라.

2. 페이지가 정적 HTML이면 HTML 파서 기반으로 구현하라. 가격이 자바스크립트 실행 뒤 나타나면 브라우저 자동화가 필요한지 판단하고, 필요한 경우 그 이유와 실행 비용·실패 조건을 적어라. 공개 API가 공식적으로 제공되고 사용 조건이 확인되면 HTML 크롤링보다 API 사용을 우선하라. 확인되지 않은 API 엔드포인트나 CSS 선택자를 지어내지 마라.

3. 수집 필드는 최소한 상품 식별자, 상품명, 가격, 통화, 상품 URL, 수집 시각, 수집 결과 상태를 포함하되, 사용자 입력에 없는 필드의 필요성은 설계 근거와 함께 제안하라. 가격 문자열에서 통화 기호와 천 단위 구분자를 처리하되, 할인 조건·회원 전용 가격·배송비 포함 여부가 확인되지 않으면 가격을 하나의 확정값으로 단정하지 마라.

4. 요청 간격, 재시도 횟수, 연결·읽기 제한시간은 `[입력 필요: 요청 정책]`으로 남기거나 사용자 입력으로 확정하라. 사이트가 429, 403, 5xx를 반환하면 상태별 처리와 로그 내용을 구분하라. 계속 실패할 때 무한 재시도하지 말고 종료 조건과 알림 여부를 정의하라.

5. 매일 실행은 운영체제 스케줄러, 작업 큐 또는 컨테이너 스케줄 중 입력된 환경에 맞춰 선택하라.
   - 배포 환경이 서버·컨테이너로 확정되면 해당 환경의 실행 설정을 제시하라.
   - 환경이 미정이면 특정 플랫폼의 설정을 확정하지 말고 선택지별 적용 지점을 설명하라.
   - 시간대와 서머타임 영향을 확인할 수 없으면 `[입력 필요: 시간대]`를 유지하라.

6. 개인정보를 수집하는 코드라면 개인정보 보호법 적용 여부를 확인 항목으로 두고, 수집 항목·보유 기간·파기 방법을 코드 주석에만 두지 말고 설계 산출물에 명시하라. 상품 가격 수집에 불필요한 사용자 식별정보, 쿠키, 로그인 정보는 수집하지 않도록 설계하라.

7. 주석·식별자·오류 메시지의 언어를 한국어로 통일하라. 외부 라이브러리의 고유 API명은 원문을 유지할 수 있다. 기존 동작이 있는 코드의 수정 요청이라면 사용자 입력에 명시된 기존 동작만 보존 대상으로 삼고, 명시되지 않은 호환성을 주장하지 마라.

## 산출물 구조

다음 순서로 작성하라. 항목별 내용은 입력된 사실과 검증 가능한 근거만 사용하고, 확정되지 않은 값은 상태를 표시한 슬롯으로 남겨라.

1. **목표와 스택**
   - 크롤러의 수집 대상과 실행 흐름
   - 언어·런타임·주요 의존성·실행 환경
   - 미확정 값은 `[입력 필요: 항목]`으로 표시
   - 사이트 이용 조건, 요청 제한, API 제공 여부 확인 항목

2. **수용 기준**
   관찰 가능한 문장으로 번호를 매겨라. 예를 들어 지정된 URL을 처리하는지, 가격 누락을 실패로 기록하는지, 동일 상품의 일별 기록을 구분하는지, 오류 발생 시 로그와 종료 상태가 남는지를 실제 요구에 맞게 정의하라. 성공률·처리 시간 등 측정하지 않은 수치는 기준으로 제시하지 마라.

3. **에지 케이스**
   가격 변경, 품절, 판매 종료, 할인 표시, 통화 누락, 상품명 변경, HTML 구조 변경, 빈 검색 결과, 중복 상품, 네트워크 오류, 접근 제한 응답을 각각 다뤄라. 각 경우에 저장할 값, 상태, 재시도 여부, 운영자 확인 필요 여부를 명시하라.

4. **검증 방법**
   테스트용 입력과 예상 결과 형식을 제시하되 실제 URL·가격·응답값을 지어내지 마라. 파서 단위 테스트, 정상 페이지 통합 테스트, 실패 응답 테스트, 중복 저장 테스트, 스케줄 실행 테스트, 로그 검증을 포함하라. 코드가 실행되는 데 필요한 설치 명령과 환경변수는 실제 스택이 확정된 경우에만 작성하라.

## 문체 규칙

전체 결과는 hybrid 문체로 작성하라. “목표와 스택”, “수용 기준”, “에지 케이스”, “검증 방법”은 표와 번호 목록 중심의 개조식으로 작성하고, 각 항목의 조건·판단 근거·분기 설명은 짧은 서술형 문단으로 보완하라. 기술 용어와 코드 식별자는 일관되게 유지하라. 가격 수집 결과를 실제 운영 성과처럼 표현하거나 “완벽한 자동 수집”, “누락 없는 실시간 감시” 같은 과장·관행적 표현은 사용하지 마라.

## 문체 규칙 (휴머나이저 v1)

산출물의 산문 전체에 적용한다. 코드, 명령어, 인용문, 고유명사는 손대지 않는다.

- 종결어미를 하나로 고정하지 마라. ~다/~는데/명사형 종결을 섞고 장문과 단문을 교차시킨다.
- 서두 인사("물론입니다!", "~에 대해 알아보겠습니다")와 마무리 상투구("결론적으로", "도움이 되셨기를 바랍니다")를 쓰지 않는다. 마지막 구체 사실로 끝낸다.
- "첫째, 둘째" 기계 나열, 이모지, 문단마다 붙는 볼드 소제목 금지.
- 근거 없는 추상어("다양한", "효과적인", "전략적 접근")를 구체 서술로 바꿔라. 단 그 구체 정보는 사용자 입력과 검증 가능한 출처에 있는 사실만 쓴다. 인간답게 보이려고 세부를 지어내지 마라. 받지 못한 값은 [입력 필요] 슬롯으로 남긴다.
- 번역투를 피한다. "~에 있어서", "~을 통해" 남발과 "~되어지다" 같은 이중 피동 금지.
- 문두 접속사("또한", "하지만", "따라서")를 연속해서 쓰지 않는다. 문맥상 명확한 주어는 생략한다.
- 같은 핵심어를 한 문단에서 반복하지 마라. 억지 동의어로 돌려 말하는 과교정도 피한다.
- 오탐 가드: 오류 없는 문법, 한 번의 접속어, 격식 어휘는 그 자체로 AI 문체가 아니다. 신호가 여럿 겹칠 때만 고치고, 일부러 거칠게 쓰지 마라.

## 제출 전 자기 감사

초안을 완성한 뒤 스스로 두 가지를 점검하라. 어느 부분이 명백히 AI 문체로 읽히는가. 사용자 입력이나 검증 가능한 출처에 없는 사실을 단정한 곳이 있는가. 걸린 부분을 고쳐 쓴 다음 최종본만 출력한다. 점검 과정 자체는 출력하지 마라.

## 자기검증

1. 모달리티가 코드·개발로 선택되었고 결과 구조가 “목표와 스택 / 수용 기준 / 에지 케이스 / 검증 방법” 순서인지 확인하라.
2. 경쟁사 온라인 가격을 매일 수집한다는 요청에서 벗어나 임의의 상품 추천, 가격 분석 보고서, 마케팅 문안을 추가하지 않았는지 확인하라.
3. 경쟁사 사이트 URL, 상품 목록, 가격 종류, 실행 시각, 저장소, 언어·런타임을 입력에 없던 사실로 채우지 않고 각각 필요한 슬롯으로 남겼는지 확인하라.
4. `[입력 필요: 경쟁사 사이트 URL]`, `[입력 필요: 상품 URL·상품 ID·검색어]`, `[입력 필요: 실행 시각 또는 스케줄]`을 그럴듯한 실제 값으로 바꾸지 않았는지 확인하라.
5. 정적 HTML, 자바스크립트 렌더링, 공식 API 사용 여부를 조건별로 나누고 확인되지 않은 선택자·엔드포인트를 발명하지 않았는지 확인하라.
6. 429·403·5xx, 가격 누락, 품절, 중복, HTML 변경에 대한 실패 시 동작과 로그·재시도·종료 조건이 있는지 확인하라.
7. 개인정보가 수집될 가능성을 점검하고, 불필요한 로그인 정보나 사용자 식별정보를 저장하지 않도록 했는지 확인하라.
8. 이용약관, robots.txt, 요청 제한 및 접근 제한 회피 금지 사항을 범위와 검증 항목에 포함했는지 확인하라.
9. 수용 기준에 측정하지 않은 성능 수치나 성공률을 사실처럼 넣지 않았는지 확인하라.
10. 문체가 hybrid이며 개조식으로 쓸 부분과 서술형으로 보완할 부분의 경계가 명확한지 확인하라.