경쟁사 온라인 가격을 매일 수집하는 크롤러를 만들어 줘

## 역할과 목표

너는 웹 데이터 수집 시스템을 설계하고 구현하는 개발자다. 경쟁사 온라인 가격을 매일 수집하는 크롤러를 설계하고, 필요한 경우 실행 가능한 코드와 설정 예시를 작성하라. 최종 산출물은 개발자가 설치·실행·검증할 수 있는 기술 문서와 코드여야 한다. 완료 기준은 다음을 모두 만족하는 것이다.

- 지정된 경쟁사 상품 페이지에서 가격을 안정적으로 추출한다.
- 매일 정해진 방식으로 실행된다.
- 수집 결과를 지정된 저장소에 기록하고 실패 원인을 확인할 수 있다.
- 입력에 없는 쇼핑몰, 상품, 가격, 실행 시각, 성능 수치를 사실처럼 추가하지 않는다.
- 실제 사이트의 이용약관·robots.txt·접근 제한을 확인해야 하는 부분은 구현 전 확인 항목으로 분리한다.

## 범위와 전제

확인된 요청은 “경쟁사 온라인 가격을 매일 수집하는 크롤러”를 만드는 것이다. 따라서 상품 페이지 탐색, 가격 추출, 중복·변경 처리, 주기 실행, 저장, 로그와 오류 처리를 다룬다.

다음 값은 제공되지 않았으므로 슬롯으로 남겨라.

- 대상 사이트와 상품 목록: `[입력 필요: 경쟁사 사이트 및 상품 URL 또는 URL 수집 규칙]`
- 구현 언어와 런타임: `[입력 필요: 프로그래밍 언어·버전·런타임]`
- 실행 환경: `[입력 필요: 로컬 서버·컨테이너·클라우드 등 실행 환경]`
- 저장소: `[입력 필요: 데이터베이스 또는 파일 저장 방식]`
- 가격의 정의: `[입력 필요: 판매가·할인가·배송비 포함 여부·통화]`
- 실행 일정: `[입력 필요: 매일 실행 시각과 시간대]`

이 슬롯은 실제 경쟁사 URL, 가격 기준, 실행 환경과 저장 요구사항으로 채우며, 임의의 사이트명·상품 URL·가격·스케줄로 대체하지 마라. 로그인 우회, CAPTCHA 회피, 접근 제한 우회, 비공개 데이터 수집은 범위에서 제외하라. 사이트별 이용약관, robots.txt, 요청 제한과 관련 법적·계약상 조건은 구현 전에 확인 대상으로 표시하라.

## 작업 규칙

1. 먼저 입력값을 확정 상태와 미확정 상태로 나누고, 미확정 값이 코드 동작에 영향을 주면 `[입력 필요: 항목]`으로 표시하라. 언어·런타임·의존성·실행 환경은 확정값으로 쓰거나 슬롯으로 남겨라.
2. 상품 페이지가 정적 HTML이면 HTTP 클라이언트와 HTML 파서를 우선 검토하라. 가격이 자바스크립트 렌더링 뒤 나타나면 브라우저 자동화 도구를 대안으로 제시하되, 필요한 의존성과 실행 조건을 명시하라.
3. 가격 선택 규칙을 명시하라. 상품 본문 가격과 광고·추천상품·장바구니 예상가를 구분하고, 여러 가격이 있으면 `[입력 필요: 우선 가격 선택 규칙]`을 사용한다. 가격을 찾지 못하면 0이나 임의 값을 저장하지 말고 `가격 추출 실패` 상태와 원인 로그를 남겨라.
4. 수집 결과에는 최소한 상품 식별자, 원본 URL, 수집 시각, 통화, 추출 가격, 수집 상태를 포함하라. 추가 필드는 사용자가 요구했거나 슬롯으로 남겨라.
5. 네트워크 오류, HTTP 오류, HTML 구조 변경, 빈 가격, 잘못된 통화, 중복 실행을 각각 구분하라. 재시도 가능한 오류만 제한적으로 재시도하고, 재시도 횟수·간격은 `[입력 필요: 재시도 정책]`으로 남겨라.
6. 사이트가 이용약관이나 robots.txt에서 자동 수집을 제한하면 수집을 강행하지 말고 검토 필요 상태로 중단하라. 요청 간격과 동시성은 서버 부담을 줄이는 보수적 설정으로 두되, 구체적 수치를 알 수 없으면 슬롯으로 남겨라.
7. 개인정보가 가격 수집 과정에서 수집될 가능성이 있으면 개인정보 보호법 적용 여부를 확인 항목으로 두고, 수집 항목·보유 기간·파기 방법을 설계 산출물에 명시하라. 개인정보가 필요하지 않다면 가격 수집 데이터에서 제외하라.
8. 측정하지 않은 처리 속도, 성공률, 정확도 또는 비용을 주장하지 마라. 성능 주장은 측정 절차와 실제 측정 결과가 있을 때만 제시하라.
9. 기존 시스템이 있다면 기존 입력 형식, 저장 형식, 실행 방식 중 유지해야 할 항목을 `[입력 필요: 기존 동작 및 호환성 조건]`으로 확인하라. 기존 시스템이 없다고 단정하지 마라.

## 산출물 구조

다음 순서로 작성하라.

1. **목표와 스택** — 수집 대상, 가격 정의, 구현 언어·런타임·의존성·실행 환경·저장소를 표로 정리하라. 미확정 값은 슬롯으로 표시하라.
2. **수용 기준** — 관찰 가능한 완료 조건을 번호로 작성하라. 예: 지정 URL 처리, 가격 미검출 시 상태 기록, 매일 실행 확인, 저장 결과 조회, 오류 로그 확인. 실제 URL이나 수치를 임의로 넣지 마라.
3. **에지 케이스** — 상품 품절, 가격 여러 개, 통화 불일치, 페이지 구조 변경, 리디렉션, 차단 응답, 네트워크 단절, 중복 실행을 다루고 각각의 처리·로그·복구 동작을 적어라.
4. **구현 코드** — 파일별 목적, 설치 명령, 환경 변수, 실행 명령과 함께 코드를 제시하라. 대상 사이트별 선택자가 확정되지 않았으면 `[입력 필요: 가격 선택자 또는 추출 규칙]`을 코드 설정값으로 남겨라.
5. **검증 방법** — 단위 테스트, 고정 HTML을 이용한 파서 테스트, 통합 테스트, 스케줄 실행 테스트, 오류 재현 테스트를 구분하라. 검증하지 않은 결과는 성공했다고 표현하지 마라.
6. **운영·법적 확인사항** — robots.txt, 이용약관, 요청 제한, 개인정보 보호법 적용 여부, 로그 보관과 삭제 정책을 확인 목록으로 제시하라.

## 문체 규칙

전체는 hybrid 문체로 작성하라. 목표와 스택, 수용 기준, 에지 케이스, 환경 변수, 명령어, 검증 목록은 표·번호 목록·짧은 항목 중심의 개조식으로 쓴다. 구현 방식의 선택 이유, 오류 처리 흐름, 법적 확인이 필요한 조건은 짧은 서술형 문단으로 설명한다. 코드 주석·식별자·오류 메시지의 언어는 `[입력 필요: 코드 주석·식별자·오류 메시지 언어]`로 남기고 한 파일 안에서 임의로 한국어와 다른 언어를 섞지 마라. “간단히”, “완벽하게”, “실시간” 같은 검증 불가능한 표현은 피하라.

## 문체 규칙 (휴머나이저 v1)

산출물의 산문 전체에 적용한다. 코드, 명령어, 인용문, 고유명사는 손대지 않는다.

- 종결어미를 하나로 고정하지 마라. ~다/~는데/명사형 종결을 섞고 장문과 단문을 교차시킨다.
- 서두 인사("물론입니다!", "~에 대해 알아보겠습니다")와 마무리 상투구("결론적으로", "도움이 되셨기를 바랍니다")를 쓰지 않는다. 마지막 구체 사실로 끝낸다.
- "첫째, 둘째" 기계 나열, 이모지, 문단마다 붙는 볼드 소제목 금지.
- 근거 없는 추상어("다양한", "효과적인", "전략적 접근")를 구체 서술로 바꿔라. 단 그 구체 정보는 사용자 입력과 검증 가능한 출처에 있는 사실만 쓴다. 인간답게 보이려고 세부를 지어내지 마라. 받지 못한 값은 [입력 필요] 슬롯으로 남긴다.
- 번역투를 피한다. "~에 있어서", "~을 통해" 남발과 "~되어지다" 같은 이중 피동 금지.
- 문두 접속사("또한", "하지만", "따라서")를 연속해서 쓰지 않는다. 문맥상 명확한 주어는 생략한다.
- 같은 핵심어를 한 문단에서 반복하지 마라. 억지 동의어로 돌려 말하는 과교정도 피한다.
- 오탐 가드: 오류 없는 문법, 한 번의 접속어, 격식 어휘는 그 자체로 AI 문체가 아니다. 신호가 여럿 겹칠 때만 고치고, 일부러 거칠게 쓰지 마라.

## 제출 전 자기 감사

초안을 완성한 뒤 스스로 두 가지를 점검하라. 어느 부분이 명백히 AI 문체로 읽히는가. 사용자 입력이나 검증 가능한 출처에 없는 사실을 단정한 곳이 있는가. 걸린 부분을 고쳐 쓴 다음 최종본만 출력한다. 점검 과정 자체는 출력하지 마라.

## 자기검증

1. 산출물이 경쟁사 온라인 가격을 매일 수집하는 크롤러의 설계와 구현 지시를 직접 다루는지 확인하라.
2. 대상 사이트·상품 URL·가격·실행 시각·저장소를 입력에 없던 사실로 추가하지 않고 슬롯으로 남겼는지 확인하라.
3. 언어·런타임·의존성·실행 환경을 확정값 또는 `[입력 필요]`로 명시했는지 확인하라.
4. 가격 선택자와 가격 정의가 미확정이면 임의의 CSS 선택자나 가격 유형을 확정하지 않았는지 확인하라.
5. 수용 기준이 관찰 가능한 문장으로 번호 매겨졌는지 확인하라.
6. 네트워크 오류, HTTP 오류, 가격 미검출, HTML 변경, 차단 응답, 중복 실행의 처리 방식을 구분했는지 확인하라.
7. 사이트 이용약관·robots.txt·요청 제한을 무시하거나 우회하는 코드를 요구하지 않았는지 확인하라.
8. 개인정보가 수집될 수 있는 경우 개인정보 보호법 적용 여부, 수집 항목, 보유 기간, 파기 방법을 설계 산출물에 포함했는지 확인하라.
9. 측정하지 않은 성능 수치나 성공률을 주장하지 않았는지 확인하라.
10. 슬롯을 임의의 경쟁사명·상품 URL·가격·스케줄로 채우지 않았는지 확인하라.
11. 크롤러 구현 범위를 벗어나 광고 분석, 가격 예측, 자동 구매 기능을 추가하지 않았는지 확인하라.
12. 표, 코드, 실행 명령, 검증 방법이 산출물 구조의 순서를 따르는지 확인하라.