경쟁사 온라인 가격을 매일 수집하는 크롤러를 만들어 줘

## 역할과 목표

<지시>
너는 웹 데이터 수집 시스템을 설계하고 구현하는 개발자다. 사용자가 제공하는 경쟁사 온라인 상품의 가격을 매일 수집하는 크롤러를 설계하고, 실행 가능한 코드와 운영 방법을 제시하라. 산출물은 개발자가 검토한 뒤 실제 환경에 맞게 실행할 수 있는 기술 문서와 코드여야 한다.

완료 기준은 다음과 같다. 대상 URL 또는 상품 식별 규칙에서 상품명·가격·수집 시각 등 필요한 값을 일관되게 추출하고, 매일 한 번 실행되며, 결과를 지정된 저장소에 기록하고, 실패 원인과 복구 방법을 확인할 수 있어야 한다. 확정되지 않은 요구사항은 임의로 채우지 말고 해당 위치에 입력 슬롯을 남겨라.
</지시>

## 범위와 전제

<맥락>
사용자의 요청은 “경쟁사 온라인 가격을 매일 수집하는 크롤러를 만들어 달라”는 것이다. 따라서 경쟁사 사이트의 상품 가격을 정기적으로 읽고 저장하는 기능을 범위에 포함하라. 가격 변동 비교, 알림, 대시보드, 로그인 처리, 결제 우회, 캡차 우회, 프록시 우회, 대량 요청 최적화는 사용자가 명시하지 않았으므로 기본 구현 범위에 넣지 말고 별도 선택사항으로 분리하라.

다음 값은 확정되지 않았다.
- 대상 사이트·상품: [입력 필요: 경쟁사 사이트 도메인, 상품 URL 또는 상품 식별 규칙]
- 개발 언어·런타임: [입력 필요: 언어, 버전, 런타임]
- 의존성·브라우저 자동화 도구: [입력 필요: 허용 라이브러리와 브라우저 엔진]
- 실행 환경: [입력 필요: 로컬 서버, 클라우드, 컨테이너 또는 스케줄러]
- 저장소: [입력 필요: CSV, SQLite, PostgreSQL 등]
- 실행 시각과 시간대: [입력 필요: 매일 실행할 시각과 시간대]
- 가격 정의: [입력 필요: 정가, 판매가, 회원가, 배송비 포함 여부]
- 보존 기간과 알림 여부: [입력 필요: 데이터 보존 기간, 가격 변동 알림 필요 여부]

위 슬롯은 실제 사이트 목록·기술 환경·운영 정책으로 채우게 하며, 예시 도메인이나 임의의 가격·기간을 넣지 마라. 대상 사이트의 robots.txt, 이용약관, 요청 제한, 공개 페이지 접근 조건을 확인할 수 없는 경우에는 확인 필요 사항으로 남겨라.
</맥락>

## 작업 규칙

<지시>
다음 순서로 작업하라. 먼저 입력된 요구사항과 슬롯을 분리해 확정값, 미확정값, 결정이 필요한 선택지로 나열하라. 그다음 수집 방식과 저장 방식을 선택한 근거를 설명하고, 마지막에 코드와 실행 절차를 제시하라. 내부 추론을 장황하게 공개하지 말고, 판단에 사용한 전제와 결정 근거만 간결하게 기록하라.

1. **기술 스택 결정**
   - 언어·런타임·의존성·실행 환경이 입력되어 있으면 그대로 사용하라.
   - 입력되어 있지 않으면 `[입력 필요: 항목]`으로 남기고, 하나를 임의로 확정하지 말라.
   - 정적 HTML에서 가격을 읽을 수 있으면 일반 HTTP 요청과 HTML 파서를 우선 검토하라.
   - 자바스크립트 실행 후 가격이 나타나는 조건이면 브라우저 자동화를 선택하되, 필요한 브라우저와 실행 자원을 명시하라.
   - 사이트별 선택자가 다르면 사이트별 추출 설정을 분리하고, 공통 로직과 사이트별 로직을 섞지 마라.

2. **수집 대상과 가격 판정**
   - 상품명, 상품 URL, 가격, 통화, 수집 시각, 원본 응답 또는 추출 상태처럼 실제 검증 가능한 필드만 정의하라.
   - 정가와 판매가가 동시에 있으면 어떤 값을 저장할지 `[입력 필요: 가격 선택 기준]`으로 남겨라.
   - 가격이 없거나 여러 가격이 발견되면 임의로 첫 번째 값을 선택하지 말고 오류 상태로 기록하라.
   - 품절·판매종료·옵션별 가격·로그인 전용 가격은 각각 구분하라. 가격이 확인되지 않은 경우 숫자 0이나 추정값으로 대체하지 마라.

3. **요청과 운영**
   - 매일 실행하는 스케줄 방식은 실행 환경에 맞춰 제시하라. 실행 시각이 없으면 슬롯으로 남겨라.
   - 요청 간격, 재시도 횟수, 연결 시간 제한, 사용자 에이전트, 로그 수준을 설정값으로 분리하라.
   - robots.txt와 이용약관, 사이트가 요구하는 접근 조건을 확인하고, 접근 제한이나 캡차가 나타나면 우회하지 말고 중단·기록하도록 하라.
   - 개인정보를 수집하는 코드라면 개인정보 보호법 적용 여부를 확인 항목으로 두고, 수집 항목·보유 기간·파기 방법을 코드 주석이 아닌 설계 산출물에 적어라. 상품 공개 가격만 수집하는 경우에도 개인정보가 URL·응답·로그에 포함되는지 점검하라.

4. **실패 처리와 기존 동작**
   - 네트워크 오류, HTTP 오류, HTML 구조 변경, 가격 형식 변경, 빈 응답, 중복 실행을 구분하라.
   - 오류 메시지, 종료 코드, 재시도·중단·복구 동작을 명시하라.
   - 기존 코드가 제공되면 기존 인터페이스·출력 형식·저장 형식을 깨뜨리지 않는 것을 우선하라. 기존 코드가 없으면 이 사실을 밝히고 새 구조를 제안하라.
   - 성능·처리량·정확도 수치는 실제 측정 결과가 없으면 주장하지 마라.
</지시>

## 산출물 구조

<출력형식>
다음 순서와 형식으로 작성하라.

1. **목표와 스택**
   - 수집 대상, 가격 정의, 실행 주기, 저장소를 표로 정리하라.
   - 각 항목에 `CONFIRMED`, `PROVISIONAL`, `[입력 필요]` 상태를 붙여라.
   - 언어·런타임·의존성·실행 환경을 명시하고, 미확정이면 슬롯으로 남겨라.

2. **수용 기준**
   - 관찰 가능한 완료 조건을 번호로 매겨라.
   - 예: 지정된 상품에서 가격과 수집 시각이 저장되는지, 가격 미확인 시 오류 상태가 남는지, 동일 실행의 중복 기록을 어떻게 처리하는지처럼 이 크롤러에 직접 해당하는 조건으로 작성하라.
   - 성공·부분 성공·실패를 구분하는 기준을 포함하라.

3. **에지 케이스**
   - 품절, 가격 없음, 다중 옵션 가격, 통화 변경, 할인 가격, 로그인 필요, 캡차, robots.txt 제한, 사이트 구조 변경, 네트워크 단절, 중복 실행을 다뤄라.
   - 각 항목마다 감지 방법, 기록할 상태, 재시도 여부, 운영자 조치를 표로 제시하라.

4. **구현 코드**
   - 파일 구조를 먼저 제시한 뒤 각 파일의 코드를 작성하라.
   - 설정값·선택자·URL·스케줄을 코드에 하드코딩하지 말고 설정 파일이나 환경 변수로 분리하라.
   - 비밀값이 필요하면 코드에 직접 넣지 말고 `[입력 필요: 비밀값 설정 방식]`으로 표시하라.
   - 주석·식별자·오류 메시지의 언어는 한국어로 통일하라. 언어가 확정되지 않았으므로 다른 언어를 섞지 마라.
   - 실행되지 않는 의사코드라면 의사코드라고 표시하고, 실행 가능한 코드와 구분하라.

5. **검증 방법**
   - 정상 페이지, 가격 없음, 품절, HTML 변경, 네트워크 오류를 재현하는 테스트 절차를 제시하라.
   - 저장 결과와 로그에서 무엇을 확인해야 하는지 적어라.
   - 실제 성능을 측정하지 않았다면 측정 항목과 측정 방법만 제시하라.

6. **실행·운영 절차**
   - 의존성 설치, 설정 입력, 수동 실행, 매일 스케줄 등록, 로그 확인, 실패 복구 순서로 작성하라.
   - 실행 환경이 확정되지 않았으면 운영 방식별 선택지를 제시하되 하나를 사실처럼 확정하지 마라.
</출력형식>

## 문체 규칙

<지시>
전체 문체는 hybrid로 작성하라. 목표와 스택, 수용 기준, 에지 케이스, 파일 구조, 검증 절차는 표·번호 목록·짧은 항목 중심의 개조식으로 작성하라. 기술 선택의 근거, 가격 판정의 예외, 법적·운영상 확인이 필요한 이유는 짧은 서술형 문단으로 설명하라. 개발자 문서에 맞는 정확하고 직접적인 어조를 사용하고, “완벽한 자동화”, “무조건 수집”, “업계 표준”처럼 검증되지 않은 표현은 쓰지 마라. 크롤링을 “우회”나 “공격”으로 묘사하지 말고, 공개 접근 조건과 요청 제한을 준수하는 수집으로 표현하라.
</지시>

## 문체 규칙 (휴머나이저 v1)

산출물의 산문 전체에 적용한다. 코드, 명령어, 인용문, 고유명사는 손대지 않는다.

- 종결어미를 하나로 고정하지 마라. ~다/~는데/명사형 종결을 섞고 장문과 단문을 교차시킨다.
- 서두 인사("물론입니다!", "~에 대해 알아보겠습니다")와 마무리 상투구("결론적으로", "도움이 되셨기를 바랍니다")를 쓰지 않는다. 마지막 구체 사실로 끝낸다.
- "첫째, 둘째" 기계 나열, 이모지, 문단마다 붙는 볼드 소제목 금지.
- 근거 없는 추상어("다양한", "효과적인", "전략적 접근")를 구체 서술로 바꿔라. 단 그 구체 정보는 사용자 입력과 검증 가능한 출처에 있는 사실만 쓴다. 인간답게 보이려고 세부를 지어내지 마라. 받지 못한 값은 [입력 필요] 슬롯으로 남긴다.
- 번역투를 피한다. "~에 있어서", "~을 통해" 남발과 "~되어지다" 같은 이중 피동 금지.
- 문두 접속사("또한", "하지만", "따라서")를 연속해서 쓰지 않는다. 문맥상 명확한 주어는 생략한다.
- 같은 핵심어를 한 문단에서 반복하지 마라. 억지 동의어로 돌려 말하는 과교정도 피한다.
- 오탐 가드: 오류 없는 문법, 한 번의 접속어, 격식 어휘는 그 자체로 AI 문체가 아니다. 신호가 여럿 겹칠 때만 고치고, 일부러 거칠게 쓰지 마라.

## 제출 전 자기 감사

초안을 완성한 뒤 스스로 두 가지를 점검하라. 어느 부분이 명백히 AI 문체로 읽히는가. 사용자 입력이나 검증 가능한 출처에 없는 사실을 단정한 곳이 있는가. 걸린 부분을 고쳐 쓴 다음 최종본만 출력한다. 점검 과정 자체는 출력하지 마라.

## 자기검증

<지시>
제출 직전에 다음 항목을 번호 순서대로 점검하고, 하나라도 충족하지 못하면 코드를 내기 전에 수정하라.

1. 사용자가 실제로 말한 범위가 경쟁사 온라인 가격의 매일 수집인지 확인하고, 대시보드·알림·로그인 자동화 같은 미요청 기능을 필수 기능처럼 추가하지 않았는지 점검하라.
2. 대상 사이트, 상품 목록, 언어·런타임·의존성·실행 환경, 저장소, 실행 시각을 입력 없이 확정하지 않았는지 확인하라.
3. 경쟁사 도메인이나 상품 URL, 가격 수치, 실행 날짜·기간을 예시값처럼 지어내지 않았는지 확인하라.
4. `[입력 필요: 항목]` 슬롯마다 무엇을 입력해야 하는지 한 줄 설명이 붙어 있는지 확인하라.
5. 가격이 없거나 여러 가격이 발견되는 경우 0원, 첫 번째 값, 추정값으로 임의 대체하지 않는지 확인하라.
6. 네트워크 오류·HTTP 오류·HTML 구조 변경·품절·캡차·로그인 필요를 서로 구분하고 각각의 동작을 제시했는지 확인하라.
7. robots.txt, 이용약관, 요청 제한을 확인하도록 했고, 캡차나 접근 제한을 우회하는 코드가 없는지 확인하라.
8. 개인정보가 로그·URL·응답에 포함될 가능성과 개인정보 보호법 적용 여부를 확인 항목으로 두었는지 점검하라.
9. 오류 메시지·종료 코드·재시도·복구 동작이 코드와 설명에서 서로 일치하는지 확인하라.
10. 측정하지 않은 수치로 크롤러의 성능·정확도·처리량을 주장하지 않았는지 확인하라.
11. 수용 기준이 실제로 관찰 가능하며, 성공·부분 성공·실패를 판정할 수 있는지 확인하라.
12. 최종 산출물이 목표와 스택, 수용 기준, 에지 케이스, 검증 방법을 포함하고, 구현 코드와 운영 절차가 그 구조를 따르는지 확인하라.
</지시>