보고서를 AI에게 시킬 때 가장 많이 틀리는 것

무엇이 어려운가

그런데 AI에게 이대로 주면 대개 세 가지가 한꺼번에 일어납니다. 출처를 지어냅니다 — 있을 법한 논문 제목과 통계표 번호가 붙어 나오는데 찾아보면 없습니다. 상관을 인과로 바꿔 씁니다 — 지하철이 많은 곳이 잘 사는 것과 지하철이 많아서 잘 사는 것은 다른 주장인데 문장에서 구분이 사라집니다. '발달 수준'이 끝까지 정의되지 않습니다 — 노선 수인지, 배차 간격인지, 정류장까지의 도보 시간인지 정하지 않은 채 글이 진행됩니다.

셋 다 AI가 게을러서 생기는 일이 아닙니다. 요청에 그 판단이 들어 있지 않아서 생깁니다. 사람에게 시켰다면 되물었을 것들인데, AI는 되묻지 않고 그럴듯한 쪽으로 채웁니다.

요청에 무엇을 더해야 하는가

1. 추상어를 지표로 바꾸게 한다

'발달 수준', '삶의 질', '효율성' 같은 말은 그대로 두면 글 전체가 모호해집니다. 무엇으로 재는지 먼저 정하라고 요청에 적으면 됩니다 — 이것을 조작적 정의라고 부릅니다.

2. 출처의 순위를 정해 준다

출처를 대라고만 하면 블로그와 통계청이 같은 자격으로 섞입니다. 무엇을 먼저 믿을지 순위를 주면 글의 무게가 달라집니다.

• 공식 통계·원자료를 1순위로 쓰고, 그다음이 공공연구기관 보고서, 학술지 논문 순이다
• 핵심 수치는 독립된 출처 두 개 이상으로 교차검증한다
• 같은 원자료를 재인용한 둘은 독립으로 세지 않는다 — 이 한 줄이 빠지면 교차검증이 형식만 남습니다
• 교차검증이 안 되는 수치에는 [확인 필요]를 붙이고 넘어간다

3. 상관과 인과를 갈라 쓰게 한다

이건 한 줄이면 됩니다. 역인과·누락변수·제3요인을 논의 항목으로 지정해줘. 그러면 '지하철이 늘어서 발전한 것인지, 발전한 곳에 지하철을 놓은 것인지'를 글이 스스로 다룹니다.

직접 쓸 때의 체크리스트

1. 1이 글의 핵심 개념 중 '무엇으로 재는지' 정하지 않은 말이 있는가
2. 2출처의 순위를 정해 줬는가 — 아니면 AI가 알아서 고르게 뒀는가
3. 3숫자 하나하나에 '어디서 왔는지'를 요구했는가
4. 4상관을 인과로 읽지 말라고 못 박았는가
5. 5지어낼 수 없는 것(논문명·DOI·통계표 번호)을 지어내지 말라고 적었는가

다섯 개를 전부 요청에 적는 것이 번거롭다면, 그것이 이 서비스가 하는 일입니다. 한 줄만 적으면 위 다섯을 포함한 지시문으로 펼쳐 드립니다.