AI로 소설 평가 받는 법: 칭찬 말고 고칠 곳을 듣는 프롬프트

AI 소설 평가는 쓴 원고를 챗GPT · 제미나이 · 클로드 같은 AI 채팅에 넣고 강점과 약점, 고칠 곳을 묻는 일입니다. “평가해 줘”라고만 보내면 칭찬이 먼저 오고 점수는 후하게 나오기 쉬워서, 누구의 눈으로 무엇을 볼지와 답의 형식을 정해 줘야 고칠 때 쓸 수 있는 답이 옵니다.

이 글에는 AI 평가가 칭찬 쪽으로 기우는 이유, 부탁하기 전에 정할 것, 바로 복사해 쓰는 평가 프롬프트 여섯 가지, 받은 답을 거르는 법을 차례로 담았습니다. 예시는 TypeTak 따라 하기 강의의 작품 『흑마법사라는데 흙만 잘 팝니다』의 1화입니다.

한눈에 보기

AI는 대화 상대가 듣기 좋은 쪽으로 답이 기우는 경향이 있어서 그냥 물으면 칭찬이 앞섭니다. 평가를 부탁할 때는 독자 · 편집자 · 설정 검수자 가운데 누구의 눈으로 볼지 정하고 지적마다 원고의 문장을 그대로 인용하게 합니다. 점수보다 ‘읽다가 멈춘 곳’처럼 위치를 받는 편이 고치기 쉽습니다. 받은 지적은 새 대화에서 한 번 더 돌려 두 번 다 나온 것부터 봅니다.

AI 평가가 칭찬으로 기우는 이유

AI 채팅은 사람이 좋다고 고른 답을 더 많이 내도록 다듬어져 있어서 상대의 말에 맞장구치는 쪽으로 기울기 쉽습니다. 이 경향은 서비스를 만드는 쪽도 문제로 다룹니다. OpenAI는 2025년 4월, 챗GPT가 지나치게 비위를 맞추도록 바뀐 업데이트를 되돌리고 그 이유를 공개했습니다(OpenAI). 내가 쓴 소설을 내밀며 “어때?”라고 물으면, AI는 그 글을 쓴 사람이 듣고 싶은 말을 먼저 합니다.

점수도 그대로 믿기 어렵습니다. 같은 원고를 새 대화에 다시 넣으면 점수가 달라질 수 있고 무엇을 기준으로 몇 점을 줬는지 정하지 않으면 72점과 85점의 차이가 무엇인지 알 수 없습니다. AI는 내 작품이 연재될 플랫폼의 독자가 무엇을 좋아하는지, 이 장면이 50화 뒤에 어떻게 쓰일지도 모릅니다.

그래도 AI 평가는 쓸모가 있습니다. 언제든 몇 번이고 처음 읽는 사람처럼 읽어 주고 내 눈에는 익숙해서 안 보이는 반복이나 설정 어긋남을 찾는 데 강합니다. 기울어 있다는 것을 알고 질문을 짜면 됩니다.

부탁하기 전에 정할 세 가지

여기에 하나를 더하면 좋습니다. 내가 일부러 그렇게 쓴 것입니다. 『흑마법사라는데 흙만 잘 팝니다』 1화에서 낡은 판정석이 ‘흙’을 ‘흑’으로 잘못 읽는 장면은 작품 전체의 전제입니다. 이것을 알려 주지 않으면 AI는 “판정석이 속성을 잘못 읽는 것은 개연성이 부족하다”를 약점으로 꼽을 수 있는데, 의도한 것을 먼저 적어 두면 AI는 그 전제를 받아들인 채로 나머지를 봅니다.

바로 쓰는 평가 프롬프트 여섯 가지

원고는 한 화씩 넣습니다. 여러 화를 한꺼번에 넣으면 지적이 굵직한 몇 가지로 뭉뚱그려지기 쉽습니다. 문단 번호를 붙여 넣으면 지적이 어디를 가리키는지 찾기 쉽습니다.

1. 처음 읽는 독자의 반응

너는 (판타지 웹소설)을 즐겨 읽는 독자야. 아래 원고를 처음 읽는다고 생각하고, 읽는 동안의 반응을 기록해 줘.

- 다음이 궁금해진 곳
- 지루해서 건너뛰고 싶었던 곳
- 무슨 말인지 몰라 다시 읽은 곳
- 읽다가 그만두고 싶었던 곳 (있다면)

곳마다 문단 번호와 원문 한 문장을 인용하고, 이유는 한 줄로.
칭찬이나 총평은 쓰지 마.

---원고---
(원고)

평가 대신 반응을 묻는 프롬프트입니다. “좋다 · 나쁘다”보다 “여기서 지루했다”가 고칠 자리를 정확히 알려 줍니다. ‘그만두고 싶었던 곳’이 나오면 그 앞 문단부터 봅니다.

2. 칭찬 없이 약점 셋

아래 원고에서 가장 먼저 고쳐야 할 약점 세 가지만 꼽아 줘. 칭찬은 쓰지 마.

약점마다:
- 원고의 문장을 그대로 인용
- 왜 약점인지 두 줄 안으로
- 고칠 방향 한 줄 (대체 문장은 쓰지 마)

내가 일부러 그렇게 쓴 것은 약점으로 꼽지 마:
(예: 판정석이 ‘흙’을 ‘흑’으로 잘못 읽는 것은 작품의 전제다)

---원고---
(원고)

개수를 셋으로 묶으면 AI가 작은 것부터 늘어놓지 않고 큰 것부터 고릅니다. 대체 문장을 쓰지 말라고 한 이유는 고칠 방향을 내가 정하기 위해서입니다. 문장까지 받고 싶으면 AI 소설 프롬프트 모음의 ‘고쳐 쓰기’ 프롬프트를 이어서 씁니다.

3. 웹소설 1화 점검

아래는 연재 웹소설의 1화야. 연재 플랫폼에서 1화만 보고 다음 화를 누를지 정하는 독자의 눈으로 점검해 줘.

1. 원고 앞부분에서 주인공이 누구이고 무엇이 문제인지 드러나는가? 드러나는 문단 번호는?
2. 독자가 다음이 궁금해지는 질문은 무엇이고, 몇 번째 문단에서 처음 생기는가?
3. 마지막 장면이 사건 한가운데에서 끊기는가, 정리하며 끝나는가?
4. 설명이 세 문단 넘게 이어지는 곳이 있는가?

질문마다 ‘예 / 아니오 / 애매함’으로 먼저 답하고, 근거 문장을 인용해 줘.

---원고---
(원고)

질문을 정해 두면 AI가 문장 칭찬으로 새지 않습니다. 이 작품의 1화는 평민이라 무시당하던 클레이가 흑마법사로 오해받는 순간, 다음 화의 오해를 여는 대사에서 끊깁니다. 3번 질문은 이런 절단이 제자리에 있는지를 봅니다.

4. 설정과 어긋난 곳

아래 설정 요약과 원고를 비교해서, 원고가 설정과 어긋나는 곳만 찾아 줘. 문장이나 재미는 평가하지 마.

어긋난 곳마다:
- 원고의 문장
- 어긋나는 설정
- 확실함 / 의심됨 중 하나

어긋난 곳이 없으면 “없음”이라고만 답해.

---설정 요약---
(인물의 말투 · 능력 · 관계, 지켜야 할 설정)

---원고---
(원고)

이 프롬프트는 회차가 쌓일수록 쓸모가 커집니다. 30화의 인물이 3화와 다른 호칭을 쓰거나, 할 수 없다고 정한 일을 하고 있는 곳을 찾습니다. ‘없으면 없음’ 줄이 있어야 AI가 억지로 무언가를 찾아내지 않습니다. 설정 요약을 만드는 법은 AI 소설 프롬프트 모음에 양식과 함께 있습니다.

5. 두 버전 중 어느 쪽

같은 장면을 두 가지로 썼어. (독자)의 눈으로 어느 쪽이 나은지 골라 줘.

- 먼저 하나를 고르고
- 고른 이유를 원문을 인용하며 세 줄 안으로
- 고르지 않은 쪽에서 살릴 만한 문장이 있으면 하나만
점수는 매기지 마.

---A---
(장면 A)

---B---
(장면 B)

하나의 원고를 평가하게 하면 칭찬으로 기울지만 둘 중 하나를 고르게 하면 어느 한쪽은 지게 되므로, 장면을 두 가지로 써 놓고 망설일 때 쓰기 좋습니다. 같은 비교를 A · B 순서를 바꿔 한 번 더 돌려도 같은 쪽을 고르는지 보면 더 믿을 만합니다.

6. 점수가 꼭 필요할 때

아래 원고를 다음 항목으로 채점해 줘. 항목마다 근거 문장을 먼저 인용하고, 점수는 마지막에 적어.

[항목과 기준]
도입: 5점 = 첫 화면 안에 주인공과 문제가 드러남 / 3점 = 드러나지만 늦음 / 1점 = 드러나지 않음
인물: 5점 = 대사만 보고 누구인지 알 수 있음 / 3점 = 주인공만 구별됨 / 1점 = 구별되지 않음
절단: 5점 = 사건 한가운데에서 끊김 / 3점 = 끊기지만 예고가 붙음 / 1점 = 정리하며 끝남

점수를 높게 줄 이유가 애매하면 낮은 쪽을 골라.

---원고---
(원고)

점수는 기준이 있을 때만 쓸모가 있습니다. 1점 · 3점 · 5점이 무엇인지 미리 적어 두면, 고친 원고를 같은 기준으로 다시 채점해 나아졌는지 볼 수 있습니다. 항목은 작품에 맞게 바꿉니다.

받은 답을 거르는 법

AI의 지적을 모두 받아들이면 원고가 AI의 취향으로 바뀝니다. 아래 순서로 거릅니다.

1. 근거 문장이 없는 지적은 내려놓습니다. “전체적으로 긴장감이 부족하다”처럼 어느 문장인지 짚지 못하는 지적은 고칠 자리를 알려 주지 않습니다.
2. 새 대화에서 한 번 더 돌립니다. 같은 원고와 같은 프롬프트로 다시 물어 두 번 다 나온 지적부터 봅니다. 한 번만 나온 지적은 그날의 답일 수 있습니다.
3. 의도한 것인지 확인합니다. 지적이 내가 일부러 한 선택을 가리키면, 고칠지 말지는 내가 정합니다. 다음 평가부터는 그 의도를 프롬프트에 적어 둡니다.
4. 사람 독자와 견줍니다. 합평 모임이나 연재 댓글에서 나온 반응과 AI의 지적이 겹치는 곳은 먼저 고칠 곳입니다.

TypeTak에서 피드백 받기

TypeTak은 에이전트와 함께 쓰는 AI 글쓰기 에디터입니다. 이 글의 프롬프트가 하던 일, 곧 칭찬 대신 고칠 곳을 듣는 일을 버튼 하나로 하는 데 씁니다.

• 고칠 곳이 항목별로 나온다 — 에디터 툴바의 피드백을 누르면 화면에 보이는 대목을 읽고 총평, 항목별 평가, 강점, 보완 사항 순서로 답합니다. 평가에는 항목마다 별점과 그 이유가 붙습니다.
• 설정 요약을 붙여 넣지 않는다 — 이 글의 4번 프롬프트가 하는 일은 정합성 카드가 맡습니다. 글을 적어 둔 설정과 작품의 문체 설정에 비춰 보고 어긋난 점을 맨 위에, 맞게 쓴 점을 그 아래에 보여 줍니다.
• 문장 버릇을 원고 위에서 본다 — 문체 카드는 되풀이하는 낱말과 문장 버릇을 원고에 색으로 칠해 보여 줍니다.

자세한 사용법은 피드백 가이드에 있습니다.

자주 묻는 질문