생성형 AI 시대, 평가의 기준은 어떻게 달라져야 하는가
생성형 AI가 등장하면서 교육평가가 예상하지 못했던 질문을 마주하고 있다. 학생이 질문을 입력하면 몇 초 만에 설명이 나오고, 복잡한 계산을 대신하고, 보고서의 초안을 만들고, 문제의 풀이 과정까지 제시한다. 그렇다면 이런 질문이 자연스럽게 나온다.
AI가 답을 만들어 주는 시대에도 학생에게 같은 방식으로 정답을 요구해야 하는가? 하지만 이 질문에는 한 가지 주의할 점이 있다. 생성형 AI가 모든 지식형 평가를 무의미하게 만든 것은 아니다. 기초 지식과 개념 이해는 여전히 사고의 중요한 재료다. 오히려 AI 시대에는 무엇을 알고 있는지가 아니라 알고 있는 것을 바탕으로 무엇을 질문하고, 어떤 기준으로 AI의 답을 판단하며, 어떻게 자신의 결론을 만들어 내는가를 함께 평가해야 한다는 쪽으로 논의가 확장되고 있다.
OECD의 2026년 Digital Education Outlook도 생성형 AI가 교육적 목적과 교수학습 원리에 맞게 사용될 경우 학습을 지원할 수 있지만, 단순히 AI에 과제를 맡기는 방식은 실제 학습과 반드시 일치하지 않는다고 지적한다. 따라서 AI 시대의 평가 변화는 ‘정답 평가의 폐기’가 아니라 평가 대상의 확장으로 보는 것이 더 정확하다.
1. AI 시대에 ‘정답’만으로 학생을 평가하기 어려워진 이유
전통적인 교육평가는 오랫동안 다음과 같은 구조를 중심으로 발전해 왔다. [질문 → 학생의 답 → 정답과 비교 → 점수] 이 구조는 지식을 개인이 직접 회상하고 적용해야 했던 환경에서는 상당히 효과적이었다. 하지만 생성형 AI가 지식 검색과 생성의 장벽을 크게 낮추면서 상황이 달라졌다.
예를 들어, “산업혁명의 원인을 설명하시오.”라는 질문에 AI는 상당히 완성도 높은 답변을 만들어낼 수 있다. 그렇다면 학생이 이 답을 그대로 제출했을 때 교사가 확인할 수 있는 것은 무엇일까? 학생이 실제로 산업혁명을 이해했는지, AI의 답을 검증했는지, 다른 설명 가능성을 생각했는지, 자료의 신뢰성을 판단했는지 알기 어렵다.
즉, 최종 답변이라는 하나의 결과물만으로는 학생의 사고 과정을 충분히 관찰하기 어려워진다. 여기서 교육평가의 중요한 전환점이 등장한다.
2. 평가의 질문이 ‘무엇을 아는가’에서 ‘어떻게 판단하는가’로 확장된다
AI 시대라고 해서 지식이 중요하지 않은 것은 아니다. 오히려 지식은 여전히 중요하다. 학생이 기본 개념을 모른다면 AI의 답변이 맞는지 틀리는지 판단하기도 어렵기 때문이다. 따라서 새로운 평가 구조는 [지식 → 질문 → 기준 설정 → 검증 → 판단 → 적용]으로 확장될 필요가 있다.
예를 들어 같은 역사 문제라도 평가의 수준을 다르게 설계할 수 있다.
- 기존 방식 – 산업혁명의 원인을 세 가지 쓰시오.
- 확장된 방식 – 산업혁명의 주요 원인에 대한 자신의 가설을 세우고, AI에게 설명을 요청하시오. AI의 답변에서 근거가 부족하거나 논쟁의 여지가 있는 부분을 찾아 자료를 통해 검증한 뒤 자신의 결론을 작성하시오.
두 문제는 모두 산업혁명을 다룬다. 하지만 두 번째 평가에서는 단순한 기억을 넘어 [지식 + 질문 + 자료 해석 + 검증 + 판단]을 함께 관찰할 수 있다.
3. ‘프롬프트’가 새로운 평가 대상이 될 수 있는 이유
프롬프트를 단순한 AI 명령문으로 생각하면 교육적 의미가 작아진다. 교육평가의 관점에서 프롬프트는 오히려 학생이 문제를 어떻게 정의하고 있는지를 보여주는 하나의 관찰 자료가 될 수 있다. 예를 들어 두 학생이 같은 AI를 사용한다고 생각해 보자.
- 학생 A: “기후변화에 대해 설명해줘.”
- 학생 B: “기후변화의 원인을 인간 활동으로 보는 주장과 자연적 요인을 강조하는 설명을 구분해줘. 각각의 근거를 제시하고, 현재 자료만으로 판단하기 어려운 부분도 표시해줘.”
학생 B의 질문에는 이미 몇 가지 사고가 들어 있다.
- 문제의 범위를 설정했다.
- 서로 다른 설명을 구분했다.
- 근거를 요구했다.
- 불확실성을 고려했다.
- AI의 답을 그대로 받아들이지 않고 검토하도록 요구했다.
따라서 중요한 것은 프롬프트가 길다는 사실이 아니다. 그 프롬프트에 사고의 구조가 들어 있는가가 중요하다.
4. 프롬프트보다 더 중요한 것은 ‘Criteria Design’이다
여기에서 한 단계 더 나아갈 필요가 있다. AI 시대 교육평가에서 단순히 Prompt Design만 강조하면 새로운 기술 교육에 머물 수 있다. 더 중요한 것은 Criteria Design, 즉 판단 기준을 설계하는 능력이다. 학생이 AI에게 아무리 좋은 질문을 하더라도 AI가 내놓은 답을 판단할 기준이 없다면 결국 AI의 권위에 의존하게 된다.
예를 들어 학생이 AI에게 보고서를 작성하게 했다고 하자. 그다음 학생에게 묻는다. “이 답변이 좋은 답변이라고 판단한 기준은 무엇인가?” 여기서 학생이
- 자료의 신뢰성
- 근거의 적절성
- 논리적 일관성
- 반론 고려 여부
- 문제 조건 충족 여부
- 사실과 의견의 구분
등을 기준으로 제시할 수 있다면 평가의 초점은 한 단계 높아진다. AI에게 좋은 답을 얻는 능력보다 좋은 답인지 판단할 수 있는 능력이 더 중요할 수 있기 때문이다.
5. 그래서 새로운 평가에서는 ‘AI에게 무엇을 시켰는가’도 중요하지만 ‘왜 그렇게 시켰는가’가 더 중요하다
생성형 AI 시대의 수행평가를 다음과 같이 설계할 수 있다.
- ① 문제 정의 – 학생이 해결해야 할 문제를 자신의 언어로 다시 정의한다.
- ② 초기 생각 – AI를 사용하기 전에 자신의 가설이나 예상 답을 작성한다.
- ③ Prompt Design – AI에게 어떤 맥락과 조건을 제공할 것인지 설계한다.
- ④ Criteria Design – AI의 답변을 평가할 기준을 먼저 설정한다.
- ⑤ AI Interaction – AI와 여러 차례 대화하며 정보를 얻고 관점을 확장한다.
- ⑥ Verification – 자료와 근거를 확인한다.
- ⑦ Judgment – AI의 답을 그대로 받아들이지 않고 자신의 판단을 내린다.
- ⑧ Reflection – 처음 생각과 최종 생각이 어떻게 달라졌는지 설명한다.
이렇게 되면 평가 대상은 단순한 AI 활용 능력이 아니다. [문제 정의 능력 + 질문 설계 + 기준 설계 + 검증 + 판단 + 성찰]이 된다.
6. 좋은 질문은 ‘정답을 얻기 위한 질문’과 다르다
AI 시대에 좋은 질문을 단순히 “AI가 좋은 답을 만들어내도록 하는 질문”이라고 정의하면 부족하다. 교육에서 좋은 질문은 오히려 “학생 자신의 사고를 더 발전시키도록 만드는 질문”이어야 한다. 예를 들어, “이 내용을 요약해줘.”보다 “내가 이해한 내용을 먼저 제시할 테니, 내가 놓친 핵심 개념을 찾아줘.”가 더 높은 수준의 학습을 유도할 수 있다.
또, “정답을 알려줘.”보다 “내 풀이에서 논리적으로 성립하지 않는 부분을 찾아줘.”가 학생의 자기점검을 촉진한다. 따라서 AI 시대의 프롬프트 교육은 명령어 작성법에서 끝나서는 안 된다. 질문의 목적 자체가 [답 획득 → 사고 확장]으로 이동해야 한다.
7. 평가자는 ‘프롬프트의 화려함’을 점수화해서는 안 된다
여기에는 새로운 함정이 있다. 프롬프트를 평가한다고 해서 “프롬프트가 길수록 높은 점수”, “AI 역할을 자세하게 지정할수록 높은 점수”와 같은 방식으로 평가해서는 안 된다. 그렇게 되면 학생들은 다시 새로운 정답을 외우게 된다.
예를 들어 [역할 + 맥락 + 목표 + 조건 + 출력형식]이라는 프롬프트 공식을 외워서 사용하는 것이다. 그러면 프롬프트 교육이 또 하나의 암기식 교육으로 변질될 수 있다. 교육평가에서 중요한 것은 형식이 아니라 기능이다. 따라서 평가 기준은 다음과 같이 설계할 수 있다.
| 평가 요소 | 핵심 질문 |
| 문제 정의 | 무엇을 해결하려는가? |
| 맥락 설정 | 필요한 정보와 조건을 제공했는가? |
| 질문의 적절성 | 질문이 실제 문제 해결에 도움이 되는가? |
| 기준 설계 | AI의 답을 판단할 기준이 있는가? |
| 검증 | AI의 답을 확인했는가? |
| 관점 전환 | 다른 해석이나 반론을 고려했는가? |
| 판단 | 최종 판단을 자신의 근거로 설명하는가? |
| 성찰 | AI와의 상호작용을 통해 생각이 어떻게 변화했는가? |
이것이 Prompt & Criteria Design을 평가에 적용하는 핵심이다.
8. 평가의 중심을 ‘결과물’에서 ‘증거’로 이동시켜야 한다
AI 시대에 학생의 최종 보고서만 평가한다면 교사는 학생이 실제로 어떤 과정을 거쳤는지 알기 어렵다. 따라서 평가 자료를 다양화할 필요가 있다. 예를 들어 하나의 과제에서 다음을 함께 제출하게 할 수 있다.
- ① 최초 생각
- ② AI에게 한 질문
- ③ AI의 답변 중 선택한 내용
- ④ 검증한 자료
- ⑤ 버린 AI의 주장
- ⑥ 최종 결과물
- ⑦ 자신의 판단이 바뀐 이유
이렇게 하면 AI가 만들어낸 최종 결과물뿐 아니라 학생의 사고 흔적을 볼 수 있다. 교육평가의 관점에서 이것은 매우 중요한 변화다. 평가가 “무엇을 만들어냈는가?”에서 “어떤 사고 과정을 거쳐 그 결과에 도달했는가?”로 이동하기 때문이다.
9. AI 시대의 평가에서 ‘독립 수행’도 필요하다
그렇다고 모든 평가를 AI와 함께 수행하게 하는 것도 적절하지 않다. AI 활용 과제와 별도로 AI 없이 수행하는 평가가 필요하다. 예를 들어 학생이 AI를 활용해 특정 문제를 탐구했다면 이후 AI를 사용하지 않고 다음과 같은 질문을 할 수 있다.
- “네가 내린 결론을 자신의 말로 설명하시오.”
- “가장 중요한 근거는 무엇인가?”
- “AI의 답 중 하나를 반박하시오.”
- “새로운 사례에 이 원리를 적용하시오.”
이렇게 하면 AI 사용 과정에서 실제 학습이 일어났는지 확인할 수 있다. 즉, [AI 활용 평가 + AI 제한 평가]를 적절히 조합하는 것이다.
10. 평가의 목적은 AI보다 더 잘 답하는 학생을 만드는 것이 아니다
AI가 인간보다 더 빠르고 많은 정보를 처리하는 영역은 앞으로 계속 늘어날 것이다. 그렇다면 교육이 AI와 동일한 능력을 경쟁할 필요는 없다. 교육의 핵심은 오히려 인간이 해야 할 판단을 더 명확하게 정의하는 데 있다.
학생에게 필요한 것은 AI보다 더 빨리 검색하는 능력이 아니라, 무엇을 검색해야 하는지 결정하는 능력이다. AI보다 더 빨리 글을 쓰는 능력이 아니라, 어떤 주장을 받아들일 것인지 판단하는 능력이다. AI보다 더 많은 정보를 기억하는 능력만이 아니라, 어떤 정보가 중요한지 구별하는 능력이다. 이러한 관점에서 보면 생성형 AI는 평가를 없애는 기술이 아니라 평가의 질문을 바꾸는 기술이라고 볼 수 있다.
11. 결국 평가의 패러다임은 ‘정답’에서 ‘판단의 구조’로 이동한다
AI 시대의 평가를 단순하게 표현하면 다음과 같다.
- 과거: 질문 → 정답 → 점수
- AI 전환기: 질문 → AI 답변 → 결과물
- 앞으로 필요한 평가: 문제 정의 → 질문 설계 → 기준 설계 → AI 활용 → 검증 → 판단 → 성찰
여기에서 정답은 사라지는 것이 아니다. 정답은 여전히 중요하다. 다만 정답만으로 학생의 역량을 판단하기 어려워진 것이다. 따라서 미래의 평가에서는 지식의 보유 여부와 함께 지식을 활용해 질문하고, 기준을 만들고, 정보를 검증하고, 판단하는 능력을 함께 평가해야 한다.
AI 시대의 핵심 역량은 ‘질문하는 힘’에서 끝나지 않는다
AI 시대에 흔히 하는 말이 있다. “이제는 답을 잘 아는 사람보다 질문을 잘하는 사람이 중요하다.” 하지만 교육평가의 관점에서는 이것만으로 부족하다. 좋은 질문을 했다고 해서 좋은 판단을 하는 것은 아니기 때문이다.
따라서 앞으로의 교육에서는 좋은 질문을 설계하는 능력(Prompt Design)과 함께 좋은 답을 판별할 기준을 설계하는 능력(Criteria Design), 그리고 그 결과를 검증하고 자신의 판단으로 연결하는 능력까지 함께 평가해야 한다.
결국 중요한 것은 AI에게 얼마나 멋진 프롬프트를 입력했느냐가 아니다. 무엇을 묻고, 왜 묻고, 무엇을 근거로 답을 받아들이거나 거부했는가. 바로 그 과정에 학생의 사고력이 드러난다. 그래서 AI 시대의 교육평가는 ‘정답을 맞혔는가’라는 질문에서 한 걸음 더 나아가야 한다.
- “이 학생은 좋은 질문을 만들었는가?”
- “좋은 질문을 판단할 기준을 세웠는가?”
- “AI의 답을 검증할 수 있는가?”
- “그리고 최종 판단을 자신의 것으로 만들었는가?”
AI가 답을 만드는 시대일수록, 교육이 평가해야 할 것은 답을 생산하는 속도보다 판단을 만들어가는 과정이다.
참고자료
- OECD, OECD Digital Education Outlook 2026: Exploring Effective Uses of Generative AI in Education
- OECD, Digital Education Outlook
- UNESCO, AI Competency Framework for Students
- UNESCO, AI Competency Framework for Teachers
- UNESCO, Guidance for Generative AI in Education and Research
- U.S. Department of Education, Artificial Intelligence and the Future of Teaching and Learning
- National Academies of Sciences, Engineering, and Medicine, How People Learn II
- Black, P. & Wiliam, D., Assessment and Classroom Learning
- Wiliam, D., Embedded Formative Assessment
- Brookhart, S. M., How to Create and Use Rubrics for Formative Assessment and Grading
- Anderson, L. W. & Krathwohl, D. R., A Taxonomy for Learning, Teaching, and Assessing
- Bloom, B. S., Taxonomy of Educational Objectives
- Flavell, J. H., Metacognition and Cognitive Monitoring
- Zimmerman, B. J., 자기조절학습 및 메타인지 관련 연구
- Shute, V. J., formative assessment 및 학습을 위한 평가 관련 연구
원문보기 : 정답을 찾는 교육에서 ‘좋은 질문을 설계하는 역량’으로
Socko/Ghost
