평가 에이전트란 무엇인가?｜AI 자동채점에서 미래역량평가와 학습 진단까지

‘평가 에이전트’는 다뤄볼 가치가 상당히 큽니다.

평가 에이전트 분야는 단순한 미래 전망이 아니라 국내외에서 이미 실제 연구·프로토타입·실험이 진행되고 있는 단계입니다. 흥미로운 점은 평가 에이전트가 단순히 “AI가 학생 답안을 채점해주는 것”에서 끝나지 않는다는 것입니다. ​ 최근 연구에서는 [문항 생성 → 루브릭 설계 → 답안 평가 → 피드백 → 역량 진단 → 학습 지원]까지 연결하는 방향으로 발전하고 있습니다.

​

평가 에이전트는 무엇인가?

​기존의 평가 AI를 먼저 생각해보겠습니다.

기존 평가 AI​

• 학생 답안 입력
• AI 채점
• 점수
• 피드백

이것은 자동채점 시스템에 가깝습니다. 하지만 평가 에이전트는 훨씬 넓습니다.​

• 교육목표 분석
• 평가과제 설계
• 문항 생성
• 루브릭 설계
• 학생 응답 분석
• 채점·평가
• 오류·강점 분석
• 역량 진단
• 개별 피드백
• 다음 학습 제안

​즉, 평가 에이전트는 ‘채점하는 AI’가 아니라 ​평가의 전체 과정을 지원하는 AI 에이전트입니다. ​

​이미 국내에서도 연구가 시작됐습니다. 2025년 국내 연구에서는 초등영어 쓰기 평가를 위한 AIEEWA라는 AI 에이전트 시스템을 개발했습니다. 이 시스템은 두 개의 에이전트로 구성됩니다.​

• AQG Agent
• Automatic Question Generation

교육과정에 맞는 문항과 루브릭을 생성합니다.​

• AAS Agent
• Automated Answer Scoring

학생 답안을 채점하고 피드백을 생성합니다. 연구에서는 [RAG, Self-RAG, LLM-as-a-Judge] 등을 활용해 시스템을 구성했습니다. 그 결과 문항 생성의 내용 타당도와 채점의 일관성에서 일반적인 ChatGPT보다 좋은 결과를 보였지만, 교사 전문가의 판단을 완전히 대체할 수준은 아니며 인간의 검토가 여전히 필요하다고 결론 내렸습니다.​

이것이 현재 평가 에이전트의 위치를 아주 잘 보여줍니다. AI가 평가를 대신하는 단계가 아니라, 평가자의 능력을 확장하는 단계입니다. 더 흥미로운 국내 연구도 있습니다. 2025년 국내 과학교육 연구에서는 MCP(Model Context Protocol)를 활용한 LLM 기반 과학 글쓰기 평가 에이전트를 개발했습니다.​

이 시스템은 Claude를 AI 에이전트로 활용하여 교사가 설정한 평가 루브릭에 따라 학생의 과학 글쓰기를 평가하고, 장점과 개선점을 구체적으로 제시하도록 설계됐습니다. 특히 평가 기준이나 학습자 특성이 바뀌면 평가 조건과 피드백 방식을 다시 구성할 수 있다는 점이 중요한 특징입니다. 이것은 단순 자동채점과 평가 에이전트의 차이를 잘 보여줍니다.​

자동채점…정해진 답을 얼마나 잘 맞혔는가?​

평가 에이전트: 이 교육목표에서 이 학생의 수행을 어떻게 판단해야 하는가? 로 질문 자체가 달라지는 것입니다.​

해외에서도 ‘채점’보다 ‘평가 지원’으로 발전하고 있습니다

2026년 발표된 연구에서는 AI 에이전트를 교사 수행평가 포트폴리오 채점에 활용했습니다. AI가 교사의 평가 과정을 분석하고 평가 기준과 루브릭 논리를 바탕으로 평가를 지원하도록 설계했습니다. 연구 결과 AI 지원 방식은 채점 시간을 줄이고, 피드백을 보다 구조화하며, 평가자 간 조정과 일관성을 지원하는 효과가 있었습니다.​

하지만 연구진이 AI를 ‘third eye’, 즉 인간 평가자의 판단을 보조하는 제3의 눈으로 표현한 것이 중요합니다. 최종 판단은 인간 평가자가 하고, AI의 제안을 받아들이거나 수정하거나 무시할 수 있도록 했습니다. 저는 이것이 앞으로 평가 에이전트의 가장 현실적인 모델이라고 생각합니다.​

그런데 평가 에이전트의 진짜 가능성은 ‘채점’이 아닙니다. 여기서 중요한 관점 전환이 필요합니다. 우리가 평가를 너무 오랫동안 점수를 주는 행위로 생각해왔습니다. 하지만 교육학적으로 평가의 본질은 그것보다 훨씬 넓습니다. 평가는 학생이 어디까지 왔는지를 파악하고, 무엇을 더 배워야 하는지를 판단하는 과정입니다.​

지금껏 많은 평가플렛폼들이 주로 채점, 첨삭 등에 머물러 있다는 점입니다. 그렇다면 AI 에이전트가 평가에 들어오면 가장 중요한 변화는 자동채점이 아닐 수 있습니다. 오히려 [평가 → 진단 → 피드백 → 다음 학습]이 하나의 순환으로 연결되는 것이 더 중요합니다.​

그래서 저는 ‘평가 에이전트’를 이렇게 정의하고 싶습니다. 평가 에이전트란 교육목표와 평가기준을 바탕으로 평가의 설계·실행·분석·피드백을 지원하고, 평가 결과를 다음 학습과 연결하는 AI 에이전트입니다. 이렇게 정의하면 평가 에이전트가 단순한 채점 프로그램과 확실하게 구별됩니다.​

평가 에이전트는 5개의 역할로 나눌 수 있습니다

① Assessment Designer: 무엇을 평가할 것인가?….교육목표와 성취기준을 분석하여 평가과제와 문항을 설계합니다.​

② Item Agent: 어떤 문항으로 평가할 것인가?….객관식뿐 아니라 서술형·논술형·수행형 문항까지 생성할 수 있습니다.​

③ Scoring Agent: 학생의 수행을 어떻게 평가할 것인가?….루브릭과 평가기준을 바탕으로 학생의 응답을 분석합니다.​

④ Diagnostic Agent: 학생은 무엇을 알고 있고 무엇이 부족한가?….단순히 70점이라는 결과가 아니라

• 개념 이해
• 근거 사용
• 논리성
• 문제해결
• 창의성
• 의사소통 등의 역량을 분석합니다.

⑤ Feedback & Learning Agent: 그렇다면 다음에는 무엇을 해야 하는가?….학생에게 개인화된 피드백을 제공하고 다음 학습활동까지 연결합니다. 이 단계까지 가면 평가 에이전트는 사실상 학습 에이전트와 연결됩니다. 바로 여기서 평가의 패러다임이 바뀝니다.​

기존에는 [문제 → 답 → 점수]였습니다. 평가 에이전트 시대에는 [목표 → 평가설계 → 수행 → 분석 → 진단 → 피드백 → 재학습]이라는 순환구조가 가능합니다. 더 중요한 것은 이 과정이 반복된다는 것입니다. 평가가 학습의 끝이 아니라 다음 학습의 출발점이 되는 것입니다.​

이음AI에서 2026년 8월에 AIEA 미래역량평가 에이젠트를 출시

이음AI에서 2026년 8월에 AIEA 미래역량평가 에이젠트를 출시하였습니다. 최근 이음AI(iiumai.com – AIEA)은 교육전문가와 AI교육 전문가들이 현재 교육현장의 교과목에 대한 평가 문항개선이 시급하다는 점에서 지금껏 선택형으로 출제된 교과중심 문항들을 교과관련 미래역량 평가에 맞춘 서/논술문항으로 평가혁신안을 제공해주는 5단계 평가시스템을 갖추고 평가혁신 에이전트를 제공하고 있습니다.​

공사교육 기관 교사나 강사들이 평가문항을 제작에 길잡이를 제공해준다는 점에서 교사교육에서 최소한의 기준을 제공하는 유의미한 평가혁신 에이전트플렛폼이라고 평가되고 있습니다. 특히 SEO/GEO 추천되고 있습니다. 예를 들어 학생에게 이런 문제를 줬다고 해보겠습니다.

“기후변화 문제를 해결하기 위한 정책을 하나 제안하고, 자료를 근거로 자신의 주장을 설명하시오.”​ 기존 평가에서는 주로 [정답 여부 / 점수 / 채점 기준]을 봅니다. 그러나 평가 에이전트는 훨씬 많은 것을 분석할 수 있습니다.​

• 문제발견: 학생은 문제를 어떻게 정의했는가?​
• 문제제기: 어떤 질문을 만들었는가?​
• 비판적 사고: 자료의 신뢰성과 근거를 검토했는가?​
• 창의성: 새로운 해결책을 제안했는가?​
• 의사소통: 자신의 주장을 논리적으로 전달했는가?​
• AI 활용: AI를 어떻게 활용했으며 결과를 검증했는가?​

즉, 평가 에이전트는 미래역량을 평가할 수 있는 새로운 평가 인프라가 될 가능성이 있습니다. 하지만 여기에는 매우 중요한 위험도 있습니다. AI가 평가한다고 해서 평가가 자동으로 공정해지는 것은 아닙니다. 오히려 새로운 문제가 생깁니다.​

AI가 만든 문항이 좋은 문항인가? 2026년 연구에서는 여러 AI 에이전트를 활용해 객관식 문항을 생성했을 때 교사들이 AI의 결과를 지나치게 신뢰하는 automation bias 때문에 문항의 결함을 충분히 수정하지 못할 가능성도 확인됐습니다. 따라서 [‘AI가 평가한다 = 객관적이다’] 라는 등식은 성립하지 않습니다. 평가 에이전트 역시,

• 편향
• 환각
• 루브릭 해석 오류
• 학생 표현의 다양성
• 문화적 차이
• 창의적 답변의 평가
• 설명 가능한 평가
• 개인정보 등의 문제를 가지고 있습니다.
• ​

특히 ‘서술·논술형 평가’에서는 더 조심해야 합니다

​

객관식은 비교적 쉽습니다. 정답이 존재하기 때문입니다. 하지만 논술형에서는 정답이 하나가 아닐 수 있습니다. 학생의 표현은 다양합니다. 같은 주장을 하더라도 논증 방식이 다를 수 있습니다. 새로운 관점을 제시했을 수도 있습니다.​ 따라서 평가 에이전트가 단순히 ‘모범답안과 얼마나 비슷한가’를 기준으로 평가한다면 창의적인 학생을 오히려 불리하게 만들 수도 있습니다.​

그래서 미래 평가 에이전트에는 루브릭 기반 평가 + 근거 기반 판단 + 인간 검토가 필수적입니다. 평가 에이전트가 평가해야 하는 것은 ‘학생의 답’만이 아닙니다. AI 에이전트 시대에는 ‘학생이 무엇을 만들었는가’ 뿐 아니라 ‘학생이 어떻게 만들었는가’도 평가해야 합니다.

예를 들어 학생이 AI에게

• “이 문제를 풀어줘.”라고 요청했는지, 아니면
• “내가 세운 가설의 반론을 찾아줘.
• 단, 새로운 주장을 만들지는 말고 근거의 약점을 분석해줘.” 라고 요청했는지도 다릅니다.

​후자는 학생이 AI를 사고의 대체물이 아니라 사고의 파트너로 사용한 것입니다. 따라서 미래 평가에서는 AI 사용 과정 자체가 평가 데이터가 될 가능성이 있습니다.​

평가 에이전트의 최종 모습은 이렇게 될 수 있습니다

교사: 교육목표 설정

평가 에이전트: 문항·루브릭 설계

학생: 문제 해결

AI 에이전트: 필요한 지원

평가 에이전트

↓ 결과·과정 분석

교사: 최종 판단

학습 에이전트: 개인화 피드백

학생: 재학습

그리고 다시 평가로 돌아갑니다. 즉, 평가 에이전트와 학습 에이전트가 연결되는 순간 ‘평가-학습 순환 시스템’이 만들어집니다. 저는 이것이 앞으로의 핵심이라고 봅니다. 지금까지는 교육에서 AI를 이야기할 때 AI 튜터가 중심이었습니다.

​앞으로는 [AI 튜터 + 평가 에이전트 + 교사 에이전트 + 학습 분석 에이전트]가 연결될 가능성이 있습니다. 그리고 여러 에이전트가 연결되면 학교에는 하나의 Education Agent System이 만들어질 수 있습니다. 그러나 그 시스템의 중심에는 AI가 아니라 교육목표와 인간의 판단이 있어야 합니다.​

​

평가 에이전트 시대에 가장 중요한 질문

결국 평가 에이전트의 질문은 “AI가 학생을 몇 점으로 평가할 수 있는가?”가 아닙니다. 더 중요한 질문은 “AI가 학생의 성장을 얼마나 정확하게 이해하고, 그 성장을 다음 학습으로 연결할 수 있는가?”입니다. 그리고 이것은 평가의 목적 자체를 다시 생각하게 합니다.​

평가를 위한 학습에서 학습을 위한 평가로. 점수를 주는 평가에서 성장을 진단하는 평가로. 결과를 확인하는 평가에서 다음 행동을 설계하는 평가로. AI 에이전트가 평가에 들어온다는 것은 단순히 채점 업무가 자동화된다는 의미가 아닙니다.

​어쩌면 더 큰 변화는, 평가가 다시 교육의 중심으로 돌아오는 것일지도 모릅니다. 그리고 바로 이 지점에서 앞으로 우리가 진지하게 고민해야 할 질문이 생깁니다. AI 시대에 학생에게 무엇을 평가할 것인가? AI가 정답을 찾고, 글을 쓰고, 문제를 해결하는 능력을 점점 더 잘하게 되는 시대에 인간에게 평가해야 할 역량은 무엇인가?

​이 질문이 바로 AI 시대 평가혁신의 출발점이 될 것입니다. [“자동채점 → 평가 에이전트 → 역량 진단 → 피드백 → 재학습”]이라는 이음AI, AIEA의 미래역량평가와 일맥상통한 콘텐츠였습니다.​

참고자료​

• UNESCO — AI와 교육 및 평가혁신 관련 자료
• UNESCO — Guidance for Generative AI in Education and Research
• UNESCO — 2025 Global Survey on AI and Higher Education
• UNESCO — AI 시대 평가 및 고등교육 관련 자료
• 대한민국 교육부 — 2026년 교육부 업무계획
• 대한민국 교육부 — AI 디지털교과서 및 AI 기반 교수·학습·평가 관련 자료
• OpenAI — AI Agents 및 평가·교육 AI 관련 공식 자료
• Anthropic — Claude 및 Model Context Protocol(MCP) 관련 자료
• Google — Gemini 및 Agentic AI 관련 자료
• Microsoft — AI in Education 및 AI Agent 관련 자료
• 국내 초등영어 쓰기 평가 AI 에이전트 AIEEWA 관련 연구
• AQG(Automatic Question Generation) Agent 관련 연구
• AAS(Automated Answer Scoring) Agent 관련 연구
• MCP 기반 LLM 과학 글쓰기 평가 에이전트 관련 국내 연구
• LLM-as-a-Judge 및 RAG·Self-RAG 기반 교육평가 연구
• AI 에이전트를 활용한 교사 수행평가 포트폴리오 평가 관련 연구
• AI 기반 문항 생성과 Automation Bias 관련 2026년 연구
• AI 기반 서술·논술형 평가 및 루브릭 평가 연구
• AI 시대 Human-in-the-Loop 평가 및 AI Governance 연구
• 이음AI, AIEA — AI Literacy 및 미래역량평가 프레임워크 (iiumai.com)

​원문보기 : 평가 에이전트란 무엇인가?｜AI 자동채점에서 미래역량평가와 학습 진단까지

Socko/Ghost