AI 온라인 수업 조교 - "교수님 모르겠어요"

-스타트22팀 졸업프로젝트입니다.

시연영상(유튜브 주소)

프로젝트 소개

교수님 모르겠어요는 사회적 거리두기로 인해 실시되고 있는 실시간 온라인 수업에서 학생들의 수업에 대한 반응 및 이해도 파악을 돕는 AI 서비스입니다. 이 서비스는 시선 추적, 표정 인식, 행동 인식을 통해 학생들의 수업 이해도를 실시간으로 분석하여수업에 대한 실시간 피드백이 이루어질 수 있습니다. 교수자가 더욱 질 높은 수업을 제공할 수 있게 되어 교육자와 학생 모두의 수업에 대한 만족도를 상승시키는 것을 목표로 합니다.

1. 전제

• 캠을 키고하는 수업하는 강의식 수업에 한정함
• 사용자가 수업 화면 하나만을 보고 있다고 가정함
• 참여자 모두의 이해도 통합을 목표로 하지만 1인 상황파악을 우선적으로 시작함

2. 모듈화

반응파악모듈

웹캠을 통한 영상에서 시선, 표정, 행동을 인식하여 정보를 추출. 수업 참여 판단 모듈과 이해도 모듈로 정보를 전달.

수업참여판단모듈

1. 수업 듣는 중 (1) 웹캠에 얼굴이 인식 시선이 모니터안에 인식
2. 수업 안듣는중 (0) ex) 졸음 : 고개를 숙인 상태, 눈을 장시간 감고있는 상태 웹캠에 얼굴 or 시선이 인식되지 않음 ->인식 안됨이 지속될 시 수업을 듣지 않고 있다고 판별

이해도모듈

산출 시나리오

1. 이해도 증감은 수업을 듣고 있는 학생(수업 듣는 중(1))에 한해서만 반영
2. 5초 간격으로 이해도 리셋 후 재측정을 반복
3. 측정시마다 이해도는 중립 상태(50%) 에서 시작
4. 고개 끄덕끄덕 거리는 것을 2회 이상하거나 화면을 바라보며 미소를 지으면 이해도 증가로 반영
5. 화면을 바라보며 2초 이내에 동공 좌표 네 번 이상 변화(동공지진), 하품, 찡그림이 감지 되면 이해도 감소로 반영
6. openCV로 인식한 슬라이드의 컨텐츠가 아닌 부분을 3초 이상 응시하고 있으면 이해도 감소로 반영
7. 손으로 이마나 머리를 짚음, 턱을 괴고 있음 등의 행동이 감지되면 이해도 감소로 반영

분석결과 제공 시나리오

1. 1인 이해도를 통합하여 전체 이해도 계산
2. 수업이 진행되는 동안에는 시간별로 수업의 진도 상황을 기록
3. 미리 업로드한 교수의 수업자료에서 opencv로 각 슬라이드 인식
4. 각 슬라이드와 진도상황 기록한 것을 대조해, 학생들의 이해도가 낮은 부분을 따로 기록
5. 수업이 끝난 후, 이해도가 낮은 부분에 대해 시간과 슬라이드 기준으로 그래프로 그려서 교수자에게 제공

3. 기술블로그

반응파악모듈 중 행동인식 및 끄덕임 구현 : 박영빈 기술블로그

반응파악모듈 및 표정인식 및 찡그림 구현: 양유진 기술블로그

반응파악모듈 중 시선인식 및 콘텐츠검출: 이가은 기술블로그

반응파악모듈 중 표정 및 시선인식: 김서희 기술블로그

4. reference

시선인식 https://wwww.medium.com/@stepanfilonov/tracking-your-eyes-with-python-3952e66194a6

표정인식 https://mechasolution.vn/source/blog/AI-tutorial/Emotion_Recognition/ https://www.pyimagesearch.com/2017/04/03/facial-landmarks-dlib-opencv-python/

행동인식 https://www.learnopencv.com/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/

프로젝트 진행 과정

• 주제선정 및 내용구체화
• 기술조사 및 코드리뷰
• 각 모듈 개발
• 이해도 모델 생성
• 모듈 통합
• UI 및 프로토타입 제작
• 서버 구축