온담(溫談)은 농인을 위한 수어 아바타 생성 서비스입니다.
영상 속 다중화자 음성을 자동으로 분석하고, 각 화자의 감정을 인식하여 표준 한국 수어 기반의 아바타 동작으로 변환합니다.
농인에게도 감정과 맥락을 온전히 제공할 수 있는 서비스를 제공합니다.
세상은 소리로 가득하지만, 누군가에겐 보이는 손짓과 표정이 유일한 언어입니다. 그러나 현실은 그 손짓조차 닿지 못합니다.
등록 장애인 263만 명 중, 청각·언어장애인은 45만 명으로 두 번째로 많지만,
수어 방송 의무 편성률은 단 7%.
청각장애인 10명 중 4명은 “이해할 수 없다”는 이유로 방송 시청을 포기합니다.
한국 수어는2016년 한국수화언어법을 통해 한국어와 같은 공용어로 지정되었지만, 농인의 언어권을 보장하기엔 여전히 부족합니다.
 |
 |
 |
| 20203059 | 20203103 | 20203150 |
| 최건웅(팀장) | 최정민 | 양기연 |
| 수어 문법 변환 및 감정 분석 | 웹 개발 및 STT 분석 | 아바타 생성 |
-
비교 및 선택
AI-Hub 공개 주요 영역별 회의 음성인식 데이터 50개 음성데이터 약 50시간 음성에 대한 비교 분석 결과
https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&dataSetSn=464엔진 CER 비용 처리 시간 (초) AWS 0.2165 0.3723 194.00 Azure 0.2147 0.4964 1463.50 CLOVA 0.2111 0.4964 25.40 Google STT 0.3756 0.2979 533.41 Whisper 0.2663 0.0000 225.25 
-
평가 지표
CER (Character Error Rate): 문자 단위 오류율 (낮을수록 정확)
- CER = (𝑆+𝐷+𝐼) / 𝑁
- S (Substitutions): 잘못된 단어로 대체된 문자 수
- D (Deletions): 인식하지 못한 문자 수
- I (Insertions): 잘못 삽입된 문자 수
- N (Total Words): 기준 문장의 총 문자 수
- CER = (𝑆+𝐷+𝐼) / 𝑁
영상으로부터 추출한 키포인트 데이터를 기반으로 Blender에서 아바타 애니메이션을 생성하고 렌더링함
- **키포인트 추출**: OpenPose와 MediaPipe를 활용해 얼굴, 손, 몸의 3D 키포인트 수집
- **본 매핑**: 키포인트 벡터 방향을 기준으로 아바타 본의 회전을 자동 계산하고 매핑함
- **표정 구현**: 얼굴 키포인트 간 거리 기반으로 쉐이프키 값을 조절해 표정을 자연스럽게 표현함
