-
-
Notifications
You must be signed in to change notification settings - Fork 67
Language korean
Category: Asian Languages Script: Hangul
| Metric | Value |
|---|---|
| Average Score | 🟠 5.8/10 |
| Accuracy | 6.6/10 |
| Fluency | 5.9/10 |
| Style | 5.4/10 |
| Total Tests | 130 |
| Best Model | google/gemini-2.0-flash-001 |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| google/gemini-2.0-flash-001 | 🟡 7.2 | 7.8 | 7.0 | 6.8 |
| google/gemini-3-flash-preview | 🟡 7.2 | 7.8 | 7.0 | 7.0 |
| translategemma:27b | 🟡 7.1 | 7.8 | 7.3 | 6.4 |
| mistralai/mistral-medium-3.1 | 🟡 7.0 | 7.4 | 6.8 | 6.6 |
| gemma3:27b-it-qat | 🟠 6.8 | 7.4 | 6.8 | 6.4 |
| gemma3:27b | 🟠 6.8 | 7.6 | 6.8 | 6.6 |
| translategemma:12b-it-q4_K_M | 🟠 6.4 | 7.2 | 6.4 | 6.0 |
| translategemma:27b-it-q8_0 | 🟠 6.4 | 7.0 | 6.4 | 5.8 |
| qwen3.5:35b | 🟠 6.4 | 7.0 | 6.6 | 5.6 |
| gemma3:12b | 🟠 6.2 | 7.0 | 6.0 | 5.8 |
| qwen3:30b | 🟠 6.0 | 7.0 | 6.0 | 5.6 |
| mistral-small:24b | 🟠 6.0 | 6.8 | 6.2 | 5.6 |
| qwen3:30b-instruct | 🟠 6.0 | 6.8 | 6.0 | 5.6 |
| ministral-3:14b | 🟠 6.0 | 6.8 | 6.0 | 5.6 |
| translategemma:12b | 🟠 6.0 | 6.8 | 6.0 | 5.4 |
| ministral-3 | 🟠 5.8 | 6.6 | 5.8 | 5.2 |
| qwen3:4b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| qwen3:14b | 🟠 5.6 | 6.4 | 5.8 | 5.2 |
| gemma3:4b | 🟠 5.6 | 6.6 | 5.6 | 5.4 |
| translategemma:4b-it-q4_K_M | 🟠 5.6 | 6.4 | 5.6 | 5.0 |
| translategemma:4b | 🟠 5.4 | 6.2 | 5.6 | 4.8 |
| qwen3:8b | 🟠 5.2 | 6.2 | 5.2 | 4.8 |
| qwen3.5:9b | 🟠 5.2 | 6.2 | 5.4 | 4.6 |
| llama3.1:8b | ⚫ 2.2 | 3.2 | 2.2 | 2.0 |
| llama3.2 | ⚫ 1.0 | 1.8 | 1.0 | 1.0 |
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Korean):
“아프가니스탄에 다녀오신 것 같습니다.” “어떻게 그렇게 아셨습니까?” 저는 깜짝 놀라 물었습니다. 그는 웃으며 “신경 쓰지 마세요.”라고 말했습니다. “이제 문제는 헤모글로빈입니다. 제가 발견한 이 사실이 얼마나 중요한지 아시겠죠?” “화학적으로는 흥미롭지만, 실제로 적용하기에는…”이라고 대답했습니다. “아, 이 발견은 수년간 가장 실용적인 의학 및 법의학적 발견입니다. 이것이 혈흔을 완벽하게 식별할 수 있는 방법을 제공한다는 것을 모르십니까?”
Evaluator Feedback:
The translation is highly accurate and captures the core meaning of the dialogue perfectly. While the tone is appropriately formal, the use of '신경 쓰지 마세요' for 'Never mind' is slightly modern, though it remains clear and functional within the context.
Model: qwen3.5:35b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Korean):
나는 의도적으로 살아보기 위해 숲으로 들어갔다. 삶의 본질적인 사실들 앞에서 정면으로 마주하고, 그로부터 배우려 했으며, 죽음이 찾아왔을 때 내가 살아보지 못했음을 발견하지 않으려 했다. 나는 삶이 아닌 것을 살고 싶지 않았다. 삶은 그렇게 귀하기 때문이다. 또한 필요하지 않은 한 체념의 자세를 취하려 하지도 않았다. 나는 깊이 살아내고자 했고, 삶의 모든 골수를 빨아들였다.
Evaluator Feedback:
The translation is excellent, capturing the philosophical depth and poetic rhythm of the original text with natural, sophisticated Korean phrasing. The final sentence is particularly well-rendered, maintaining the visceral metaphor of 'sucking out the marrow' effectively.
Model: gemma3:12b Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Korean):
방 안은 장미 향기로 가득했고, 여름날 가벼운 바람이 정원의 나무들 사이를 스치고 지나갈 때마다 열린 문틈으로 짙은 라일락 향이나 분홍빛 꽃잎을 지닌 가시나무의 은은한 향기가 실려 들어왔다. 페르시아 안마의자처럼 덧대어진 소파 구석에서, 그는 늘 하던 대로 수많은 담배를 피워 물고 있는데, 눈을 돌리면 꿀처럼 달콤하고 황금빛 꽃들이 피어 있는 금단나무의 윤기가 엿보였다.
Evaluator Feedback:
The translation captures the sensory richness and aesthetic focus of Wilde's prose effectively, with accurate rendering of floral imagery and atmospheric details. Minor fluency issues arise from slightly awkward phrasing in the final clause, and some nuance of 'honey-sweet and honey-coloured' is somewhat compressed, but overall the luxurious, decadent tone is well-preserved.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 2 | 1.5% |
| 🟡 Good (7-8) | 44 | 33.8% |
| 🟠 Acceptable (5-6) | 68 | 52.3% |
| 🔴 Poor (3-4) | 7 | 5.4% |
| ⚫ Failed (1-2) | 9 | 6.9% |