-
-
Notifications
You must be signed in to change notification settings - Fork 67
Language ukrainian
Category: Cyrillic Languages Script: Cyrillic
| Metric | Value |
|---|---|
| Average Score | 🟠 6.3/10 |
| Accuracy | 7.0/10 |
| Fluency | 6.3/10 |
| Style | 6.0/10 |
| Total Tests | 130 |
| Best Model | google/gemini-3-flash-preview |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| google/gemini-3-flash-preview | 🟡 7.8 | 8.2 | 7.6 | 7.6 |
| google/gemini-2.0-flash-001 | 🟡 7.6 | 8.0 | 7.4 | 7.4 |
| translategemma:27b | 🟡 7.6 | 8.2 | 8.0 | 7.2 |
| mistralai/mistral-medium-3.1 | 🟡 7.4 | 8.0 | 7.2 | 7.6 |
| translategemma:12b | 🟡 7.4 | 7.6 | 7.2 | 6.8 |
| gemma3:27b-it-qat | 🟡 7.2 | 7.8 | 7.0 | 7.0 |
| ministral-3:14b | 🟡 7.2 | 7.4 | 7.2 | 6.6 |
| gemma3:12b | 🟡 7.0 | 7.8 | 6.8 | 7.0 |
| gemma3:27b | 🟡 7.0 | 7.6 | 6.8 | 7.0 |
| translategemma:12b-it-q4_K_M | 🟡 7.0 | 7.4 | 7.0 | 6.4 |
| translategemma:27b-it-q8_0 | 🟡 7.0 | 7.4 | 7.2 | 6.4 |
| qwen3.5:35b | 🟡 7.0 | 7.4 | 7.2 | 6.4 |
| qwen3:30b | 🟠 6.8 | 7.8 | 6.8 | 6.8 |
| ministral-3 | 🟠 6.6 | 7.2 | 6.4 | 6.4 |
| qwen3:30b-instruct | 🟠 6.6 | 7.4 | 6.6 | 6.4 |
| mistral-small:24b | 🟠 6.4 | 7.2 | 6.4 | 6.4 |
| translategemma:4b | 🟠 6.4 | 6.8 | 6.6 | 5.6 |
| translategemma:4b-it-q4_K_M | 🟠 6.2 | 7.0 | 6.2 | 5.6 |
| qwen3:14b | 🟠 6.0 | 6.8 | 6.0 | 5.8 |
| gemma3:4b | 🟠 5.8 | 6.8 | 5.8 | 5.8 |
| qwen3:4b | 🟠 5.2 | 6.2 | 5.2 | 4.6 |
| qwen3.5:9b | 🔴 4.6 | 5.6 | 4.6 | 4.2 |
| qwen3:8b | 🔴 4.2 | 5.2 | 4.2 | 4.0 |
| llama3.1:8b | 🔴 4.0 | 5.0 | 4.0 | 3.8 |
| llama3.2 | ⚫ 1.0 | 2.0 | 1.0 | 1.0 |
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Ukrainian):
— Ви, мабуть, були в Афганістані, — помітив він. — Звідки ви дізналися? — запитав я з подивом. — Неважливо, — відповів він, усміхаючись. — Головне зараз — гемоглобін. Без сумніву, ви розумієте, наскільки важливе моє відкриття? — Це, безперечно, цікаво з хімічної точки зору, — відповів я, — але на практиці… — Та ні, це найпрактичніше медико-криміналістичне відкриття за останні роки. Хіба ви не бачите, що воно дає нам безпомилковий метод для ідентифікації плям крові?
Evaluator Feedback:
The translation is highly accurate and captures the Victorian detective tone well. The choice of 'медико-криміналістичне' for 'medico-legal' is excellent, though 'помітив' is a slightly literal rendering of 'perceive' compared to more natural Ukrainian dialogue tags like 'зауважив'.
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Ukrainian):
Я пішов у ліс, бо хотів жити свідомо, зіткнутися лише з найважливішими аспектами життя і спробувати навчитися всього, чому воно може мене навчити, щоб, коли прийде час помирати, не виявилося, що я не жив. Я не хотів жити неповним життям, адже життя – це надто дорого; і я не хотів примирятися з долею, якщо тільки це не було абсолютно необхідно. Я хотів жити по-справжньому і вичавлювати з життя всі його соки.
Evaluator Feedback:
The translation is highly accurate and reads naturally in Ukrainian, though it slightly softens Thoreau's visceral metaphors, such as 'suck out all the marrow' being rendered as 'squeeze out all the juices.' The philosophical weight of 'deliberately' and 'essential facts' is well-preserved through 'свідомо' and 'найважливішими аспектами'.
Model: qwen3.5:35b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Ukrainian):
Я пішов у ліс, бо прагнув жити свідомо, стикнутися лише з найсуттєвішими фактами життя і спробувати вивчити його уроки, а коли прийде час померти, не виявити, що я не жив. Я не хотів жити тим, що не є життям, адже життя таке дороґе; й не бажав практикувати відмову від себе, якщо це не було абсолютно необхідним. Я хотів жити глибоко і вичавити з життя всю сутність.
Evaluator Feedback:
The translation is excellent and captures the philosophical tone well, though 'suck out all the marrow' is idiomatically translated as 'extract the essence' (сутність), losing the visceral metaphor of the original.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 3 | 2.3% |
| 🟡 Good (7-8) | 72 | 55.4% |
| 🟠 Acceptable (5-6) | 38 | 29.2% |
| 🔴 Poor (3-4) | 10 | 7.7% |
| ⚫ Failed (1-2) | 7 | 5.4% |