test: split sentence into words

#1994

Author: jo-elimu

src/main/java/ai/elimu/util/linguistics/ThaiHelper.java

@@ -0,0 +1,25 @@
+package ai.elimu.util.linguistics;
+
+import java.text.BreakIterator;
+import java.util.Locale;
+
+public class ThaiHelper {
+
+    public static String splitIntoWords(String paragraph) {
+        BreakIterator wordIterator = BreakIterator.getWordInstance(new Locale("th"));
+        wordIterator.setText(paragraph);
+
+        String words = "";
+        int start = wordIterator.first();
+        int end = wordIterator.next();
+        while (end != BreakIterator.DONE) {
+            if (words.length() > 0) {
+                words += " ";
+            }
+            words += paragraph.substring(start, end);
+            start = end;
+            end = wordIterator.next();
+        }
+        return words;
+    }
+}

src/test/java/ai/elimu/util/linguistics/ThaiHelperTest.java

@@ -0,0 +1,16 @@
+package ai.elimu.util.linguistics;
+
+import static org.junit.jupiter.api.Assertions.assertEquals;
+
+import java.io.UnsupportedEncodingException;
+
+import org.junit.jupiter.api.Test;
+
+public class ThaiHelperTest {
+
+    @Test
+    public void testSplitIntoWords() throws UnsupportedEncodingException {
+        assertEquals("ฉัน จะ ไป โรงเรียน", ThaiHelper.splitIntoWords("ฉันจะไปโรงเรียน"));
+        assertEquals("เดี๋ยว วัน นี้ เรา กลับ บ้าน ไป พัก", ThaiHelper.splitIntoWords("เดี๋ยววันนี้เรากลับบ้านไปพัก"));
+    }
+}