Add IPATokenizer integration support for KannadaG2p

- Add 'symbols' property for IPATokenizer compatibility
- Add 'replace_symbols()' method for fixed_vocab feature
- Add integration tests to verify IPATokenizer works with KannadaG2p

Signed-off-by: Jason Roche <jas.tech23@gmail.com>

Author: Jason Roche

.commit_msg.txt

@@ -0,0 +1,7 @@
+Add IPATokenizer integration support for KannadaG2p
+
+- Add 'symbols' property for IPATokenizer compatibility
+- Add 'replace_symbols()' method for fixed_vocab feature
+- Add integration tests to verify IPATokenizer works with KannadaG2p
+
+Signed-off-by: Jason Roche <jas.tech23@gmail.com>

nemo/collections/tts/g2p/models/kn_in_ipa.py

@@ -118,6 +118,82 @@ def __init__(
             mapping_file=mapping_file,
         )
 
+        # Build symbols set for IPATokenizer compatibility
+        self._build_symbols()
+
+    def _build_symbols(self):
+        """Build the symbols set containing all valid graphemes and phonemes.
+        
+        This is required for compatibility with IPATokenizer which uses g2p.symbols.
+        """
+        from nemo.collections.common.tokenizers.text_to_speech.ipa_lexicon import (
+            IPA_CHARACTER_SETS,
+        )
+        
+        symbols = set()
+        
+        # Add Kannada graphemes
+        symbols.update(self.kannada_grapheme_set)
+        
+        # Add IPA phonemes from the character set
+        symbols.update(IPA_CHARACTER_SETS.get("kn-IN", ()))
+        
+        # Add phonemes from dictionary
+        symbols.update(self.phoneme_list)
+        
+        # Add ASCII letters for code-mixed text
+        symbols.update(self.ascii_letter_list)
+        
+        # Add punctuation
+        symbols.update(self.punctuation)
+        
+        self.symbols = symbols
+
+    def replace_symbols(self, symbols, keep_alternate=True):
+        """Replace the vocabulary of symbols and filter entries with illegal symbols.
+        
+        This method is required for compatibility with IPATokenizer's fixed_vocab feature.
+        
+        Args:
+            symbols: User-provided set of valid symbols (graphemes and phonemes).
+            keep_alternate: Whether to keep alternate pronunciations if not all contain
+                illegal phonemes. Defaults to True.
+        """
+        new_symbols = set(symbols)
+        
+        # Filter phoneme dictionary entries
+        deletion_words = []
+        replacement_dict = {}
+        
+        for word, prons in self.phoneme_dict.items():
+            # Check for illegal graphemes in the word
+            word_graphemes = set(word)
+            if word_graphemes - new_symbols:
+                deletion_words.append(word)
+                continue
+            
+            # Check for illegal phonemes in pronunciations
+            legal_prons = []
+            for pron in prons:
+                pron_symbols = set(pron) if isinstance(pron, (list, tuple)) else {pron}
+                if not (pron_symbols - new_symbols):
+                    legal_prons.append(pron)
+            
+            if len(legal_prons) != len(prons):
+                if not keep_alternate or not legal_prons:
+                    deletion_words.append(word)
+                else:
+                    replacement_dict[word] = legal_prons
+        
+        # Update dictionary
+        for word in deletion_words:
+            del self.phoneme_dict[word]
+        
+        if keep_alternate:
+            self.phoneme_dict.update(replacement_dict)
+        
+        self.symbols = new_symbols
+
     def _init_kannada_rules(self):
         """Initialize Kannada grapheme-to-phoneme mapping rules based on Kannada phonology."""
 

scripts/tts_dataset_files/kn_IN/kn_IN_nv260318.dict.backup

@@ -0,0 +1,166 @@
+;;; # Kannada Pronunciation Dictionary  --  Major Version: 1.0
+;;; #
+;;; # ========================================================================
+;;; #
+;;; # Copyright (c) 2026, NVIDIA CORPORATION.  All rights reserved.
+;;; #
+;;; # Licensed under the Apache License, Version 2.0 (the "License");
+;;; # you may not use this file except in compliance with the License.
+;;; # You may obtain a copy of the License at
+;;; #
+;;; #     http://www.apache.org/licenses/LICENSE-2.0
+;;; #
+;;; # Unless required by applicable law or agreed to in writing, software
+;;; # distributed under the License is distributed on an "AS IS" BASIS,
+;;; # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+;;; # See the License for the specific language governing permissions and
+;;; # limitations under the License.
+;;; #
+;;; # ========================================================================
+;;; #
+;;; ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
+ನಮಸ್ಕಾರ	namaskaːɾa
+ನಮಸ್ತೆ	namaste
+ಧನ್ಯವಾದ	dʰanjaʋaːda
+ಧನ್ಯವಾದಗಳು	dʰanjaʋaːdagaɭu
+ಹೇಗಿದ್ದೀರಿ	heːgiddiːɾi
+ಹೇಗಿದ್ದೀಯಾ	heːgiddiːjaː
+ಶುಭೋದಯ	ʃubʰoːdaja
+ಶುಭ	ʃubʰa
+ಶುಭರಾತ್ರಿ	ʃubʰaɾaːtɾi
+ಕನ್ನಡ	kannaɖa
+ಕರ್ನಾಟಕ	kaɾnaːʈaka
+ಬೆಂಗಳೂರು	beŋgaɭuːɾu
+ಮೈಸೂರು	maisuːɾu
+ಭಾರತ	bʰaːɾata
+ಭಾಷೆ	bʰaːʂe
+ನಾನು	naːnu
+ನೀನು	niːnu
+ಅವನು	aʋanu
+ಅವಳು	aʋaɭu
+ಅದು	adu
+ನಾವು	naːʋu
+ನೀವು	niːʋu
+ಅವರು	aʋaɾu
+ಬರು	baɾu
+ಹೋಗು	hoːgu
+ತಿನ್ನು	tinnu
+ಕುಡಿ	kuɖi
+ಮಾಡು	maːɖu
+ನೋಡು	noːɖu
+ಹೇಳು	heːɭu
+ಕೇಳು	keːɭu
+ಕೊಡು	koɖu
+ತೆಗೆ	tege
+ಬರೆ	baɾe
+ಓದು	oːdu
+ಮನೆ	mane
+ಮನುಷ್ಯ	manuʂja
+ಹುಡುಗ	huɖuga
+ಹುಡುಗಿ	huɖugi
+ತಂದೆ	tande
+ತಾಯಿ	taːji
+ಅಣ್ಣ	aɳɳa
+ಅಕ್ಕ	akka
+ತಮ್ಮ	tamma
+ತಂಗಿ	taŋgi
+ಮಗ	maga
+ಮಗಳು	magaɭu
+ಗಂಡ	gaɳɖa
+ಹೆಂಡತಿ	heɳɖati
+ಒಂದು	ondu
+ಎರಡು	eɾaɖu
+ಮೂರು	muːɾu
+ನಾಲ್ಕು	naːlku
+ಐದು	aidu
+ಆರು	aːɾu
+ಏಳು	eːɭu
+ಎಂಟು	eɳʈu
+ಒಂಬತ್ತು	ombattu
+ಹತ್ತು	hattu
+ನೂರು	nuːɾu
+ಸಾವಿರ	saːʋiɾa
+ದಿನ	dina
+ವಾರ	ʋaːɾa
+ತಿಂಗಳು	tiŋgaɭu
+ವರ್ಷ	ʋaɾʂa
+ಇಂದು	indu
+ನಾಳೆ	naːɭe
+ನಿನ್ನೆ	ninne
+ಬೆಳಿಗ್ಗೆ	beɭigge
+ಮಧ್ಯಾಹ್ನ	madʰjaːhna
+ಸಂಜೆ	saɲdʒe
+ರಾತ್ರಿ	ɾaːtɾi
+ಏನು	eːnu
+ಯಾರು	jaːɾu
+ಎಲ್ಲಿ	elli
+ಯಾವಾಗ	jaːʋaːga
+ಏಕೆ	eːke
+ಹೇಗೆ	heːge
+ಎಷ್ಟು	eʂʈu
+ಯಾವುದು	jaːʋudu
+ದೊಡ್ಡ	doɖɖa
+ಚಿಕ್ಕ	tʃikka
+ಒಳ್ಳೆಯ	oɭɭeja
+ಕೆಟ್ಟ	keʈʈa
+ಹೊಸ	hosa
+ಹಳೆಯ	haɭeja
+ಸುಂದರ	sundaɾa
+ಬಿಸಿ	bisi
+ತಂಪು	tampu
+ತಲೆ	tale
+ಕಣ್ಣು	kaɳɳu
+ಮೂಗು	muːgu
+ಕಿವಿ	kiʋi
+ಬಾಯಿ	baːji
+ಕೈ	kai
+ಕಾಲು	kaːlu
+ಮುಖ	mukʰa
+ಹೊಟ್ಟೆ	hoʈʈe
+ಊಟ	uːʈa
+ಅನ್ನ	anna
+ರೊಟ್ಟಿ	ɾoʈʈi
+ಸಾರು	saːɾu
+ಪಲ್ಯ	palja
+ಹಾಲು	haːlu
+ನೀರು	niːɾu
+ಹಣ್ಣು	haɳɳu
+ತರಕಾರಿ	taɾakaːɾi
+ಕೆಂಪು	kempu
+ಹಸಿರು	hasiɾu
+ನೀಲಿ	niːli
+ಹಳದಿ	haɭadi
+ಬಿಳಿ	biɭi
+ಕಪ್ಪು	kappu
+ಮೇಲೆ	meːle
+ಕೆಳಗೆ	keɭage
+ಒಳಗೆ	oɭage
+ಹೊರಗೆ	hoɾage
+ಮುಂದೆ	munde
+ಹಿಂದೆ	hinde
+ಬಲಗಡೆ	balagaɖe
+ಎಡಗಡೆ	eɖagaɖe
+ಸರಿ	saɾi
+ಇಲ್ಲ	illa
+ಹೌದು	haudu
+ಬೇಡ	beːɖa
+ಬೇಕು	beːku
+ಇದೆ	ide
+ಇಲ್ಲಿ	illi
+ಅಲ್ಲಿ	alli
+ಈಗ	iːga
+ಆಮೇಲೆ	aːmeːle
+ರಾಮ	ɾaːma
+ಕೃಷ್ಣ	kɾɯʂɳa
+ಲಕ್ಷ್ಮಿ	lakʂmi
+ಸರಸ್ವತಿ	saɾasʋati
+ಗಣೇಶ	gaɳeːʃa
+ಶಾಲೆ	ʃaːle
+ಕಾಲೇಜು	kaːleːdʒu
+ವಿಶ್ವವಿದ್ಯಾಲಯ	ʋiʃʋaʋidjaːlaja
+ಪುಸ್ತಕ	pustaka
+ಪೆನ್ನು	pennu
+ಕಾಗದ	kaːgada
+ಕಂಪ್ಯೂಟರ್	kampjuːʈaɾ
+ಫೋನ್	pʰoːn
+ಇಂಟರ್ನೆಟ್	iɳʈaɾneʈ