தமிழ் செயற்கை நுண்ணறிவு: உங்கள் குரலும் பங்களிப்பும்

தமிழ் செயற்கை நுண்ணறிவு என்பது தமிழைச் சரியாகப் புரிந்துகொண்டு, தமிழில் இயல்பாகப் பேசவும் எழுதவும் கூடிய கணினி அமைப்புகளைக் குறிக்கிறது. இன்றைய பெரும்பாலான செயற்கை நுண்ணறிவு மாதிரிகள் ஆங்கிலத்தை மையமாகக் கொண்டு உருவாக்கப்பட்டவை, அதனால் தமிழில் அடிக்கடி தவறு செய்கின்றன. தமிழுக்கென்றே, தமிழ்த் தரவிலிருந்து உருவாக்கப்படும் ஒரு மாதிரி தேவை. அதை உருவாக்க உங்கள் குரலும் எழுத்தும் உதவ முடியும்.

#தமிழ் செயற்கை நுண்ணறிவு ஏன் இன்னும் பின்தங்கியுள்ளது?

தமிழ் உலகின் மிகப் பழமையான, இன்றும் உயிர்ப்புடன் பேசப்படும் மொழிகளில் ஒன்று. கோடிக்கணக்கானோர் தமிழ் பேசுகின்றனர். ஆனாலும் செயற்கை நுண்ணறிவு உலகில் தமிழ் "குறைந்த வளமுள்ள மொழி" (low-resource language) என்றே கருதப்படுகிறது. இதன் பொருள் தமிழுக்கு இலக்கியம் இல்லை என்பதல்ல. கணினிகள் கற்றுக்கொள்ளத் தேவையான சுத்தமான, முறையாகக் குறிக்கப்பட்ட, சட்டப்படி பயன்படுத்தக்கூடிய எண்ணிம (digital) தரவு குறைவு என்பதே.

இதற்குச் சில முக்கியக் காரணங்கள் உள்ளன:

• ஒட்டுநிலை மொழி: தமிழில் ஒரே சொல்லில் பல விகுதிகள் சேர்கின்றன. "வந்துகொண்டிருந்தார்களாம்" போன்ற ஒரு சொல் ஆங்கிலத்தில் ஒரு முழு வாக்கியத்துக்குச் சமம். ஆங்கிலத்துக்காக வடிவமைக்கப்பட்ட அமைப்புகள் இதைக் கையாளச் சிரமப்படுகின்றன.
• எழுத்துமுறை: பல தமிழ் எழுத்துகள் (குறிப்பாக உயிர்மெய் எழுத்துகள்) கணினியில் பல குறியீடுகளின் (Unicode code points) சேர்க்கையாகச் சேமிக்கப்படுகின்றன. இதனால் பொதுவான டோக்கனாக்க முறைகள் தமிழ் உரையைத் தேவையில்லாமல் சிறு துண்டுகளாக உடைக்கின்றன. இதைப் பற்றி எங்கள் Tamil tokenizer கட்டுரை விளக்குகிறது.
• இருவழக்கு நிலை: எழுதும் தமிழும் பேசும் தமிழும் பெரிதும் வேறுபடுகின்றன. இணையத்தில் உள்ள தரவு பெரும்பாலும் எழுத்துத் தமிழ், ஆனால் மக்கள் பேசுவது வேறு.
• வட்டார வேறுபாடு: யாழ்ப்பாணம், சென்னை, கொங்கு, மலேசியா எனப் பல வழக்குகள் உள்ளன. எங்கள் தமிழ் வட்டார வழக்குகள் கட்டுரை இவற்றை அறிமுகப்படுத்துகிறது.

இந்தச் சிக்கல்களை ஆங்கிலத்தில் விரிவாக அறிய why AI struggles with Tamil கட்டுரையைப் படிக்கலாம்.

#ஆங்கில மாதிரியை மொழிபெயர்த்தால் போதாதா?

பல நிறுவனங்கள் ஆங்கிலத்தில் பயிற்சி பெற்ற ஒரு பெரிய மாதிரியை எடுத்து, அதற்குச் சிறிது தமிழ்த் தரவைக் கொடுத்துத் தமிழ் பேசவைக்க முயல்கின்றன. இது ஓரளவுக்கு வேலை செய்யும். ஆனால் அத்தகைய மாதிரி அடிப்படையில் ஆங்கிலத்திலேயே "சிந்திக்கிறது" எனலாம். அதனால் அதன் தமிழ் பல நேரங்களில் மொழிபெயர்ப்புத் தமிழ் போலச் செயற்கையாக ஒலிக்கலாம். பழமொழிகள், உறவுமுறைச் சொற்கள், மரியாதை வடிவங்கள், பண்பாட்டுச் சூழல் போன்றவற்றை அது தவறவிடக்கூடும்.

அதனால்தான் Eelam Lab வேறு பாதையைத் தேர்ந்தெடுத்துள்ளது. கனடாவைத் தளமாகக் கொண்ட இந்தச் சுயாதீன ஆய்வகம், நிலா (Nila) என்ற தமிழ்ப் பெரும் மொழி மாதிரியைத் தொடக்கத்திலிருந்தே தமிழுக்காக உருவாக்கி வருகிறது. இது ஆங்கில மாதிரியின் மாற்றியமைக்கப்பட்ட பதிப்பு அல்ல. தமிழ்ச் சமூகத்தால், தமிழ்ச் சமூகத்துக்காக உருவாக்கப்படுவது. நிலா தற்போது உருவாக்க நிலையில் உள்ளது. இதன் பின்னணியை ஆங்கிலத்தில் அறிய Tamil large language model கட்டுரையைப் பாருங்கள்.

#தமிழ் செயற்கை நுண்ணறிவு யாருக்குப் பயன்படும்?

தமிழைச் சரியாகப் புரிந்துகொள்ளும் ஒரு மாதிரி பலருக்கும் பல வழிகளில் உதவக்கூடும்:

• மூத்தோர்: ஆங்கிலம் தெரியாத பெரியவர்கள் தங்கள் சொந்தத் தமிழிலேயே கைபேசியிடம் கேள்வி கேட்கவும், தகவல் பெறவும் முடியலாம்.
• புலம்பெயர் இளைஞர்கள்: தமிழைப் புரிந்தும் பேசத் தயங்கும் இளைய தலைமுறைக்குப் பொறுமையான பயிற்சித் துணையாக அமையலாம்.
• ஆசிரியர்களும் மாணவர்களும்: பாடக் குறிப்புகள், விளக்கங்கள், பயிற்சி வினாக்களைத் தமிழிலேயே உருவாக்க உதவலாம்.
• எழுத்தாளர்களும் ஊடகவியலாளர்களும்: பேட்டிகளை எழுத்தாக்குவது, நீண்ட ஆவணங்களைச் சுருக்குவது போன்ற வேலைகளை எளிதாக்கலாம்.
• ஆய்வாளர்கள்: பழைய நூல்களையும் ஆவணங்களையும் தேடவும், ஒப்பிடவும் உதவலாம்.

ஆனால் இவை எல்லாம் சாத்தியமாக வேண்டுமென்றால், மாதிரி கற்கும் தரவு உண்மையான தமிழர்களின் உண்மையான பேச்சையும் எழுத்தையும் பிரதிபலிக்க வேண்டும். ஒரு சில பகுதிகளின் தமிழை மட்டும் கற்ற மாதிரி மற்றவர்களைப் புறக்கணித்துவிடும். அதனால்தான் ஒவ்வொரு ஊரிலிருந்தும், ஒவ்வொரு தலைமுறையிலிருந்தும் குரல்கள் தேவைப்படுகின்றன.

#நிலாவுக்கு என்ன வகையான தரவு தேவை?

ஒரு மொழி மாதிரி தான் படிப்பதையும் கேட்பதையும் வைத்தே கற்றுக்கொள்கிறது. தமிழை முழுமையாகப் புரிந்துகொள்ள, தமிழின் எல்லா முகங்களையும் அது சந்திக்க வேண்டும். நாங்கள் தன்னார்வலர்களிடமிருந்து சேகரிக்கும் தரவு வகைகள்:

• குரல் உரையாடல்கள்: அன்றாடம் பேசும் இயல்பான தமிழ்.
• கதைகளும் வாய்மொழி வரலாறும்: பெரியவர்களின் வாழ்க்கை அனுபவங்கள், ஊர்க் கதைகள்.
• எழுத்து உரை: கட்டுரைகள், கடிதங்கள், கவிதைகள் போன்றவை.
• வட்டார வழக்கு மாதிரிகள்: யாழ்ப்பாணம், மட்டக்களப்பு, சென்னை, மதுரை, கொங்கு, திருநெல்வேலி, மலேசியா, சிங்கப்பூர், புலம்பெயர் நாடுகள்.
• பண்பாடு: சமையல் குறிப்புகள், திருவிழாக்கள், பழமொழிகள், கோலம், நாட்டார் பாடல்கள்.
• பொதுக்கள ஆவணங்கள்: பதிப்புரிமைக் காலம் முடிந்த பழைய நூல்களும் ஆவணங்களும்.

இவற்றில் குரல் தரவு மிகவும் அரிதானது. எழுத்துத் தமிழ் நூல்களிலும் செய்தித்தாள்களிலும் ஓரளவு கிடைக்கிறது. ஆனால் மக்கள் வீட்டில், கடைத்தெருவில், தொலைபேசியில் பேசும் இயல்பான தமிழ் பெரும்பாலும் எங்கும் பதிவாகவில்லை. குறிப்பாக மூத்தோரின் பேச்சு, கிராமப்புற வழக்குகள், இலங்கை மற்றும் புலம்பெயர் தமிழர்களின் குரல்கள் தரவுத் தொகுப்புகளில் மிகக் குறைவாகவே உள்ளன. இந்த இடைவெளியை நிரப்ப உங்களைப் போன்ற சாதாரணத் தமிழ் பேசுவோரின் பங்களிப்பே மிகச் சிறந்த வழி. இதைப் பற்றி ஆங்கிலத்தில் மேலும் அறிய Tamil speech dataset கட்டுரையைப் பாருங்கள்.

#உங்கள் குரலை எப்படிப் பங்களிப்பது?

பங்களிப்பது எளிது. எந்தச் செயலியையும் நிறுவத் தேவையில்லை. எங்கள் பங்களிப்புக் கூடத்துக்குச் செல்லுங்கள். அங்கே மூன்று வழிகள் உள்ளன.

#1. ஒரு வாக்கியத்தை வாசியுங்கள்

திரையில் ஒரு தமிழ் வாக்கியம் தோன்றும். அதை உங்கள் இயல்பான குரலில் உரக்க வாசித்துப் பதிவு செய்யுங்கள். தவறு நேர்ந்தால் மீண்டும் பதிவு செய்யலாம்.

#2. சுதந்திரமாகப் பேசுங்கள்

எந்தத் தலைப்பிலும் உங்கள் சொந்த நடையில் பேசுங்கள். ஒரு பதிவு அதிகபட்சம் 5 நிமிடங்கள். என்ன பேசுவது என்று தெரியவில்லையா? உங்கள் காலைப் பொழுது, அம்மாவின் சமையல், பொங்கல் கொண்டாட்டம், சிறுவயது நினைவு, அடிக்கடி கேட்ட ஒரு பழமொழி என எதைப் பற்றியும் பேசலாம்.

#3. எழுத்தைப் பகிருங்கள்

PDF, Word, உரைக் கோப்பு அல்லது நூல் பக்கங்களின் புகைப்படங்களைப் பதிவேற்றலாம் (25 MB வரை). அல்லது நேரடியாகத் தட்டச்சு செய்யலாம் அல்லது ஒட்டலாம்.

நல்ல தரமான பதிவுக்கு, அமைதியான அறையைத் தேர்ந்தெடுத்து, கைபேசியை வாயிலிருந்து சுமார் 30 முதல் 50 செ.மீ. தொலைவில் மேசையில் வையுங்கள். மேலும் குறிப்புகளுக்கு எங்கள் how to record a good voice sample கட்டுரையைப் படியுங்கள்.

#உங்கள் தரவு எப்படிக் கையாளப்படுகிறது?

நம்பிக்கை இல்லாமல் சமூகத் தரவுத் திட்டம் வெற்றிபெற முடியாது. அதனால் எங்கள் விதிமுறைகளை வெளிப்படையாகச் சொல்கிறோம்:

• வெளிப்படையான ஒப்புதல்: ஒவ்வொரு பங்களிப்புக்கும் உங்கள் தெளிவான ஒப்புதல் தேவை.
• மனிதச் சரிபார்ப்பு: பயிற்சிக்குப் பயன்படுத்தும் முன் மனிதர்கள் பங்களிப்புகளைச் சரிபார்க்கிறார்கள்.
• உரிமம்: பங்களிப்புகளைப் பயன்படுத்த மூன்றாம் தரப்பினருக்கு உரிமம் வழங்கப்படலாம்.
• உரிமை: நீங்கள் சமர்ப்பிப்பது உங்களுக்குச் சொந்தமானதாக இருக்க வேண்டும், அல்லது பொதுக்களத்தில் (public domain) உள்ளதாக இருக்க வேண்டும்.
• தனியுரிமை: கனடாவின் PIPEDA கொள்கைகளை நாங்கள் பின்பற்றுகிறோம்.
• நீக்கம்: privacy@eelamlab.com என்ற முகவரிக்கு எழுதி நீக்கக் கோரலாம். உங்கள் தொடர்பு விவரங்கள் 30 நாட்களுக்குள் நீக்கப்படும். ஏற்கெனவே பயிற்சி பெற்ற மாதிரியிலிருந்து தரவை அகற்ற முடியாது, ஆனால் எதிர்காலப் பயிற்சிகளில் அது சேர்க்கப்படாது.

முழு விவரங்களுக்கு எங்கள் தனியுரிமைப் பக்கத்தைப் பாருங்கள்.

#அடிக்கடி கேட்கப்படும் கேள்விகள்

#எனக்குத் தமிழ் சரளமாகப் பேசத் தெரியாது. நான் பங்களிக்கலாமா?

நிச்சயமாக. புலம்பெயர் நாடுகளில் வளர்ந்தவர்கள், தமிழ் கற்பவர்கள் ஆகியோரின் குரல்களும் மிக முக்கியம். அவர்களின் பேச்சும் தரவில் இருந்தால்தான் மாதிரி அவர்களையும் புரிந்துகொள்ளும்.

#தமிழ் எழுத்து வாசிக்கத் தெரியாவிட்டால் என்ன செய்வது?

"சுதந்திரமாகப் பேசுங்கள்" என்ற வழியைத் தேர்ந்தெடுங்கள். அதற்கு வாசிக்கவோ தட்டச்சு செய்யவோ தேவையில்லை. உங்கள் பேச்சே போதும்.

#பங்களிக்கப் பணம் செலுத்த வேண்டுமா?

இல்லை. பங்களிப்பு முற்றிலும் தன்னார்வமானது; பங்களிப்பவர்களிடம் எந்தக் கட்டணமும் வசூலிக்கப்படுவதில்லை, பங்களிப்புக்கு ஊதியமும் வழங்கப்படுவதில்லை. உலாவியில் நேரடியாகப் பதிவு செய்யலாம் அல்லது பதிவேற்றலாம். இணைய இணைப்பும் ஒரு கைபேசி அல்லது கணினியும் போதும்.

#நிலா எப்போது பயன்பாட்டுக்கு வரும்?

நிலா தற்போது உருவாக்க நிலையில் உள்ளது. உறுதியான தேதியை இப்போது அறிவிக்க இயலாது. ஒவ்வொரு பங்களிப்பும் அதன் வளர்ச்சிக்கு உதவுகிறது.

#இன்றே உங்கள் குரலைச் சேர்த்திடுங்கள்

தமிழின் எதிர்காலம் தொழில்நுட்பத்திலும் தொடர வேண்டுமென்றால், தமிழர்களே அதற்கான தரவை உருவாக்க வேண்டும். பெரிய நிறுவனங்கள் நமக்காக இதைச் செய்யும் என்று காத்திருக்கத் தேவையில்லை. உங்கள் குடும்பத்தினரையும் நண்பர்களையும் இதில் இணைத்துக்கொள்ளுங்கள். சில நிமிடங்கள் போதும். பங்களிப்புக் கூடத்துக்குச் சென்று, ஒரு வாக்கியத்தை வாசியுங்கள் அல்லது உங்கள் ஊர்த் தமிழில் சிறிது நேரம் பேசுங்கள். உங்கள் குரல் நிலாவின் ஒரு பகுதியாகட்டும்.