Nov 7, 2017

புதுசா படிக்கலாம்

‘கிட்டத்தட்ட பத்து வருஷம் குப்பை கொட்டியாகிவிட்டது. இதே குப்பையைத்தான் இத்தனை வருஷமா அள்ளி அள்ளிக் கொட்டிட்டு இருக்கேன். இனி என்னதான் நேரம் ஒதுக்கி புதுப் புது சமாச்சாரங்களைக் கற்றுக் கொண்டு ‘நான் எவ்வளவு பெரிய ஆளு தெர்மா?’ என்று கேட்டாலும் கூட நூலின் நுனியை எப்படி எட்டிப் பிடிக்கிறதுன்னே தெரியல பாஸ். இப்போ வேலையில் இருக்கிற கம்பெனியிலேயே புது டெக்னாலஜியில் வேலை கொடுத்தால் உண்டு. இல்லைன்னா இவ்வளவு வருஷ அனுபவம், சம்பளத்தையெல்லாம் ஓரங்கட்டிட்டு புது நுட்பத்தில் கீழ்மட்ட ஆளாக பணி புரிய சித்தமாக இருக்கணும் போல. இது சரிப்பட்டு வருமா?’ என்ற கேள்விதான் பலருக்கும் ஓடிக் கொண்டிருக்கிறது.

                                                                                  ***
கீதா சுரேஷ் அமெரிக்காவில் வசிக்கிறார். ஹடூப் தொழில்நுட்பத்தில் பயிற்சியாளராகவும் இருக்கிறார். சொந்தமாக ஆன்லைனில் பயிற்சியும் கொடுக்கிறார். நிசப்தம் தளத்தில் அவர் எழுதிய முந்தைய கட்டுரை பரவலான கவனம் பெற்றது. நிறையக் கேள்விகள் வந்திருந்தன. அதன் தொடர்ச்சியாக அவர் எழுதியிருக்கும் இந்தக் கட்டுரை இன்னொரு திறப்பு. அவரிடம் கேட்க என்னிடம் சில கேள்விகள் இருக்கின்றன. அதை இறுதியில் கேட்கிறேன்.
                                                                                ***

பிக்டேட்டா என்பது பெருங்கடல். ஃபேஸ்புக், ஜிமெயில் என்பதெல்லாம் தகவல்கள் கொட்டிக் கிடக்கும் கடல். ஒரு சிறு நிறுவனத்தில் கூட பல டெரா பைட் தகவல்கள் இருக்கக் கூடும். அந்தக் கடலிலிருந்து நமக்குத் தேவையான மீன் பிடிக்க வீசப்படும் தூண்டில் ஹடூப். அதுவொரு Tool. நாம் பணிபுரியும் நிறுவனம், தற்போதைய அனுபவம் என்கிற கவலையில்லாமல் ஹடூப் போன்ற புதிய தொழில்நுட்பங்களைக் கற்பது அனைவருக்குமே நிச்சயம் பயன் அளிக்கும். குறிப்பாக மென்பொருள் நிறுவனங்களில் வேலை செய்பவர்கள் கற்றுக் கொள்வது எப்படியும் வீணாகப் போய்விடாது.

நீங்கள் ஒரு ஆர்க்கிடெக்ட், மேலாளர் அல்லது விற்பனை மேலாளர் போன்ற பணிகளில் இருந்தால் வாடிக்கையாளர்களை சமாளிப்பது எப்படி, சக பணியாளர்களை அரவணைத்து செல்வது எப்படி, தொழில் சம்பந்தப்பட்ட தர கட்டுப்பாட்டை கையாள்வது எப்படி, புதிய வாடிக்கையாளர்களை இணைப்பது எப்படி என்பது மாதிரியான விஷயங்களைக் கற்றுக் கொள்வது போலத்தான் ஹடூப் மாதிரியான பொதுவான புதிய நுட்பம் ஒன்றைக் கற்றுக் கொள்வதும். லட்சக்கணக்கில் செலவு செய்து எம்.பி.ஏ படிக்கிறவர்கள் நம்மைச் சுற்றி எத்தனை பேர்கள் இருக்கிறார்கள்? அதே போலத்தான் இதுவும் என்று வைத்துக் கொள்ளலாம்.

புதிய தொழில்நுட்பம் ஒன்றைக் கற்று வைத்துக் கொள்வது நமக்கு கூடுதலாக ஒரு ப்ளஸ். ஏற்கனவே இருக்கும் திறன்களோடு சேர்த்து புதிய தொழில்நுட்ப திறனையும் சாதகமாக பயன்படுத்தி கொள்ளலாம். கவனித்துப் பார்த்தால் ஹடூப் ஆர்க்கிடெக்ட், ஹடூப் மேலாளர் போன்ற பணி இடங்களுக்கு வேலைச் சந்தையில் போட்டி மிகவும் குறைவாக உள்ளது. ஏன் என்றால் ஹடூப் தொழில்நுட்பம் பரவலாக ஆரம்பித்து பத்து வருடங்களுக்குள்தான் ஆகிறது. கூகிள், அமேசான் போன்ற மிகச் சில பெரு நிறுவனங்களில் மட்டுமே இத்தகைய பணிகளில் அனுபவம் வாய்ந்தவர்கள் உள்ளனர்.

ஹடூப் போன்ற புதிய தொழில்நுட்பத்தைக் கற்பது என்பது தனியொருவருக்கு மட்டுமில்லாமல் அவர் சார்ந்திருக்கும் நிறுவனத்திற்கும் கூட ஒரு புதிய வாய்ப்பை உருவாக்குகுவதற்கான சாத்தியங்கள் இருக்கின்றன. தொழில்நுட்ப நிறுவனங்களின் பெருந்தலைகள் பேசுவதைக் கவனித்தால் பெரும்பாலானவர்கள் ‘புதிய தொழில்நுட்பம் தான் தற்போது தங்கள் நிறுவனத்தின் மிக பெரிய சவால் அதே நேரம் மிக பெரிய வாய்ப்பு என்றும் அறிவிக்கிறார்கள்’.

முதலில் ஹடூப், பிக்டேட்டா பற்றி என்னவென்று தெரிந்து கொள்ளலாம். பிறகு அலுவலகத்தில் ‘20% நேரத்தை ஹடூப் தொழில்நுட்பம் சம்பந்தமான வேலையைச் செய்து நிறுவனத்துக்குத் தர விரும்புகிறேன்’ என்று சொல்லிப் பார்க்கலாம். பெரும்பாலான நிறுவனங்களில் இதை ஏற்றுக் கொள்வார்கள். ஒருவேளை, அவர்கள் மறுத்தாலும் கூட சிறிது சிறிதாக முயற்சித்து பலன்களைக் காட்டினால் அவர்கள் நம் பக்கம் திரும்பக் கூடும்.

மேலும் சிலர் ஹடூப் போன்ற புதிய தொழில்நுட்பம் கற்பது எப்படி என்று கேட்டிருந்தார்கள்.

எப்படிக் கற்பது?

மற்றவர்களிடம் உதவி கேட்பது சில சமயம் எளிய விஷயமாக இருக்கும், சில சமயம் மிகவும் கடினமான விஷயமாக இருக்கும். மற்றவர்களிடம் உதவி கேட்பது தவறில்லை. ஏற்கனவே விஷயம் தெரிந்த நண்பரிடம் பேசுவது பல மணி நேரங்களை நமக்கு மிச்சப் படுத்தக் கூடும். ஆனால் கற்றுத் தருகிறவர் தயாராக இருக்க வேண்டும். 

ஹடூப் போன்ற புதிய தொழில்நுட்பம் கற்பது குறித்து யோசிக்கும் போது நம் சூழ்நிலையை பொறுத்து பின் வரும் ஒரு வழியை தேர்ந்து எடுக்கலாம்.

1. ஹடூப் குறித்த ஒரு புத்தகத்தை வாங்கலாம். டாம் வைட் எழுதிய Hadoop The Definitive Guide ஒரு நல்ல புத்தகம். 

2. நம் நிறுவனத்தில் ஏதேனும் பயிற்சி வகுப்புகள் நடைபெற்றால் தயக்கமில்லாமல் சேர்ந்து கொள்ளலாம். பயிற்சியாளரின் அனுபவம் குறையவானதாக இருக்க கூடும், ஆனாலும் இது ஒரு நல்ல தொடக்கமாக இருக்கும். 

3. சிறிது பணம் செலவு செய்து ஒரு ஹடூப் குறித்த ஒரு பயிற்சி வகுப்பில் (ட்ரைனிங்) சேரலாம். இதற்கு புத்தகத்தை விட சிறிது அதிகம் பணம் செலவு செய்ய வேண்டி இருக்கும். பயிற்சி கொடுப்பவரின் தனிப்பட்ட கவனமும் உதவியும் பெரிய உதவியாக இருக்க கூடும். சிலருக்கு புத்தகங்கள் மூலம் படிப்பது சிரமமாக இருக்கலாம், அவர்களுக்கு பயிற்சி வகுப்பு நல்ல பலன் தர கூடும்.

4. நண்பர்கள் எவரேனும் புதிய தொழில்நுட்பத்தில் நுழைந்தவராக இருந்தால், அவரிடமே உதவி மற்றும் ஆலோசனைகளைக் கேட்கலாம். அவருக்கு இருக்கும் நேரத்தை பொறுத்து அவர் உங்களுக்கு உதவ கூடும். 
                                                                      ***
கீதா சுரேஷிடம் கேட்க விரும்பும் சில கேள்விகள் -

1) ஹடூப் பிக்டேட்டா என்பது குறித்து எளிய தமிழில் விளக்குங்கள். பிக்டேட்டா என்பது பெருந்தகவல். கொட்டிக் கிடக்கும் தகவல் கடலிலிருந்து சரியான தகவல்களை எடுப்பதற்கு உதவும் நுட்பம்தான் ஹடூப்பா? ஹடூப் போல வேறு என்ன தொழில்நுட்பங்கள் இருக்கின்றன?

2) ஹடூப்பை வைத்துக் கொண்டு சிறு நிறுவனங்கள் என்ன மாதிரியான வேலைகளைச் செய்ய முடியும்? 

3) மென்பொருள் இலவசமாகக் கிடைக்கிறதா? காசு கொடுத்து வாங்க வேண்டுமா? கணினிகளில் நாமாகவே நிறுவ முடியுமா?

geethashdp@gmail.com                                                                 

7 எதிர் சப்தங்கள்:

Ashokkumar Muthukrishnan said...

3) மென்பொருள் இலவசமாகக் கிடைக்கிறதா? காசு கொடுத்து வாங்க வேண்டுமா? கணினிகளில் நாமாகவே நிறுவ முடியுமா?
-- http://hadoop.apache.org/

2) ஹடூப்பை வைத்துக் கொண்டு சிறு நிறுவனங்கள் என்ன மாதிரியான வேலைகளைச் செய்ய முடியும்?
--https://wiki.apache.org/hadoop/PoweredBy
Example:
Adobe
1) We use Apache Hadoop and Apache HBase in several areas from social services to structured data storage and processing for internal use.
2) We currently have about 30 nodes running HDFS, Hadoop and HBase in clusters ranging from 5 to 14 nodes on both production and development. We plan a deployment on an 80 nodes cluster.
3) We constantly write data to Apache HBase and run MapReduce jobs to process then store it back to Apache HBase or external systems.
4) Our production cluster has been running since Oct 2008.

Vaa Manikandan said...

அசோக்,

இந்த உரையாடல் தமிழில் நடைபெற வேண்டும் என்பதற்காகவே கேள்விகளைக் கேட்டிருக்கிறேன் :)

நன்றி.

தமிழ்வாணன் said...

சுத்தமாக புரியவில்லை. ஈடிஎல் டூல் மாதிரியா இது.

Sethuramasamy Pitchaikannu said...

ஹடூப் பிக்டேட்டா உரிமத்திற்கு பணம் தேவையில்லை. இது உரிமமற்றது.
ஆனால் இதை பயிற்சி செய்து பார்க்க நமக்கு 8ஜிபி முதல் 12ஜிபி வரையிலாஅன மெமரி நம்
லேப்டாப்பில் அல்லது கம்ப்யூட்டரில் வேண்டும். அதுவும் போக intel core3 அல்லது அதற்கு மேலான
Processor இருக்க வேண்டும். மற்றபடி கொஞ்சம் ஜாவா தெரிந்திருந்தால் மேப் ரெடியூஸ் எனும் எழுதுவது சுலபம். ஆனாலும் எல்லோருக்கும் தெரிந்திருக்க வேண்டும் என்பதில்லை. நாம் எழுதும் code internal-ஆக java-வில்தான் மாற்றப்படுகிறது.
மற்றபடி மார்க்கெட்டில் வேலை கிடைப்பது எல்லோருக்கும் எளிதாக கிடைப்பதில்லை. Hortonworks certificate முடித்தவர்கள் சுலபமாக வேலை வாங்கலாம். அதற்கு ₹30,000 செலவு செய்ய வேண்டும்.

Geetha Suresh said...

Thanks Mani for publishing this article. I am planning to write these as a series of articles and share it. You can send if you have have any other questions to geethashdp@gmail.com

Krishnasivam said...

உதாரணம் தருகிறேன்.. தவறெனில் திருத்திக்கொள்கிறேன்.... ஒரு நாளுக்கு நடக்கும் வங்கி இணைய பரிவர்த்தனைகளை எந்த மாநில, மண்டல, மாவட்ட, சிறு நகர், பெருங்கிராம்ம, ஊரக கிராமம் என்று பிரித்து, எந்த தொழிலுக்கு இந்த பரிவர்த்தனை, எத்தனை நாளுக்கு/மணிக்கு ஒருமுறை இந்த பரிவர்த்தனை நடக்கிறது, இதன் தொடர்பான அலசி(அனலட்டிக்ஸ்), அடுத்த 12 மாதங்களில் இதே பரிவர்தனையால் வங்கிக்கு மற்றும் அந்த பரிவர்த்தனையால் பலன் பெரும் நிறுவனத்தின் வருவாய் எவ்வளவு, இலாபம் எவ்வளவாக இருக்கும் என தகவல்களை பிரித்து அதை வங்கி, வர்த்தக நிறுவனங்களுக்கு தகவல் அலசி(டேட்டா அனலட்டிக்ஸ்) மிக துல்லியமாக தர முயற்சியே பிக்டேட்டாவை உபயோகப்படுத்தும் இடம், யுக்தி... இது என்னுடைய புரிதல்... நன்றி

Geetha Suresh said...

You can check the Hadoop/Hive training at the site learnhadoopfast.com, I cover all aspects of Hadoop training as well as how to get the job after the training.