What is Data Engineering? Big Data Explained Simply | Tamil

ஹய் thisவீடியோ is inலாங்கவேage தமிழ் andட் if you want sம் வீடியோ இங்கிலீஷ் அண்ட் தெலக you can find the link in the descப்tion box of thisவீடியோ என் பேரு கௌதம் நான் ஒரு லீடிங் ப்ராடக்ட் பேஸ் கம்பெனில டேட்டா இன்ஜினியரா வேலை செஞ்சிுட்டு இருக்கேன். இந்த டேட்டா இன்ஜினியரிங் 2. 0 மாஸ்டர் கோர்ஸ் சீரிஸ்ல நிறைய டேட்டா இன்ஜினியரிங் டெக்னாலஜிஸ நம்ம பார்க போறோம். இண்டஸ்ட்ரில யூஸ் ஆயிட்டு இருக்கற டெக்னாலஜிஸ நம்ம நிறையவே பார்க்க போறோம். இந்த கம்ப்ளீட் பிளேலிஸ்ட் லிங்க் டிஸ்கிரிப்ஷன் பாக்ஸ்ல இருக்கு மித்த வீடியோஸ நீங்க அங்க போய் பாத்துக்கலாம். என்னோட லிங்கடின் அண்ட் இடரா ோட லிங்க்ஸும் டிஸ்கிரிப்ஷன்ல இருக்கு அங்க நீங்க என்ன ஃபாலோ பண்ணிக்கலாம். இப்ப நம்ம வீடியோக்குள்ள போலாம். ஓகே சோ இப்ப நம்ம ஃபர்ஸ்ட் பிக் டேட்டா அப்படின்னா என்ன அப்படின்னு பாத்துரலாம். சோ பிக் டேட்டா சரி சோ இப்ப நம்ம என்ன பண்ணலாம் இந்த பிக் டேட்டால இருக்கற இந்த பிக்க வந்து நம்ம இப்போதைக்கு பார்க்க வேணாம் ஸ்ட்ரைக் அவுட் பண்ணிரலாம். சோ டேட்டா அப்படின்னா என்ன? சோ நம்ம எல்லாருக்கும் தெரியும். டேட்டா அப்படிங்கறது ஒரு கலெக்ஷன் ஆப் இன்பர்மேஷன் அப்படின்னு இல்லையா இப்ப கலெக்ஷன் ஆப் இன்பர்மேஷன் அப்படின்னா என்ன? இப்பஃர் எக்ஸாம்பிள் நான் என்னோட பேர் சொல்றேன் என்னோட நேம் கௌதம் நான் சோ அண்ட் சோ கம்பெனில ஒர்க் பண்றேன். என்னோட லிங்கடின் ஐடி இடாகரா ஐடி எல்லாமே கமெண்ட்ல இருக்கு டிஸ்கிரிப்ஷன் பாக்ஸ்ல இருக்கு நீங்க போய் பாருங்கன்னு என்னோட இன்பர்மேஷன் எல்லாத்தையும் உங்களுக்கு நான் குடுக்குறேன். சோ அஸ் ஹியூமனா ஒரு ஹியூமனா ஒரு டேட்டாவ நம்ம ரிசீவ் பண்ணோம்னா நம்ம பண்ற ஃபர்ஸ்ட் விஷயம் என்ன அப்படின்னு பாத்தீங்கன்னா ஸ்டோர். நீங்க அத உங்க பிரையின்ல கொண்டு போய் வச்சுக்குவீங்க இல்லையா ஸ்டோர் பண்ணிடுவீங்க ரைட் சோ நான் என்னோட பேர் சொன்னேன் அந்த பேரை நீங்க ஸ்டோர் பண்ணிக்கிறீங்க சரி என்ன ஒரு நாள் நீங்க ஒரு பப்ளிக் பிளேஸ்ல வந்து பா்கறீங்க ஓகே சோ பாக்குறப்போ நீங்க என்ன பண்றீங்க அப்படின்னா ஹேய் கௌதம் அப்படின்னு சொல்றீங்க எத அப்படி எப்படி அதை சொல்றீங்க அப்படின்னா ப்ராசஸ் பண்றீங்க எத உங்க பிரைன்ல ஆல்ரெடி என்ன பத்தி ஸ்டோர் பண்ணி இருக்கிற இன்பர்மேஷன நீங்க ப்ராசஸ் பண்ணி அதனோட அவுட்கம் தான் என்ன ஞாபகம் வச்சுக்கிட்டு ஹாய் கௌதம் அப்படின்னு நீங்க சொல்றீங்க அப்போ ஒரு டேட்டாவை நம்ம ஸ்டோர் பண்ணுவோம் ப்ராசஸ் பண்ணுவோம் சோ ப்ராசஸ்ல வந்து பாத்தீங்க அப்படின்னா நிறைய டைப்ஸ் இருக்கு. ஓகே சோ டேட்டா கிளீனிங் டேட்டா கவர்னன்ஸ் டேட்டா செக்யூரிட்டி டேட்டா பைப்லைன் சோ டேட்டா ட்ரான்ஸ்பர்மேஷன்ு நிறைய விஷயங்களை சொல்லுவோம். அதாவது ஒரு டேட்டாவை ஸ்டோர் பண்றத தவிர நீங்க அந்த டேட்டால வேற என்ன பண்ணாலும் அத வந்து ப்ராசஸங்னு சொல்லுவோம். இந்த நிறைய டைப்ஸ் இருக்குன்னு நான் சொன்னேன் இல்லையா இது எல்லாமே நம்ம அப்கமிங் வீடியோஸ்ல பார்க்கலாம் இப்ப வேண்டாம். ஓகே சோ இப்போ நம்ம ரெண்டாவது சினாரியோக்கு வரலாம். இப்போ அகைன் நம்மகிட்ட ஒரு டேட்டா இருக்கு நான் உங்களுக்கு ஒரு டேட்டா கொடுக்கறேன். சோ இப்ப என்னோட பேர் வந்து ரொம்ப பெரிய பேரா சொல்றேன். ரொம்ப பெரிய பேர் நான் சொல்றேன் உங்கள்ட்ட ஓகே சோ அந்த பேர உங்களால ஸ்டோர் பண்ணவே முடியல ஓகே சோ நீங்க ஸ்டோர் பண்ண ட்ரை பண்றீங்க ஆனா முடியல ஏன் அந்த பேரு ரொம்ப பெருசா இருக்கறதுனால உங்களால ஸ்டோர் பண்ண முடியல சோ நீங்க ஸ்டோர் பண்ணாதனால நீங்க ப்ராசஸும் பண்ண முடியாது. இப்ப நீங்க என்ன ஒரு ரெண்டு நாள் கழிச்சு ஒரு பப்ளிக் பிளேஸ்ல பாக்குறீங்க அண்ட் தென் இவன் தானடா அந்த டேட்டா இன்ஜினியரிங் கண்டென்ட் போடுவானே அவன் தானே இவன் அப்படின்னு சொல்லி நீங்க நினைக்கிறீங்க இவன் பேர் என்னமோ தானே எனக்கு தெரிய மாட்டேன்டே என்னமோ இவன் பேராச்சே ஆனா பெரிய பேராச்சே அப்படின்னு நீங்க யோசிக்கிறீங்க சோ உங்க ப்ராசஸங்கான டைம் ஜாஸ்தி ஆகுது. உங்களால ப்ராசஸும் பண்ண முடியல ரைட் சோ ஸ்டோரேஜ்லயும் ப்ராப்ளம் வருது ப்ராசஸங்லயும் ப்ராப்ளம் வருது பிஃபர் ப்ராப்ளம். இல்லையா சரி இன்னொரு கேஸ் இப்போ அதே மாதிரி நான் உங்களுக்கு ஒரு டேட்டா கொடுக்கிறேன். அந்த டேட்டாவை நான் வந்துஃபர்ஸ்ட் ஒரு பெரிய பேர் சொல்றேன் என்னோட பேர நீங்க கஷ்டப்பட்டு அத ஸ்டோர் பண்ணிடுறீங்க ஓகே சக்சஸ்புல்லி ஸ்டோர்ட் ஆனா உங்களால ஸ்டில் ப்ராசஸ் பண்ண முடியல ஏன்னா அது நிறைய டைம் எடுக்குது. அப்போ இந்த இடத்துல ப்ராப்ளம் வந்து ப்ராசஸிங்ல மட்டும்தான். ஓகே ப்ராசஸங்ல மட்டும்தான். இல்ல நமக்கு இன்னொரு கேஸ் வருதுன்னு வச்சுக்கலாம். சோ அதே மாதிரி ஒரு பெரிய பேர் தரேன். சோ ஸ்டோர் பண்ண ட்ரை பண்றீங்க. நிறைய பிரச்சனைக்கு அப்புறம் ஸ்டோர் பண்ணிடுறீங்க. ஆனா நிறைய பிரச்சனை ஆனா ப்ராசஸங் ரொம்ப ஈஸியா முடிஞ்சிருது. ஓகே சோ அப்போ இந்த இடத்துல உங்களுக்கு ஸ்டோரேஜ்ல ப்ராப்ளம் வருது. ப்ராசஸங்ல வரல. அப்போ உங்களுக்கு எதர் ப்ராசஸ்லயோ இல்ல ஸ்டோரேஜ்லயோ இல்ல ரெண்டுலயுமோ ஏதாவது வந்ததுன்னா ப்ராப்ளம் வந்ததுன்னா அத நம்ம ப்ராப்ளம் டேட்டான்னு சொல்லுவோம். சோ இது எல்லாமே அப்ப ப்ராப்ளம் டேட்டா பி டேட்டா பி டேட்டா ப்ராப்ளம் டேட்டா அண்ட் இந்த ப்ராப்ளம் டேட்டாவதான் நம்ம பிக் டேட்டா அப்படின்னு சொல்றோம். ஓகே சோ பிக் டேட்டாவோட டெபனிஷனே என்ன அப்படின்னா ப்ராப்ளம் டேட்டா எனி ப்ராப்ளம் வித் டேட்டா நம்ம பிக் டேட்டா சொல்யூஷன்ஸ்குள்ள போலாம் அப்படிங்கறதுதான். எனி டேட்டா ப்ராப்ளம்ஸ்க்கு நமக்கு பிக் டேட்டால சொல்யூஷன் இருக்கு அப்படிங்கறதுதான். சரி சோ இப்போ ப்ராப்ளம்ஸ் அப்படின்னு எடுத்துக்கிட்டா நான் உங்கள்ிட்ட ஆல்ரெடி சொன்னேன் நம்மகிட்ட நிறைய டைப்ஸ் ஆப் ப்ராப்ளம்ஸ் இருக்கு இல்லையா 100 பிளஸ் ப்ராப்ளம்ஸ் இருக்கு. ஒரு டேட்டான்னு எடுத்தா உருப்பட்ட ப்ராப்ளம்ஸ் இருக்கும் இல்லையா? சோ ஸ்டோரேஜ் ப்ராப்ளம் இருக்கும், ப்ராசஸிங் ப்ராப்ளம் இருக்கும். ஸ்பீட் ஒரு டேட்டா டிரான்ஸ்பர் ஆகுற ஸ்பீட்ல ப்ராப்ளம் இருக்கலாம். ஸ்கெட்ூலிங்ல ப்ராப்ளம் இருக்கலாம் டேட்டா ஸ்கெட்ூலிங்ல டேட்டா டெஸ்டிங்ல இந்த மாதிரி நிறைய ப்ராப்ளம்ஸ் இருக்கலாம். இப்ப நானே உங்களுக்கு ஒரு நாலஞ்சு ப்ராப்ளம் சொன்னேன் இல்லையா சோ இந்த ப்ராப்ளம் எல்லாத்தையும் மார்க்கெட்ல என்ன பண்ணாங்க அப்படின்னாவில ஸ்டார்ட் ஆகுற பேர் மாதிரி கன்வர்ட் பண்ணாங்க. ஓகே பார் எக்ஸாம்பிள் இப்ப நான் ஸ்டோரேஜ்ல ப்ராப்ளம் அப்படின்னு நான் சொல்றோம் அப்படின்னா மார்க்கெட்ல சொல்றாங்க ஸ்டோரேஜ்னுலாம் சொல்லாத வால்யூம் அப்படின்னு சொல்லு அப்படிங்கிறாங்க இப்ப எனக்கு ஸ்பீட்ல பிரச்சனை அப்படின்னு நான் சொன்னேன்னா நீ ஏன் ஸ்பீடுனுலாம் சொல்ற வெலாசிட்டின்னு சொல்லு அப்படிங்கிறாங்க என்கிட்ட ஸ்ட்ரக்சர் டேட்டா செமி ஸ்ட்ரக்சர் டேட்டா அன்ஸ்ட்ரக்சர் டேட்டா இருக்குங்க ஸ்ட்ரக்சர் டேட்டானா கமா செப்பரேட்டட்ஃபைல் செமி ஸ்ட்ரக்சர்னா லாக்ஃபைல் அன்ஸ்ட்ரக்சர்னா ஆடியோ வீடியோ இது மூணையும் ஒரு இடத்துல என்னால ப்ராசஸ் பண்ண முடியலைங்க அப்படின்னு நான் சொல்றேன். அப்போ டிஃபரண்ட் டைப்ஸ் ஆப் டேட்டா ப்ராசஸங் அப்படின்னு நான் பெருசா

ஏதோ சொல்றேன். அதுக்கு மார்க்கெட் என்ன சொல்லுது அப்படி எல்லாம் சொல்லாதீங்க வெரைட்டி ப்ராப்ளம்னு சொல்லுங்க அது சொல்லி பழகுங்க அப்படிங்கிறாங்க. சோ இது ஒரு ட்ரெண்டாவே கிரியேட் ஆச்சு. நீங்க நிறைய இடத்துல கேள்விப்பட்டிருப்பீங்கதஸ் இன் பிக் டேட்டான்னுல்லாம் சொல்லுவாங்க. ஓகேதீவிஸ் இன் பிக் டேட்டா ஆக்சுவலா இந்த ஒவ்வொரு வியும் ஒரு ப்ராப்ளம் குறிக்குங்க. இங்கதவி மட்டும் கிடையாது. 50க்கு மேல வீஸ் இருக்கு. அதாவது 50க்கும் மேல ப்ராப்ளம்ஸ் இருக்குங்கறது அர்த்தம். சோ அப்ப நான் வந்து எல்லா ப்ராப்ளமையும் நான்வில ஸ்டார்ட் ஆகுற மாதிரிதான் நான் இன்டர்வியூலயோ இல்ல ப்ராஜெக்ட்லயோ சொல்லணுமான்னு கேட்டா அப்படி எல்லாம் கிடையாது அது மேண்டட்டரி கிடையாது. நீங்க என்ன ப்ராப்ளமோ அத ப்ராப்ளம் ஆக்சுவல் நேம்லயே சொல்லலாம். அதவி யா கன்வெர்ட் பண்றதுக்கு நம்ம யோசிக்க வேண்டாம். ஓகேஃைன் சோ இந்த இடத்துல நம்மதவின் பிக் டேட்டா அப்படின்னா என்னங்கறத நம்ம பார்த்தோம். சரி நம்ம வந்து ப்ராப்ளம்ஸ் பாத்தாச்சு ரைட் சோ அடுத்து நம்ம என்ன பண்ண போறோம் அப்படின்னா சோ நான் ஏதாவது ஒரு காலேஜஸ்க்கு எங்கயாவது போறேன் அப்படின்னா ஃர்ஸ்ட் கொஸ்டின் நான் மீட்டப்ஸ்கோ இல்ல ஒரு கம்பெனிஸ்க்கோ ஒரு டாக் கொடுக்க போறேன் அப்படின்னா பிக் டேட்டானா என்னன்னு சொல்லுங்க அப்படின்ற ஃபர்ஸ்ட் கொஸ்டினோட நான் ஸ்டார்ட் பண்ணுவேன். எல்லாரும் என்கிட்ட சொல்றது என்ன அப்படின்னா வால்யூம் வால்யூம்னு சொல்லுவாங்க. பிக் டேட்டா மீன்ஸ் வால்யூம் இல்லைன்னா ஹயூஜ் அமௌண்ட் ஆப் டேட்டா இல்லைன்னா ஸ்டோரேஜ் அப்படின்னு சொல்லுவாங்க. இந்த மூணும்தான் நான் ஃப்ரீக்வென்ட்டா எனக்கு வர ஒரு ஆன்சர்ஸ். ஓகேங்களா சோ இந்த மூணும் தான் ஃப்ரீகவென்ட் ஆன்சர்ஸ். ஹியூஜ் அமௌண்ட் ஆப் டேட்டா வால்யூம் ஸ்டோரேஜ் ஓகே. சரி இது எல்லாத்தையும் ஒன்னுதான் குறிக்குது. இது அத்தனையும் வால்யூம மட்டுமே குறிக்குது. சரி நீங்க வந்து வால்யூம் எல்லாம் சொல்றீங்கள வால்யூம்க ஒரு நம்பர் இருக்கும்ல சொல்லுங்க அப்படிப அந்த இடத்துலதான் இங்க ட்விஸ்டே இருக்கு. ஒருத்தர் சொல்லுவாரு கௌதம் 110 GB கௌதம் இன்னொருத்தர் 100 GB கௌதம் இன்னொருத்தர் 250 டெராபைட் கௌதம் அப்படின்பாரு. ஒருத்தர் ஸ்கேட்டாபைட் சொல்லுவாரு, ஒருத்தர் யோட்டாபைட் சொல்லுவாரு, ஒருத்தர் ஜெட்டாபைட் சொல்லுவாரு. இந்த மாதிரி நிறைய இருக்கு. சில பேர் எம்பி கூட சொல்லுவாங்க. கேபிஸ் கூட சொல்லுவாங்க. அப்போ நான் கேட்டது என்ன ஒரே கொஸ்டின் வால்யூம்னு சொல்றீங்க அந்த வால்யூமக்கு ஒரு நம்பர் இருக்கும் இல்லையா அந்த நம்பர சொல்லுங்க அப்படிங்கறதுதான் என்னோட கேள்வி பட் நான் எனக்கு டிஃபரண்ட் நம்பர்ஸ் வருது. அப்ப இதுக்கு ஒரு பதில் இல்லையா ஒரு வால்யூம்னு நம்ம சொல்றப்போ என்ன சைஸ் அப்படின்னு சோ இப்ப நீங்க சிடிஎஸ்ன்னு ஒரு கம்பெனி இருக்கு எடுத்துக்கோங்கஹclல்னு ஒரு கம்பெனி இருக்கு எடுத்துக்கோங்க இப்ப சிடிஎஸ் சொல்றாங்க நாங்க பிக் டேட்டா யூஸ் பண்றோம் எங்களோட யூஸ் கேஸ் வந்து 100 GB பர் ஹவருக்கு நாங்க டேட்டாவை ப்ராசஸ் பண்றோம்னு சொல்றாங்க அவங்க ஒரு பிளாக்ல எழுதுறாங்கன்னு வச்சுக்கலாம் அதுவே HCL சொல்றாங்க நாங்களும் பிக் டேட்டா யூஸ் பண்றோம். நாங்க 200 டெராபைட் பர் ஹவர் யூஸ் பண்றோம்னு HCL சொல்றாங்க. இவங்க ரெண்டு பேருமே பிக் டேட்டாவதான் யூஸ் பண்றாங்க. ஆனா இவங்களோட யூஸ் கேஸ்ோட அந்த டேட்டா வால்யூம் வேற வேற. அப்போ இது என்ன ப்ரூவ் பண்ணுது பிக் டேட்டாவுக்கு ஒரு ஸ்பெசிபிக் வால்யூம் சைஸ் கிடையாது. ஒரு வால்யூம் சைஸ வச்சு அத நம்மனால அளக்க முடியாதுங்கறதுதான். இல்லையா சோ இந்த இடத்துல நான் உங்களுக்கு என்ன சொல்ல ட்ரை பண்றேன் அப்படின்னா பிக் டேட்டா நம்ம எதுக்கு போகணும் அப்படின்னா டேட்டால வரக்கூடிய எந்த மாதிரி ப்ராப்ளமா இருந்தாலும் பிக் டேட்டா டெக்னாலஜிஸ்க்குள்ள சொல்யூஷன்ஸ் இருக்கான்னு நம்ம பார்க்கலாம் உள்ள அதுக்குள்ள போலாம். வால்யூம் மாத்திரமே நம்ம வந்து கன்சிடர் பண்ணக்கூடாது. எல்லாரும் என்ன நினைப்பாங்கன்னா நான் பிக் டேட்டாக்குள்ள போறீங்களா அப்போ உங்கள்ட்ட நிறைய வால்யூம் ஆப் டேட்டா இருக்கும் இல்லையா அப்படின்பாங்க. ஈவன் ஒரு 1ஜிபி டேட்டாவுக்கு கூட நான் பிக் டேட்டா போலாங்க. வால்யூம் இஸ் ஒன் ஆப் த ப்ராப்ளம் வால்யூம் மாத்திரமே ப்ராப்ளம் கிடையாது. ஓகே சோ வால்யூம் இஸ் அவுட் ஆப் 100ல அது ஒரு ப்ராப்ளம். ஆனா இது பிக் டேட்டான்ற அந்த பேர் இருக்கறதுனாலவோ என்னவோ பிக் டேட்டான்னு உடனே எல்லாரும் அத வால்யூம் நினைக்கிறீங்க. சோ நீங்க ஒரு இன்டர்வியூல போயிட்டு நான் பிக் டேட்டாக்குள்ள வந்தேன். ஏன்னா என்ட்ட ஹயூஜ் வால்யூம் ஆப் டேட்டா இருக்குன்னு நீங்க சொன்னீங்கன்னா இன்டர்வியூ நீங்க இம்ப்ரஸ் பண்ண முடியாது. ஓகே ரியாலிட்டில அது கிடையாது. நம்ம எல்லாருமே Googleகள் Facebook மாதிரி கம்பெனில வேலை செய்யலையே நம்மகிட்ட அவ்வளவு வால்யூம் ஆப் டேட்டா இருக்குன்னு நீங்க நினைக்கிறீங்களா ரைட் சோ பிக் டேட்டாவுக்கு இதான் வால்யூம் அப்படி எல்லாம் கிடையாதுங்க ஓகே சோ அது பேர்தான் அந்த பிக் டேட்டா ஓகே சோ நம்ம பிக் டேட்டாக்குள்ள போறதுக்கு நிறைய ப்ராப்ளம்ஸ் இருக்கலாம். இப்ப வந்து எனக்கு வால்யூம் பிரச்சனையே இல்லை ஆனா ப்ராசஸங் டைம் அதிகமா எடுக்குது. எனக்கு ப்ராசஸங் டைமும் பிரச்சனை இல்லை என்னால வந்து டேட்டாவை கிளீன் பண்ண முடியல. இது கூட ஒரு ப்ராப்ளமா இருக்கும். சோ எந்த ப்ராப்ளம்னாலும் நம்ம அங்க போலாம். வால்யூம் மாத்திரமே ப்ராப்ளம் கிடையாது. வால்யூம் விட நிறைய ப்ராப்ளம்ஸ் நமக்கு இருக்குங்கறதுதான் இந்த இடத்துல நான் உங்களுக்கு புரிய வைக்க ட்ரை பண்றேன். ஓகே சோ நெக்ஸ்ட் டைம் யாராவது பிக் டேட்டானா என்னன்னு கேட்டா டேட்டால வரக்கூடிய எந்த வகையான ப்ராப்ளம்ஸ்க்கும் நமக்கு பிக் டேட்டா டெக்னாலஜிஸ்குள்ள நமக்கு சொல்யூஷன் இருக்கு அப்படிங்கற விஷயத்தைதான் நீங்க சொல்லணும். ஓகே வால்யூம் இஸ் ஒன் ஆப் தி ப்ராப்ளம் அண்ட் வால்யூம் இஸ் நாட் த ஒன்லி ப்ராப்ளம்னு நீங்க சொல்லணும். சோ நான் ஒரு இன்ட்ரஸ்டிங்கான ஒரு ரியல் ஸ்டோரி உங்களுக்கு நான் சொல்றேன். நான் ஒரு இன்டர்வியூக்கு போயிருந்தேன். சோ கம்பெனி ஏன்னு வச்சுக்கலாம். சோ இன்டர்வியூர் வந்து என்கிட்ட நிறைய கேள்வி கேட்டாரு. அதுல ஒரு கேள்வி வந்து ஒரு டிபேட் மாதிரி போயிடுச்சு. சோ அந்த இன்டர்வியூர் என்ட்ட என்ன கேட்டாருன்னா நீங்க உங்க ப்ராஜெக்ட்ல நீங்க ப்ராசஸ் பண்ற அந்த டேட்டாவோட வால்யூம் என்ன அப்படின்னு கேட்டாரு. சோ அதுக்கு நான் என்ன சொன்னேன் ஓகே கௌதம் சோ நான் என்ன சொன்னேன் 10 GB பர் ஹவர் டேட்டாவ வந்து நாங்க வந்து ப்ராசஸ் பண்றோம். அப்படின்னு நான் சொன்னேன். சோ நான் சொன்ன உடனே அந்த இன்டர்வியூருக்கு வந்து சாட்டிஸ்பை ஆகல. நான் ஏன்னு கேட்டேன். அவர் வந்து மூஞ்சி சொல்லிச்சாரு 10 GB தானா அப்படின்னு. சோ 10 GB ரொம்ப சின்ன வால்யூமா தெரியுதே பர் ஹவர்னா கூட அதுக்கு எதுக்கு நீங்க பிக் டேட்டா வந்தீங்கன்னு கேட்டாரு. நான் சொன்னேன் லைக் எனக்கு வால்யூம் பிரச்சனையே கிடையாது. நாங்க பிக் டேட்டாவுக்கு வந்ததுக்கான ரீசன் ஸ்டோரேஜ் இஸ்ூவோ வால்யூம் இஸ்ூவோ கிடையாது. நாங்க

வந்ததுக்கான ரீசன் ப்ராசஸிங் ஸ்பீட் வந்து எங்களுக்கு பத்தல. பட் ஸ்டில் அவர் வந்து வால்யூம் வால்யூம்ட்டே இருந்தாரு. சரி நான் வந்து கேட்டேன் சரி நான் ஒரு கொஸ்டின் கேக்கட்டுமா அவங்கள அப்படின்னு சொல்லி கேளுங்க அப்படின்னாரு. சோ நான் கேட்டேன் இப்ப நீங்க கூகக்கு இன்டர்வியூ போறீங்கன்னு வச்சுக்கலாம். சோ Googleூல இதே கொஸ்டின உங்க இன்டர்வியர் உங்கள்ட்ட கேக்குறாருன்னு வச்சுக்கோங்க எவ்வளவு வால்யூம்னு நீங்க என்ன சொல்லுவீங்க அப்படின்னு கேட்டேன். சோ அவரு என்ன சொன்னாரு அப்படின்னா இன்டர்வியூ வந்து இப்ப கரண்டா நாங்க வந்து 100 GB ஆப் டேட்டா பர் ஹவர் நாங்க ப்ராசஸ் பண்றோம். உங்களை விட 10 டைம்ஸ் நாங்க ப்ராசஸ் பண்றோம். சோ இந்த 100 GB தான் நான் வந்து அங்க இன்டர்வியூல சொல்லுவேன் அப்படின்னு சொன்னாரு ஓகே சரி இப்போ கூகுல உங்க இன்டர்வியூர் எப்படி இந்த பதிலுக்கு சாட்டிஸ்பை ஆவாருன்னு நீங்க நம்புறீங்க ஏன்னா கூகுள் பெரிய கம்பெனி அவங்க பெட்டாபைட்ஸ் அண்ட் டேட்டாஸ் வந்து பர் ஹவர் பர் மினிட் ப்ராசஸ் பண்ணிட்டு இருக்காங்க அண்ட் அவங்கள்ட்ட போயிட்டு நீங்க வந்து 100 GB தான் நான் ப்ராசஸ் பண்ணேன்னு சொன்னா அவங்களும் சாட்டிஸ்பை ஆக மாட்டாங்க இல்லையா உங்கள மாதிரியே அப்படின்னு சொல்லி நான் சிரிச்சேன். சோ அப்ப வந்து அவரு அண்டர்ஸ்டாண்ட் ஆயிட்டாரு மேபி அவர் என்ன டெஸ்ட் பண்ணாரான்றது எனக்கு தெரியல பட்ஹி வாஸ் அண்டர்ஸ்டுட் அவரும் வந்து சிரிச்சாரு சோ எல்லாரும் நினைக்கிறது என்னன்னா வால்யூம் வால்யூம்ல ஸ்டக் ஆகுறீங்க சோ வால்யூம் இஸ் நாட் த ப்ராப்ளம் அதை சொல்றதுக்காகதான் இந்த ஒரு சின்ன ஸ்டோரிய நான் உங்களுக்கு சொன்னேன் இது நிஜமாவே நடந்தது என்னோட இன்டர்வியூல லைக் 10 இயர்ஸ்க்கு முன்னாடி எனக்கு இந்த ஒரு கான்வர்சேஷன் போச்சு இன்னைக்கும் நிறைய பேரு இன்டர்வியூஸ்ல வந்து என்கிட்ட சொல்றது என்னன்னா வால்யூம் சொன்னா வந்து உடனே வந்து என்ன இவ்வளவு சின்ன வால்யூம் அப்படின்னுல்லாம் சொல்றாங்க இதனாலயே நிறைய பேர் என்ன பண்றாங்கன்னா இந்த பிக் டேட்டா இன்டர்வியூ எல்லாம் போகும் பொழுது அவங்க நிஜமா ஒரு 10 டு 30 GB தான் பர் ஹவருக்கு ப்ராசஸ் பண்ணி இருப்பாங்க ஆனா அங்க போயிட்டு நாங்க 100 GB பண்ணோம் 200 GB பபி பண்ணனும்னு சொல்ற மாதிரி சொல்லுவாங்க அதெல்லாம் நீங்க சொல்லாதீங்க என்ன இருக்கோ அதையே சொல்லுங்க அவங்க உங்கள்ிட்ட கேக்குறாங்கன்னா இதே சினாரியோவ கூட நீங்க கேளுங்க சும்மா ஒரு புலைட்டா இத எப்படி நீங்க இந்த சினாரியோவ நீங்க அங்க கொண்டு வர முடியுமோ கொண்டு வந்து கேளுங்க ஓகே சோ இன்னொரு ஃபன் ஃபேக்ட் உங்களுக்கு சொல்லணும் நம்மள நம்ம பிக் டேட்டா டெவலப்பர்னு சொல்லிக்கிறோம் இல்லையா சோ இப்ப நான் வந்து என் பிரண்ட் கிட்ட சொன்னேன் நான் ஒரு பிக் டேட்டா டெவலப்பர்டா அப்படின்னு சொல்லிட்டு அவன் சொன்னான் ஏ பிக் டேட்டானா ப்ராப்ளம் தானே அப்ப நீ என்ன ப்ராப்ளம் டெவலப்பரா அப்படின்னு சொல்லி சிரிச்சான் சோ இது ஏன் இந்த ஒரு கான்வர்சேஷன் நடந்தது அப்படின்றது எதுக்கு நான் சொல்றேன்னா உங்களுக்கு புரியும் கடைசில சி பிக் டேட்டா டெக்னாலஜிஸ்னு சொல்றோம் பிக் டேட்டா மார்க்கெட்னு சொல்றோம் பிக் டேட்டா ஜாப்னு சொல்றோம் பட் பிக் டேட்டாங்கறதே ஒரு ப்ராப்ளம் ஸ்டேட்மெண்ட் தானே அப்படிங்கறதுதான் எல்லாருத்தோட ஒரு கேள்வியா இருந்தது ரைட் சோ பிக் டேட்டாங்கறது ஒரு ப்ராப்ளம் ஸ்டேட்மெண்ட் பெயர்தான் இப்பவும் அது ப்ராப்ளம் ஸ்டேட்மெண்ட் பெயர்தான் பட் இந்த ப்ராப்ளம் ஸ்டேட்மெண்ட்டயே மார்க்கெட்டோட டெர்மினாலஜியா மாத்திட்டாங்க பிக் டேட்டா டெக்னாலஜிஸ்னு சொல்றது இல்ல பிக் டேட்டா சொல்யூஷன்ஸ்னு மார்க்கெட் சொல்றது பிக் டேட்டா ஜாப்ஸ் சோ ப்ராப்ளம் ஸ்டேட்மெண்ட்யே அவங்க வந்து அந்த மார்க்கெட்டுக்கு ஒரு டினோஷனா கொடுத்துட்டாங்க இப்ப எப்படி பைதான் ஜாவா எல்லாத்தையும் நம்ம ப்ரோக்ராமிங் லாங்குவேஜ்ன்னு சொல்றோமோ அந்த மாதிரி பிக் டேட்டாக்கு கீழ வர டெக்னாலஜிஸ் எல்லாத்தையும் நம்ம ப்ராப்ளம் ஸ்டேட்மெண்ட்ோட பேரையே அதுக்கு மார்க்கெட் பேரா கொடுத்துட்டோம். சோ இதுவும் ஒரு ஃபன் ஃபேக்ட் தான் ஓகே சரியாஃைன் சரி இப்போ இந்த பிக் டேட்டா அப்படின்ற இந்த ஒரு டொமைன் ஓகே சோ இதுக்கு கீழ நிறைய டெக்னாலஜிஸ் இருக்கு. இதுல 50க்கும் மேல டெக்னாலஜிஸ் அதாவது சொல்யூஷன்ஸ் இருக்கு. டேட்டாவை சால்வ் டேட்டா ப்ராப்ளம்ஸ சால்வ் பண்ணக்கூடிய 50க்கும் மேல சொல்யூஷன்ஸ் இதுல இருக்கு. ஆனா அதுல டாப் லீடிங் சொல்யூஷன்ஸ் என்ன அப்படின்னு பாத்தீங்கன்னா ஹடுப் அப்படின்னு ஒரு காம்போனென்் ஸ்பார்க் அப்படின்னு ஒரு காம்போனென்ட். நீங்க பிக் டேட்டா டெவலப்பர் இல்ல நான் ஒரு பிக் டேட்டா இன்ஜினியர் இல்ல நீங்க ஏதாவது ஒரு பிக் டேட்டா ஜாப் டிஸ்கிரிப்ஷன பாத்தீங்கன்னா இந்த ரெண்டும் இல்லாம நீங்க பார்க்க மாட்டீங்க. ஓகே சோ இது ரெண்டும் மேண்டட்டரி நீங்க யார்ட்டையாவது போயிட்டு நான் ஒரு பிக் டேட்டா டெவலப்பர்னு சொன்னீங்கன்னா அவங்க டீபால்ட்டாவே அவங்க நினைச்சுக்குவாங்க உங்களுக்கு ஹடுப் அண்ட் ஸ்பார்க் தெரியும்னு ஹடுபக்கு கீழ நிறைய குட்டி காம்பனன்ட்ஸ் இருக்கு. அதே மாதிரி ஸ்பார்க்குக்கு கீழயும் குட்டி காம்பனன்ட்ஸ் இருக்கு. பட் இத நம்ம இந்த வீடியோஸ்ல பார்க்க போறது இல்ல. இத நம்ம ஒரு தனி வீடியோல நம்ம பார்க்கலாம். ஓகேவா சோ ஏன்னா இந்த கம்ப்ளீட் வீடியோ சீரீஸ் அதை பத்தினதுதான். ரைட் சோ இந்த பிக் டேட்டா அப்படின்னா என்ன? வால்யூம் மத்தமே ப்ராப்ளம் கிடையாது. சோ அதுக்கு கீழ ரெண்டு டிமாண்டிங் டெக்னாலஜி இருக்குன்னு எல்லாத்தையும் பாத்துட்டோம். சரி இப்போ எல்லாரும் டேட்டா இன்ஜினியரிங் டேட்டா இன்ஜினியரிங்னு சொல்றாங்களே அப்படின்னா என்ன? அதுக்கும் பிக் டேட்டாவுக்கும் என்ன லிங்க் இத நம்ம பார்க்கலாம். சோ டேட்டா இன்ஜினியரிங் சாப்ட்வேர் இன்ஜினியரிங் ஃபுல் ஸ்டாக் இன்ஜினியரிங் மாதிரி டேட்டா இன்ஜினியரிங் ஒரு டொமைன் தான். ஓகேங்களா சரி டேட்டா இன்ஜினியரிங் அப்படிங்கறது வந்து பாத்தீங்கன்னா 2014 15 அதுக்கு அப்புறம்ஃபேமஸ் ஆச்சு. அதுக்கு முன்னாடி 2010ல இருந்து கிட்டத்தட்ட 2014 வரைக்கும் ஓகே சோ இது ஒரு 15ல இருந்து இது ட்ரெண்ட் ஆச்சு. சோ அதுவரைக்கும் 2010ல இருந்து 14 வரைக்கும் பாத்தீங்கன்னா பிக் டேட்டாங்கறதுதான் எல்லாரும் சொல்லுவாங்க. பிக் டேட்டா இன்ஜினியர் பிக் டேட்டா டெவலப்பர். சோ டேட்டாவிலயே வந்து பீக்ல இருந்த ஒரு டெசிக்னேஷன் அப்படின்னு நம்ம சொன்னோம் அப்படின்னா அது பிக் டேட்டாதான். ஓகே அந்த டைம்ல பிக் டேட்டால ஒர்க் பண்றாங்க அப்படின்னா அப்படி பாப்பாங்க. ஓ பிக் டேட்டால ஒொர்க் பண்றீங்களா அப்படிங்கற மாதிரி. சோ 2014க்கு அப்புறம் பாத்தீங்கன்னா டேட்டா இன்ஜினியரிங்னு ஒரு புது மார்க்கெட் ஒரு டொமைன வந்து உருவாக்கினாங்க சோ இத உருவாக்கி என்ன பண்ணாங்க அப்படின்னா எல்லா டேட்டா டெக்னாலஜியும் இந்த டேட்டா இன்ஜினியரிங்ங்கற அம்பர்லாவுக்கு கீழ வரணும்னு முடிவு பண்ணாங்கஃர் எக்ஸாம்பிள் பிக் டேட்டா ஓகே அதுக்கப்புறம்ஃர் எக்ஸாம்பிள் ஆரக்கள் மைசவல் அதுக்கப்புறம் இப்பஃர் எக்ஸாம்பிள் இன்பர்மேட்டிகா இதெல்லாம் வேற டேட்டா டெக்னாலஜிஸ் சோ இதெல்லாம் உங்களுக்கு என்னன்னு தெரியலனா பரவாயில்ல நீங்க ரொம்ப

ஒரி பண்ணிக்க வேணாம் இதெல்லாம் நம்ம பார்க்க போறது இல்ல இத நீங்க வந்து ஏ பிசினு கூட நினைச்சுக்கலாம். ஏ ஒரு டேட்டா டெக்னாலஜி பி ஒரு டேட்டா டெக்னாலஜி சி ஒரு டேட்டா டெக்னாலஜி எல்லாத்தையும் ஒரு அம்பர்லா கீழ எடுத்துட்டு வரணும். ஒரு டேட்டா இன்ஜினியர் அப்படிங்கறவங்க பிக் டேட்டால தான் ஒர்க் பண்ணனும்ங்கறது கிடையாது. இதுவும் மெத்ததான் நிறைய பேர் அப்படி நினைச்சிட்டு இருக்கீங்க அப்படி கிடையாது. நான் ஆரக்கல்ங்கற ஒரு டேட்டா டெக்னாலஜில ஒர்க் பண்றேன் இல்ல மை சீக்குவல்னு அப்படின்னா கூட நான் என்னைய டேட்டா இன்ஜினியர்னு சொல்லிக்கலாம். ஓகேங்களா சோ தட்ஸ் த ரியல் மீனிங் ஆனா மார்க்கெட் எப்படி இத எடுத்துட்டு இருக்காங்க அப்படின்னா இப்ப நான் போயிட்டு நான் கௌதம்ங்க நான் டேட்டா இன்ஜினியர்னு சொன்னா மார்க்கெட்ல இருக்கவங்க நான் மார்க்கெட்னு சொல்றது கம்பெனிஸ் ஆகட்டும் இல்ல இன்டர்வியூர் ஆகட்டும் இல்ல வந்து நார்மல் பீப்பிள் ஆகட்டும் இல்ல என்னோட பிரண்ட்ஸ் ஆகட்டும் கொலீக்ஸ் ஆகட்டும் இவங்க எல்லாம் என்ன நினைப்பாங்க நீங்க போய் ஒருத்தர்ட்ட டேட்டா இன்ஜினியர்னு சொன்னீங்கன்னா உங்களுக்கு டீபால்ட்டாவே பிக் டேட்டா தெரியும்னு நினைச்சுக்குவாங்க இப்போ எனக்கு பிக் டேட்டாவே தெரியாது நான் ஒரு இன்பர்மேட்டிக்கா இன்ஜினியர்னு வச்சுக்கலாம் ஆனா என்னன்னா டேட்டா இன்ஜினியர்னு சொல்லலாம். சோ நான் போய் சொல்றேன் நான் ஒரு டேட்டா இன்ஜினியர்ங்க அப்படின்னு அப்ப நீங்க பிக் டேட்டா இன்ஜினியரா அப்படின்னு கேப்பாங்க. இல்லைங்க நான் இன்பர்மேட்டிக்கா இன்ஜினியர்ங்க அப்படின்னு சொன்னா அவங்க ஏன்னா அந்த மாதிரி ஒரு இது கிரியேட் ஆயிடுச்சு. அப்ப ஒரு டேட்டா இன்ஜினியர்னு சொல்லும் பொழுது அதனாலதான் இத நம்பர் ஒன்ல வைக்கிறாங்க. சோ டேட்டா இன்ஜினியரிங்ற அம்பரலாக்குள்ள பிக் டேட்டாங்கறது ஒரு பெரிய டொமைன் அண்ட் லீடிங் அண்ட் டிமாண்ட் டொமைன் அண்ட் அதுக்கு கீழ என்ன வருங்கறது நமக்கு தெரியும். ஹடுூப் வரும். அத இங்க நம்ம பார்த்தோம் இல்லையா ஸ்பார்க் வரும். அண்ட் அதுக்கு கீழ காம்பனன்ட்ஸ் இருக்கு. இத நான் அப்புறம் அடுத்த வீடியோல சொல்றேன்னு சொல்லிருந்தேன். இல்லையா சரி. ஒரு டேட்டா இன்ஜினியர் என்ன பண்ணுவார்? இப்ப டேட்டா இன்ஜினியருக்கும் பிக் டேட்டாவுக்கும் உங்களுக்கு டிஃபரன்ஸ் தெரிஞ்சதா ஓகே. ஒரு டேட்டா இன்ஜினியர் அவரோட லைஃப்ல டெய்லி என்ன பண்ணுவாரு? டேட்டால வரக்கூடிய ப்ராப்ளம் எல்லாத்தையும் சால்வ் பண்ணுவாரு. எதை வச்சு சால்வ் பண்ணுவாரு. சோ இந்த மாதிரி நிறைய டெக்னாலஜிஸ இதுக்கு வந்து சீக்குவல் தான் தெரிஞ்சிருக்கணும் இல்ல வந்து லைனஸ் தான் தெரிஞ்சிருக்கணும். கோடிங் தான் தெரிஞ்சிருக்கணுங்கறது கிடையாது. ஒரு டேட்டா இன்ஜினியர் கோடும் அடிப்பாங்க. சீக்குவல் அடிப்பாங்க. லைனக்ஸ் கமண்ட்ஸும் போடுவாங்க. எல்லாமே பண்ணுவாங்க. ஓகேங்களா சோ எல்லாம் அவங்களும் கோடு அடிப்பாங்க. ஏன்னா நிறைய பேர் நினைச்சிட்டு இருக்கறதே டேட்டா இன்ஜினியர்ஸ்க்கு வந்து SQL மட்டும் தெரிஞ்சா போதும். கிடையாது. 50% ஆப் எங்க வொர்க் SQLனா பேலன்ஸ் 50% ஆப் ஒர்க்க நாங்க கோடு அடிக்கிறோம். ஓகே சோ டேட்டா இன்ஜினியர்ஸ் டூ ஆ எனி டேட்டா ப்ராப்ளம்ஸ்கு சொல்யூஷன்ஸ் கொடுக்கறதுதான் டேட்டா இன்ஜினியர்ோட வேலை ஓகே சோ நம்ம பிக் டேட்டா இன்ஜினியருக்கான அந்த அர்த்தமும் புரிஞ்சுக்கிட்டோம். சோ டேட்டா இன்ஜினியரிங்ஃபீல்ட் பாத்தீங்க அப்படின்னா இட்ஸ் எவர்கிரீன்ஃீல்ட் ஓகே சோ இன்னைக்கும் நீங்க லிங்கடின் ஜாப்ஸ் நார்கடில போய் பாத்தீங்கன்னா நிறைய டேட்டா இன்ஜினியரிங் பொசிஷன்ஸ் ஓபனா இருக்கு. சோஏi இன்வெஸ்ட்மென்ட்ஸ் நடக்குறதுனால ஒரு லேக் இருக்கு. ஓகே அந்த லேக் மட்டும்தான் இங்க பிரச்சனை பட்ஏi இஸ் நாட் ரியல் தரட்ஃர் டேட்டா இன்ஜினியரிங் சோஏi வந்து டேட்டா இன்ஜினியரிங்கோட சேர்ந்து நாம ஒர்க் பண்ணலாம் பட் அது இல்லாம நம்ம கவர் பண்ணலாம். அஸ் அட டேட்டா இன்ஜினியரா நீங்க என்ன லெவல் ஆஃப் AI ஸ்டஃப்ப நீங்க தெரிஞ்சுக்கணும் அப்படிங்கிறது. அதே மாதிரி கிளவுட் டேட்டா இன்ஜினியரிங் அப்படிங்கிற ஒரு விஷயமும் இருக்கு. பட் அதை நான் இந்த வீடியோல சொல்லி உங்களை கன்ஃபியூஸ் பண்ண விரும்பல. இது ஒரு செப்பரேட் டாபிக்கா நம்ம எடுக்கலாம். அண்ட் கிளவுட் டேட்டா இன்ஜினியரிங்கும் நம்ம இந்த சீரியஸ்ல கவர் பண்ணுவோம். ஓகேங்களா? சோ அவ்வளோுதான் இந்த வீடியோ. சோ இது வந்து ஒரு இன்ட்ரொடக்ஷன் மாதிரி. சோ இதை தொடர்ந்து இன்னும் நிறைய வீடியோஸ் நான் வந்து போட போறேன். அதுக்கப்புறம்தான் நம்ம பிராக்டிகல் பார்ட்ட்குள்ள போக போறோம். டிஃபரண்ட் டூல்ஸ் அண்ட் எக்கோசிஸ்டம்ஸ் பத்தி நம்ம தெரிஞ்சுக்க போறோம். ஓகே தேங்க்ஸ் forர் வாட்சிங் தேங்க்ஸ் பார் வாட்சிங் இந்த வீடியோ உங்களுக்கு பிடிச்சிருந்தது அப்படின்னா லிங்கடின்ல ஒரு ஜெனயுன் ஃபீட்பேக் உங்க லேர்னிங் எக்ஸ்பீரியன்ஸ் பத்தி எழுதி அண்ட் என்ன அதுல டேக் பண்ணுங்க அண்ட் இந்த சேனல மறக்காம சப்ஸ்கிரைப் பண்ணிக்கோங்க உங்க பிரண்ட்ஸ் அண்ட் கொலீக்ஸ்க்கும் இத ஃபார்வர்ட் பண்ணுங்க அண்ட் என்னோட சேனல்ல டேட்டா இன்ஜினியரிங் மட்டும் கிடையாது இன்னும் நிறைய ப்ரோக்ராமிங் லாங்குவேஜஸ் சீக்குவல் Linux கிளவுட் மாதிரி மாஸ்டர் கோர்ஸ் வீடியோஸ் தமிழ்ல ஃப்ரீயா அவைலபிளா இருக்கு போய் பாருங்க டேட்டா இன்ஜினியரிங்க தமிழ்ல ஈஸியா சொல்லி கொடுக்கறதுக்கு நான் இருக்கேன் கவலைப்படாதீங்க என்னோட லிங்கன் அண்ட் Instagram பேஜ்ோட லிங்க் டிஸ்கிரிப்ஷன் பாக்ஸ்ல இருக்கு நீங்க அங்க இருந்தா ஃபாலோ பண்ணிக்கலாம் ஒன்ஸ் அகைன் தேங்க்ஸ் forர் வாட்சிங் guysஸ்