# 16 Data Engineering Layers Explained (Real-World Flow) | Tamil

## Метаданные

- **Канал:** Data Engineering
- **YouTube:** https://www.youtube.com/watch?v=ARIwicX3Pn8
- **Дата:** 22.04.2026
- **Длительность:** 23:41
- **Просмотры:** 3,743
- **Источник:** https://ekstraktznaniy.ru/video/50134

## Описание

Telugu Video  - https://youtu.be/tqkl5UuFU50
English Video - https://youtu.be/QUGb6ppL-Z4

Datalayers webiste link - https://www.tablenotfound.com/learn/datalayers.html

Data Engineering 2.0 Playlist - https://bit.ly/3Q45f4y
Data Engineering 1.0 Playlist - https://bit.ly/3yF5uVD (Old One) 

𝐌𝐲 𝐁𝐨𝐨𝐤𝐬 & 𝐆𝐮𝐢𝐝𝐞
https://topmate.io/dataengineering/
---------------------------------------------------------------------
Most people learn tools like Spark, Kafka, or Airflow…

But don’t understand how everything fits together.

In this video, I break down the complete Data Engineering architecture into simple layers — from data source to final insights.

If you are a beginner or even working in data, this will give you a clear mental model of how real-world data systems are designed.

No complex jargon. Just simple explanations.

📌 What you’ll learn:
- End-to-end data flow
- Key data engineering layers
- How real systems are structured

This is the foundation every Data Engineer should know.

Sub

## Транскрипт

### Segment 1 (00:00 - 05:00) []

ஹய் this video is in language தமிழ் and if you want sம் வீடியோ in englishல and telல you can find the link in the descப்tion box of thisவீடியோ என் பேரு கௌதம் நான் ஒரு லீடிங் prodரா பேஸ் கம்பெனில டேட்டா இன்ஜினியரா வேலை செஞ்சிருக்கேன். இந்த டேட்டா இன்ஜினியரிங் 2. 0 மாஸ்டர் கோர்ஸ் சீரிஸ்ல நிறைய டேட்டா இன்ஜினியரிங் டெக்னாலஜிஸ நம்ம பா்க போறோம். இண்டஸ்ட்ரில யூஸ் ஆயிட்டு இருக்கற டெக்னாலஜிஸ் நம்ம நிறையவே பா்க போறோம். இத கம்ப்ளீட் பிளேலிஸ்ட் லிங்க் டிஸ்கிரிப்ஷன் பாக்ஸ்ல இருக்கும். இந்த வீடியோஸ நீங்க போய் பாத்துக்கலாம். என்னோட லிங்க் இன் இரோட லிங்கும் டிஸ்கிரிப்ஷன்ல இருக்கு. அங்க நீங்க என்ன ஃபாலோ பண்ணிக்கலாம். இப்ப நம்ம வீடியோக்குள்ள போலாம். சோ இன்னைக்கு நம்ம டேட்டா இன்ஜினியரிங்ல இருக்கக்கூடிய டேட்டா லேயர்ஸ பத்தி நம்ம வந்து பார்க்க போறோம். சோ அதை பா்கறதுக்கு முன்னாடி பீசால இருக்கற லேயர்ஸ நம்ம பாத்துரலாம். சோ பீசா அப்படின்னு எடுத்துக்கிட்டீங்கன்னா அது ஓகே பா்கறதுக்கு அது ஒரு பீசாதான். ஆனா அதுல நிறைய லேயர்ஸ் இருக்கும் இல்லையா சோ கீழ வந்து அந்த பீசாவோட பேஸ் அந்த பிரெட் இருக்கும் அதுக்கப்புறம் சீஸ் இருக்கும். இப்ப இங்க பாத்தீங்கன்னா அடுத்து சாஸ் இருக்கு அதுக்கு மேல திரும்பவும் சீஸ் இருக்கு அதுக்கு மேல வந்து மீட் போட்டுருக்காங்க. வெஜிடபிள் போட்டுருக்காங்க. கொத்தமல்லி இருக்கு ஸ்பினாச்சஸ் எல்லாம் போட்டுருக்காங்க. சோ மல்டிபிள் லேயர்ஸ் இருக்கு. — [செறுமுதல்] — இப்போ நீங்க எங்கயாவது ஒரு பீசா ஷாப்ல போயிட்டு ஒரு பீசா நீங்க ஆர்டர் பண்ணீங்க அப்படின்னா ஏதாவது சில ஷாப்ல ஒரே ஒரு செப் என்ன பண்ணுவாருன்னா இது அத்தனையும் அவரே பண்ணுவாரு காய எல்லாம் அவரே கட் பண்ணி சீஸ் எல்லாம் அவரே பிரிப்பேர் பண்ணி சாஸும் அவரே பிரிப்பேர் பண்ணி எல்லாம் பண்ணுவார். இன்னும் சில ஷாப் எல்லாம் போனீங்க அப்படின்னா அந்த சாஸ் [செறுமுதல்] எல்லாம் ஆல்ரெடி செஞ்சு வச்சிருப்பாங்க. யாராவது சீஸ் எல்லாம் ஆல்ரெடி யாராவது பிரிப்பேர் பண்ணி இருப்பாங்க. எடுத்து தடவி மட்டும் உங்களுக்கு என்ன பண்ணுவாங்க செஞ்சு கொடுத்துருவாங்க. அப்போ ஒரு பீசா பொறுத்தவரைக்குமே அதுல நிறைய லேயர்ஸ் இருக்கும் பட்சத்துல எல்லா லேயர்ஸையும் ஒரு செப்பே செய்யறது இல்ல. அந்த சில கடையில எல்லா லேயர்ஸையும் ஒரே செப்பே பாக்குறாங்க. இல்லையா அந்த மாதிரி நம்ம எந்த ஒரு டேட்டா ப்ராஜெக்ட்ஸ் எடுத்துக்கிட்டாலும் அதுல நிறைய லேயர்ஸ் இருக்கு. சோ டேட்டா இன்ஜினியரா இருக்கிற ஒரு ஆள் எல்லா டேட்டா லேயர் ப்ராஜெக்ட்லயும் வேலை செய்யலாம். செய்யாமையும் போகலாம். ஏதாவது ரெண்டு லேயர்ல கூட அவங்க வர்க் பண்ணிட்டு இருக்கலாம். சரி, என்னென்ன லேயர் இருக்கு? அப்படின்னு பாத்தீங்கன்னா, ரொம்ப ஈஸிதான். ரொம்ப கஷ்டம்ல இல்ல. சோ, டேட்டா இன்ஜினியரிங் லேயர்ஸ். சோ, இது வந்து நம்மளோட table notfound. com வெப்சைட்லதான் இந்த டேட்டா இன்ஜினியரிங் லேயர்ஸ் இருக்கு. நீங்க போய் இதை அக்சஸ் பண்ணிக்கலாம். டிஸ்கிரிப்ஷன்ல நான் லிங்க் குடுக்கறேன். — [செறுமுதல்] — ஓகே. ஃபர்ஸ்ட் வந்து டேட்டா சோர்ஸ் லேயர். நீங்க எந்த ஒரு டேட்டா ப்ராஜெக்ட்ல ஒர்க் பண்ணாலும் உங்களோட சோர்ஸ் என்ன அப்படின்றத தெரிஞ்சுக்கணும். இப்ப நீங்க வந்து ஒரு டேட்டாவை ப்ராசஸ் பண்ணனும். டேட்டாபேஸ்ல சீக்குவல் கமண்ட் அடிக்கணும். அதுக்கு முதல் டேட்டா வேணும் இல்லையா அந்த டேட்டாபேஸ்குள்ள அந்த டேட்டா வரணும் இல்லையா அது எங்க இருந்து வருதுங்கறத ஃபர்ஸ்ட் நம்ம அண்டர்ஸ்டாண்ட் பண்ணிக்கணும். ஓகே சோ இப்ப நீங்க டேட்டா சோர்ஸ்ன்னு எடுத்தீங்க அப்படின்னா டேட்டா சோர்ஸ் இந்த டேட்டா சோர்ஸ் என்னோட இப்ப நான் வந்து ஒரு பின்ற ஒரு டெக்னாலஜி யூஸ் பண்ணிக்கிட்டு இருக்கேன். இந்த டெக்னாலஜிக்கு எனக்கு இப்ப டேட்டா வேணும். சோ இந்த டெக்னாலஜிக்குள்ள டேட்டா வந்தாதான் என்னால ப்ராசஸ் பண்ண முடியும் அப்படின்னு வச்சுக்கலாம். சோ நம்ம என்ன பண்ணலாம்னா எல்லா டெக்னாலஜியோட பேரையும்ஏபிசிடி எு வச்சுக்கலாம். எஜின்னு வச்சுக்கலாம். இப்போதைக்கு நான் உங்களுக்கு எந்த ஒரு டெக்னாலஜி நேமும் கொடுக்க போறதில்லை. ஏன்னா அது உங்களுக்கு கன்பியூஸ் ஆகும். வீடியோவோட கடைசிில நான் டெக்னாலஜி நேம் எல்லாம் நான் கொடுத்துறேன். ஓகே சோ இப்ப இதுல இருந்து நம்ம பிய பிக் பண்ணியாச்சு. சோ பன்னு ஒரு டெக்னாலஜிக்கு டேட்டா வேணும். சரி இப்ப நீங்க Amazon ஆப் யூஸ் பண்றீங்கன்னு வச்சுக்கலாம். ஓகே இந்த Amazon ஆப்ல ஒரு ஆர்டர் ஒன்னு பிளேஸ் பண்றீங்க. அந்த ஆர்டர்ல பிளேஸ் பண்றப்ப என்னல்லாம் பண்ணுவீங்க அப்படின்னா லைக் உங்களோட டீடெல்ஸ் இருக்கும். உங்க பேமெண்ட் இன்பர்மேஷன்ஸ் இருக்கும் உங்களோட அட்ரஸ் இருக்கும். இந்த இன்பர்மேஷன்ஸ் எல்லாம் போய் இந்த ஆப்ல இருந்து இந்த பில போய் ஸ்டோர் ஆகும். ரைட் சோ இந்த பிய நம்ம ஒரு டேட்டாபேஸ்னு வச்சுக்கலாம். ஓகே டேட்டாபேஸ்க்கு டேட்டா வேணும். சோ எங்க இருந்து வருதுன்னு ஒரு ஆப்ல இருந்து வருது. சரி வேற எங்கிருந்து எல்லாம் ஒரு டேட்டாபேஸ்க்கு டேட்டா வரலாம். ஓகே சோ வந்துஃைல்ஸ்ல இருந்து வரலாமா ஒருஃைல்ஸயே நான் வந்து லோட் பண்ணலாம். இல்ல அந்த பிங்கிற டேட்டாபேஸ்கஏங்கிற இன்னொரு டேட்டாபேஸ்ல இருந்து கூட டேட்டா வரலாம். ஓகே சோ நமக்கு டேட்டா எப்பவுமே வந்து ஒருஃைல்ல இருந்து போல்டர்ல இருந்து தான் வரணும்னு கிடையாது. அது இன்னொரு டெக்னாலஜில இருந்து கூட வரலாம். இன்னொரு டேட்டாபேஸ்ல இருந்து கூட நமக்கு வரலாம். இப்ப இது எல்லாமே டெக்னாலஜிதான்ஏபிசிடி எ இப்ப எுனு ஒரு டெக்னாலஜில இருந்து கூட நமக்கு டேட்டா வரலாம். சோ நமக்கு டேட்டா எங்கிருந்து வருதுங்கறத நம்ம ஃபர்ஸ்ட் தெரிஞ்சுக்கணும். அது ஒரு ஃபைலா இருக்கலாம் போல்டரா இருக்கலாம் இல்ல அது இன்னொரு டெக்னாலஜியா கூட இருக்கலாம். சோ டேட்டா எங்கிருந்து வருதோ அவங்கள நம்ம அப்ஸ்ட்ரீம்னு சொல்லுவோம். அவங்களுக்கு நம்ம டவுன் ஸ்ட்ரீம். ஓகேங்களா சோ அதே மாதிரி நம்ம டேட்டாவ வாங்கி யாருக்காவது கொடுக்குறோம் அப்படின்னா நம்ம அப்ஸ்ட்ரீம் ஆயிருவோம். நம்மகிட்ட இருந்து வாங்குறவங்க டவுன் ஸ்ட்ரீம் ஆயிருவாங்க. அவங்க இன்னொரு டீமா இருக்கலாம். ஓகேவாஃபைன். சரி இப்போ அடுத்து சோ அடுத்து நமக்கு டேட்டா இன்ஜக்ஷன் லேயர் அதாவது சோ இப்ப நம்ம அதே டேட்டா இன்ஜக்ஷன் லேயருக்கு போயிரலாம். இப்ப இங்க நமக்கு வந்து ஆப்ல இருந்து இந்த பிங்கிற நம்ம டேட்டாபேஸ்க்கு டேட்டாவை ஃபெட்ச் பண்றோம் இல்லையா? சோ இந்த மாதிரி வாங்கிக்கிறோம் இல்லையாஃபைல்ஸ்ல இருந்தோ இல்ல இருந்தோ இங்க இருந்தோ அந்த மாதிரி இந்த ஃபெட்ச் பண்றதுக்கு நமக்கு ஒரு டெக்னாலஜி வேணும். அண்ட் இந்த ஆப்ல இருந்து ஃபச் பண்ணி அத நம்ம இந்த டெக்னாலஜிக்குள்ள கொண்டு வந்து போடுறோம் இல்லையா அதைதான் நம்ம வந்து இன்ஜக்ஷன் லேயர்ன்னு சொல்லுவோம். ஓகே சோ அது எங்க இருந்து எங்க வேணாலும் இருக்கலாம். இப்போ Aல இருந்து F-ன்னு ஒரு டெக்னாலஜிக்கு டேட்டாவ அனுப்பணும்னாலும் இந்த அனுப்புறதுக்கு பேருதான் நம்ம அத இன்ஜஷன் அப்படின்னு நம்ம சொல்லுவோம். ஓகே சோ இப்ப அதுக்கு நம்ம ஒரு டெக்னாலஜிஃர் எக்ஸாம்பிள் இன்ற ஒரு டெக்னாலஜிய நம்ம யூஸ் பண்ணலாம் அப்படின்னு வச்சுக்கலாம். ஓகேவா சோ இங்கிற டெக்னாலஜி யூஸ் பண்ணி நம்ம ஒரு டெக்னாலஜில இருந்து இன்னொரு டெக்னாலஜிக்கு டேட்டாவ நம்ம இன்ச் பண்றோம். ரைட்ஃைன் அடுத்து வந்து டேட்டா வேலிடேஷன் லேயர் சோ டேட்டா வேலிடேஷன் அப்படிங்கறது

### Segment 2 (05:00 - 10:00) [5:00]

இப்ப நீங்க வந்து ஒரு டேட்டால இருக்கற அந்த குவாலிட்டிய வந்து செக் பண்ணனும்ஃபர் எக்ஸாம்பிள் நீங்க வந்து ஒரு மைக்ரேஷன் டேட்டா மைக்ரேஷன் ப்ராஜெக்ட்ல இருக்கீங்கன்னு வச்சுக்கலாம் அதாவதுஏன்னு ஒரு டேட்டாபேஸ்ல இருந்து பின்னு ஒரு டேட்டாபேஸ்க்கு எல்லா டேட்டாவையும் மைக்ரேட் பண்ண சொல்லிட்டாங்க சரிங்களா அப்போ இங்கிருந்து ஒரு 10 ரெக்கார்ட்ஸ ஓகே சோ இங்க பிக்கு வந்து நீங்க மைக்ரேட் பண்ணும்போது அங்கேயும் 10 ரெக்கார்ட்ஸ் வந்துருச்சா நான் ஒரே எக்ஸாம்பிள் தான் சொல்றேன் டேட்டா குவாலிட்டில நிறைய விஷயம் பண்ணுவோம் அதுல ஒரு எக்ஸாம்பிள் நான் சொல்றேன் ரோ கவுண்ட்ன்னு வச்சுக்கலாம். டேட்டா குவாலிட்டில ரோ கவுண்ட் நம்ம பண்ணுவோம். சோ இங்க 10 ரெக்கார்ட் இருக்கு கொண்டு வந்து போட்டதுக்கு அப்புறமும் 10 ரெக்கார்டு இருக்கா அப்படிங்கறத நம்ம வந்து ஐடென்டிபை பண்ணனும் இல்ல எனக்கு ஒன்பது தான் இருக்கு அப்படின்னா அந்த இடத்துல டேட்டா குவாலிட்டில இஸ்யூ இருக்கு அப்படின்றது அர்த்தம். இல்ல இங்க வந்து நம்மகிட்ட வந்து நேம் ஏஜ் அட்ரஸ்ன்னு மூணு காலம் இருக்கு. இங்க வரப்போ என்ட்ட நேம் ஏஜ் மட்டும்தான் வந்திருக்கு. ஏதோ ரீசனால அட்ரஸ் காலம் வரல. காலம் லெவல் செக்கும் பண்ணனும் ரோ லெவல் செக்கும் பண்ணனும். இதெல்லாம் வந்து டேட்டா குவாலிட்டில ஒரு எக்ஸாம்பிள். சோ இத நீங்க எந்த டெக்னாலஜி வச்சு வேணாலும் பண்ணலாம். நீங்க பைதான்ல பண்ணலாம் இல்ல சீக்குவல்ல பண்ணலாம். இல்ல நான் வந்து பிக் டேட்டால ஏதாவது ஒரு டெக்னாலஜி யூஸ் பண்ணி பண்ணட்டுமான்னு கேட்டாலும் பண்ணலாம். இப்ப இதெல்லாம் இந்தஏபிசிடி நான் சொன்னது எல்லாமே பிக் டேட்டா டெக்னாலஜி இதுல ஏதாவது ஒன்ன சூஸ் பண்ணி நான் பண்ணலாம்னா கூட நீங்க தாராளமா பண்ணலாம். ஓகே சோ இது வந்து வேலிடேஷன் லேயர். அடுத்து டேட்டா ஸ்டோரேஜ் லேயர் சோ நீங்க டேட்டாவ ஸ்டோர் பண்றீங்க இப்ப இந்த எக்ஸாம்பிள் எடுத்துக்கலாம் இந்த டேட்டா சோர்ஸ்லயே நம்ம பிங்கிற ஒரு டேட்டாபேஸ்ல நம்ம ஸ்டோர் பண்றோம்னு சொல்லோம் இந்த டேட்டாபேஸ்னு சொன்னனால சோ இதுவே ஒரு ஸ்டோரேஜ் லேயர்கான எக்ஸாம்பிள் தான் பட் ஸ்டோரேஜ் அப்படின்னா ரெண்டு விஷயம். ஸ்டோரேஜ் அப்படின்னா அதுல ரெண்டு இருக்கு. ஓகே இப்பஃபர் எக்ஸாம்பிள் இப்போ இது என்னோட விண்டோஸ் OS தான் இல்லையா சோ இப்ப இந்த விண்டோஸ் OSல பார்த்தீங்க அப்படின்னா என்னோட டெஸ்க்டாப் நான் கிளிக் பண்ணேன்னா நிறையஃபைல்ஸ் வந்து நான் சேவ் பண்ணி இருப்பேன். இப்ப இந்த இமேஜ் நான் உங்களுக்கு அந்த பீசா இமேஜ காமிச்சேன் பாருங்க ஸ்டோர் பண்ணிருக்கேன். சோ ஒரு டேட்டாவை டேட்டாபேஸ்ல தான் ஸ்டோர் பண்ணனும்னு இல்ல இல்லையா என்னோட விண்டோஸ் சிஸ்டம்ல கூட நான் ஸ்டோர் பண்ணிருக்கேன். இப்ப உங்களது மேக் லேப்டாப்பா இருந்ததுன்னா மேக்ல கூடதான் ஸ்டோர் பண்ணுவீங்க. ரைட் அப்ப ஸ்டோரேஜ்ங்கறது டேட்டாபேஸ்ல மட்டும் நடக்கறது கிடையாது. ஓகே சோ தர் இஸ் சம்திங் கால்ட்ஃைல் சிஸ்டம் அப்படின்னு சொல்லுவாங்க. சோஃபைல் சிஸ்டம் அப்படின்னா என்னன்னா இப்பஃபைல் சிஸ்டம் எங்க இருக்கும் அப்படின்னா உங்க லேப்டாப்ல இருக்கும். இப்ப நீங்க விண்டோஸ் ஆபரேட்டிங் சிஸ்டம் யூஸ் பண்ணீங்கன்னாஃபைல் சிஸ்டம் யூஸ் பண்றீங்கன்னு அர்த்தம். எல்லா OS கூடயே ஒரு ஃபைல் சிஸ்டம் வரும். Linux யூஸ் பண்றீங்கன்னா அது ஒரு ஃபைல் சிஸ்டம். Mac அப்ப ஸ்டோரேஜ்ங்கறது டேட்டாபேஸ்ல பண்ணுவாங்க. இல்லைன்னா ஃபைல் சிஸ்டம்ல பண்ணுவாங்க. ஓகேவா டேட்டாபேஸ்னா ஆரக்கள் மை சீக்குவல் இல்ல நோ சீக்குவல் டேட்டாபேஸ் h பேஸ் மாங்கோடிபி இதெல்லாம் நோ சீக்குவல் டேட்டாபேஸ் இல்லையா சோ இதுல பண்ணலாம். ஃபைல் சிஸ்டம் அப்படின்னா இப்ப நம்ம விண்டோஸ்ஃைல் சிஸ்டம் இல்லனஸ்ஃபைல் சிஸ்டம் சொல்லலாம் இல்ல பிக் டேட்டால சொல்லணும்னா ஹடுப் பைல் சிஸ்டம்ஹடிஎஸ்ன்னு சொல்லுவாங்க இதெல்லாம் நம்ம பின்னாடி பாப்போம் ஓகே சோ இத இந்த மாதிரி டெக்ஸ்ட்லல்லாம் நீங்க ஒர்க் பண்ணீங்கன்னா நீங்க டேட்டா ஸ்டோரேஜ் லேயர்ல ஒர்க் பண்றீங்கங்கறது அர்த்தம். நெக்ஸ்ட் ப்ராசஸங் லேயர் அண்ட் டிரான்ஸ்பர்மேஷன் லேயர் சோ இது ரெண்டையும் நிறைய ப்ராஜெக்ட்ல சேர்த்து ஒன்னாவே சொல்லுவாங்க எதர் ப்ராசஸங் லேயர்னு சொல்லுவாங்க இல்ல டிரான்ஸ்பர்மேஷன் லேயர்னு சொல்லுவாங்க ஆனா இது ரெண்டுமே பாத்தீங்கன்னா ஒரே விஷயம்தான் ஓகே ஒரே மாதிரியே குறிக்கலாம் சோ எதனால இத ப்ராசசிங் லேயர்னு அடுத்து இருக்கறத டிரான்ஸ்பார்ம் லேயர்னு சொல்றாங்க அப்படிங்கறத நான் சொல்றேன் டேட்டா ப்ராசசிங் லேயர் அப்படின்னா கிளீன் டேட்டாவ கிளீன் பண்ற பர்ஸ்பெக்டிவல செய்யற எல்லா ஜாப்ஸும் ப்ராசிங் லேயர்னு சொல்லுவோம் இப்பஃர் எக்ஸாம்பிள் எனக்கு ஒரு பெரிய அனாலிசிஸ் பண்ணனும். ஆனா அதுக்கு முன்னாடி டேட்டா வந்து ரொம்ப மெஸ்ஸா இருக்கு. அதெல்லாம் கிளீன் பண்ணனும். நிறைய நல்ல இருக்கு. அதே மாதிரி வந்து அட்ரஸ்ல வந்து அட்ரஸ் ரிப்பீட்டடா அட்ரஸ் அட்ரஸ்ன்னு போட்டுருக்காங்க. சோ இதெல்லாம் எனக்கு கிளீன் பண்ணி வேணும். சோ அந்த மாதிரி ரெக்வர்மெண்ட்லாம் நமக்கு வரும். சோ அதை எல்லாம் நம்ம என்ன பண்ணுவோம்னா டேட்டா ப்ராசஸங் லேயர்னு சொல்லி ப்ரீ ப்ராசஸ் அதாவது ஆக்சுவல் ப்ராசஸ் நடக்கறதுக்கு முன்னாடி பண்றதுக்கு பேரு ப்ரீ ப்ராப்ராசஸ் அதுல கிளீன் பண்ணுவோம் நாங்க. ஓகேங்களா சோ இப்போ இப்ப இதுலயே பாருங்க இந்த டேட்டா ப்ராசஸங் லேயரும் இந்த டேட்டா ட்ரான்ஸ்பார்மேஷன் லேயர் இது ரெண்டும் ஒரே டெக்னாலஜிலயே செய்யலாம். ஓகே பைதான்லயே செய்யலாம். இல்ல சீக்குவல்லயே செய்யலாம். இல்ல நம்ம பிக் டேட்டால ஸ்பார்க்னு ஒரு காம்பனன்ட் இருக்கு. அந்த ஸ்பார்க் வச்சு கூட இந்த ரெண்டையுமே நம்ம செய்யலாம். கிளீனும் ஸ்பார்க்ல செய்யலாம் ட்ரான்ஸ்பர்மேஷனும் ஸ்பார்க்ல செய்யலாம். சரி கிளீன் பண்ற மாதிரி விஷயங்கள் எல்லாம் நீங்க ப்ராசஸங்னு சொல்றீங்க. சி இன்னொன்னு நான் சொல்றேன் நீங்க இன்டர்வியூலல்லாம் போய் சொல்லும் பொழுது நீங்க டேட்டா ப்ராசஸங்னு சொன்னா அத டிரான்ஸ்பர்மேஷனையும் சேர்த்துதான் குறிக்கும். இது ரெண்டையும் நீங்க பிரிச்சு சொல்லணும்ன்றது கிடையாது. பட் நம்ம படிக்கிற இடத்துல இருக்கறதுனால நான் உங்களுக்கு இத டீடைலா சொல்லிக்கிட்டு இருக்கேன். சோ ட்ரான்ஸ்பர்மேஷன் லேயர் அப்படின்னா பிசினஸ் லாஜிக். இப்ப இங்க நீங்க வந்து கிளீன் பண்றதுக்கான லாஜிக் தான் அடிப்பீங்க. பிசினஸ்க்கு தேவையான லாஜிக் அடிக்க மாட்டீங்க. இப்ப பிசினஸ்க்கு தேவைன்னா இப்ப நீங்க Amazonல வேலை செய்றீங்க. சோ Amazonல வந்து சொல்றாங்க நீங்க ஒரு டேட்டா இன்ஜினியரா இருக்கீங்க. ஒரு டேட்டா அனலிஸ்டா இருக்கீங்கன்னா உங்கள்ட்ட கேக்குறாங்க. நம்ம லாஸ்ட் ஒரு வீக்கா எந்தெந்த கஸ்டமருக்கு எல்லாம் நம்ம ஆஃபர்ஸ் ப்ரொவைட் பண்ணோம். இந்த இன்பர்மேஷன்ஸ எடுங்க அப்படின்னு சொல்றாங்க. அதுதான் பிசினஸ் லாஜிக். சோ அத நம்ம இங்க பண்ணுவோம். அத ஸ்பார்க்கோ சீக்கோலோ பைதானோ யூஸ் பண்ணி பண்ணனும். அண்ட் அது பண்றதுக்கு நமக்கு டேட்டா கிளீனா இருக்கணும். அத நம்ம இங்க பண்ணுவோம். ஓகேங்களாஃபைன் சோ அடுத்து வந்து ஆர்கெஸ்ட்ரேஷன் லேயர் ஸ்கெட்ூலிங் லேயர் சோ இது ரெண்டையுமே சேர்த்து ஆர்க்கெஸ்ட்ரேஷன் லேயர்ன்னு சொல்லுவாங்க இல்லைன்னா ஸ்கெட்ூலிங் லேயர் அப்படின்னு

### Segment 3 (10:00 - 15:00) [10:00]

சொல்லுவாங்க. சோ ஆர்கெஸ்ட்ரேஷன் லேயர் அண்ட் டேட்டா ஸ்கெட்ூலிங் லேயர். சோ இதுல என்ன நடக்கும் அப்படிங்கறத நான் உங்களுக்கு சொல்றேன். ஓகே ஃபர்ஸ்ட் நம்ம ஆர்க்கெஸ்ட்ரேஷன் லேயர்ன்னு எடுத்துக்கலாம். இப்போ உங்கள்ட்ட a ன்னு வந்து ஒரு ஜாப் இருக்கு. பன்னு இந்த ஜாப் அப்படிங்கறது எத குறிக்கணும்னா ஒரு பைதான் கோடோ சீக்குவல் கோடோ ஸ்பார்க் கோடோ ஏதோ வச்சுக்கோங்க. சோ aங்கிற ஜாப் முடிஞ்சதுக்கு அப்புறம்தான் பி ரன் ஆகணும். பங்கிற ஜாப் முடிஞ்சதுக்கு அப்புறம்தான் சி ரன் ஆகணும். ஏ முடிஞ்ச உடனே டைரக்டாசி ரன் ஆயிட கூடாது. சோ இந்த மாதிரி டிபெண்டன்சி எல்லாம் நம்ம செட் பண்ணுவோம் இல்லையா சோ இததான் ஒொர்க்ஃளோ மேனேஜ்மெண்ட் அப்படின்னு சொல்லுவாங்க. சோ இததான் ஆர்கெஸ்ட்ரேஷன் அப்படின்னு சொல்லுவாங்க. சரி அடுத்து நம்ம ஸ்கெடியூலிங் ஒன்னு பார்த்தோமா இப்போஏங்கிற ஜாப் 9 மணி காலையில ஓடணும். பிங்கிற ஜாப்ரடு மணி மத்தியானம் ஓடணும். அண்தன்சிங்கிற ஜாப் 10 மணி நைட் ஓடணும். சோ இத ஒவ்வொரு டைம் நான் அலாரம் வச்சு நான் போய் பண்ணிட்டு இருக்க முடியாது. இதெல்லாம் நம்ம ஆட்டோமேட்டிக்கா ஸ்கெட்ூல் பண்ணனும். அததான் டேட்டா ஸ்கெடியூலிங் அப்படின்னு சொல்லுவோம். இந்த ஆர்க்கெஸ்ட்ரேஷன் இந்த ஸ்கெடியூலிங்கும் சேர்த்து ஒரே டெக்னாலஜி எல்லாம் இருக்கு பண்ண முடியும். அதை நம்ம வந்து நான் இப்பவே சொல்றேன் உங்களுக்கு ஏர்ஃப்ளோ அப்படின்னு சொல்லுவோம். ஏர்ஃப்ளோ அப்படிங்கறது ஒரு டெக்னாலஜி இதை யூஸ் பண்ணி நம்ம ஆர்க்கெஸ்ட்ரேஷன் அண்ட் ஸ்கெட்ூலிங் ரெண்டுமே பண்ண முடியும். ஓகேங்களா சோ நம்ம வந்து ஆர்கெஸ்ட்ரேஷன் லேயர் ஸ்கெட்ூலிங் லேயர சில ப்ராஜெக்ட்ல சேர்த்து ஆர்க்கெஸ்ட்ரேஷன் லேயர்னு சொல்லுவாங்க இல்ல சில ப்ராஜெக்ட்ல ஸ்கெட்ூலிங் லேயர்னே ரெண்டையும் சேர்த்தே சொல்லுவாங்க ஓகேங்களா பட் அது ரெண்டுக்கும் ஒரு நூல அளவு டிஃபரன்ஸ் இருக்குங்கறத நம்ம தெரிஞ்சுக்கணும். ஃபைன் அடுத்து வந்து டேட்டா பைப்லைன் லேயர். டேட்டா பைப்லைன் அப்படின்னா இப்ப நம்ம இங்க இருக்கற எல்லா நான் ஒரு 16 லேயர்ஸ உங்களுக்கு காமிக்க போறேன். இந்த 16 லேயர்ஸையும் ஆர்கனைஸ் பண்ணி ஒரு பைப்லைன் மாதிரி நீங்க அத பில்ட் பண்ணி அப்படியே எல்லா அதாவது வேலைய அதது கரெக்டா செய்ய வைக்கணும். சோ அததான் நம்ம எண்ட் டு எண்ட் பைப்லைன் லேயர் அப்படின்னு சொல்லுவோம். ஓகேங்களா சோ இததான் டேட்டா பைப்லைன் அப்படின்னு நம்ம சொல்லுவோம். ஓகே சோ இப்ப நான் உங்கள வந்து ஆர்கெஸ்ட்ரேஷன் லேயர் ஸ்கெட்ூலிங் லேயர்ல்லாம் சொன்னேன் இல்லையா சோ இதுல வந்து ஏர்ஃப்ளோன்னு ஒரு டெக்னாலஜி சொன்னேன் இல்லையா சோ ஏர்ஃப்ளோ வச்சு நம்ம இந்த எல்லா ப்ராசஸயும் பைப்லைன்ா பில்ட் பண்ணி ஒரு ஃப்ளோவா கிரியேட் பண்ண முடியும். ஓகேங்களா சோ அதான் நம்ம வந்து பைப்லைன் லேயர் அப்படின்னு நம்ம சொல்லுவோம். சோ அப்ப நம்ம வந்து ஏர் ஃப்ளோ யூஸ் பண்ணா அது பைப்லைன் லேயரையும் பண்ணுமா அப்படின்னா எஸ் பண்ணும். சில டெக்னாலஜி ஆர்கெஸ்ட்ரேஷன் அண்ட் ஸ்கெட்ூலிங் மட்டும் பண்ணும் பைப்லைன் பண்ணாது. ஓகேங்களா சோ ஏர் ஃப்ளோ பொறுத்த வரைக்கும் இது மூணுமே அதால பண்ண முடியும். ஓகே. சோ அதனால நீங்க என்னடா இவன் வந்து ஆர்கெஸ்ட்ரேஷன் அண்ட் ஸ்கெட்ூலிங் ஒன்னா கூப்பிடலாம்னா இப்ப திடீர்னு பைப்லைன் லேயரையும் அதுக்குள்ளேயே ஆட் பண்றேன்னா வந்து இது ரெண்டையும் கூப்பிடுற அந்த டினோஷன்க்குள்ள இத நான் எடுத்துட்டு போகல. இது ரெண்டும் பண்ணக்கூடிய டெக்னாலஜியான ஏர் ஃப்ளோவால நம்ம பைப்லைனையும் பில்ட் பண்ண முடியும்னுதான் சொல்றேன். ஓகேங்களா? ரைட் அடுத்து டேட்டா விசுவலைசேஷன் லேயர். இது உங்களுக்கு தெரிஞ்சிருக்கும். நம்ம டேப்லூ, பவர் பிஐ மாதிரி டூல்ஸ் எல்லாம் யூஸ் பண்ணி டேட்டாவை பை சார்ட், கிராப் சார்ட் ஒரு டேஷ் போர்டா நம்ம பில்ட் பண்ணனும். இப்போ ஒன்னும் இல்ல. இதுவே ஒரு விசுவலைசேஷன். உங்களுக்கு நான் காமிச்சுிட்டு இருக்க இந்த சைட்டே ஒரு விசுவலைசேஷன் இல்லையா? நான் வந்து இத மொத்தத்தையும் ஒரு பேராகிராஃப் அடிச்சு உங்கள்ிட்ட அப்படியே எக்ஸ்பிளைன் பண்ணிட்டு இருந்தேன்னா உங்களுக்கு போர் அடிக்கும் இல்லையா? சோ, அதனால குட்டியா ஒரு அனிமேஷன்ஸ் எல்லாம் போட்டு hடிmlல்லாம் நான் போட்டு வச்சிருக்கேன் இங்க. அப்ப இது வந்து உங்களுக்கு இன்ட்ரஸ்டிங்கா இருக்கு. ஓகே சோ நெக்ஸ்ட் வந்து டேட்டா செக்யூரிட்டி அண்ட் கவர்னன்ஸ் லேயர். சோ கூட சேர்த்து செக்யூரிட்டி லேயர்ன்னு சொல்லுவாங்க. இல்ல கவர்னன்ஸ் லேயர்னு சொல்லுவாங்க. சோ இதை வந்து டேட்டா இன்ஜினியர்ஸ் பண்ணுவாங்களான்னு கேட்டா பண்ண மாட்டாங்க. நாம இதை பண்ணவே மாட்டோம். சோ இதுக்குன்னு செப்பரேட் டீம் இருக்கும். அந்த டீம் தான் இந்த ஒர்க் எல்லாம் பண்ணுவாங்க. இப்ப டேட்டா செக்யூரிட்டினா நம்மளோட டேட்டா வந்து என்கிரிப்ட் பண்ணி டிகிரிப்ட் பண்ணி இல்ல பாஸ்வேர்ட்ஸ மாஸ்க் பண்ணி இந்த மாதிரி விஷயங்கள் எல்லாம் நடக்கறது வந்து டேட்டா செக்யூரிட்டி டீம் பண்ணும். கவர்னன்ஸ் லேயர் அப்படின்னா இப்ப வந்து ஒரு பாலிசி ஸ்டாண்டர்ட வந்து பில்ட் பண்ணனும். இப்ப ஃபர் எக்ஸாம்பிள் நீங்கஏன்னு ஒரு கண்ட்ரி இருக்கு பின்னு ஒரு கண்ட்ரி இருக்கு. இந்த ரெண்டு கண்ட்ரியோட டேட்டாவையும் சேர்த்து என்னைக்குமே நீங்க ப்ராசஸ் பண்ணக்கூடாது. இது வந்து பாலிசி கிடையாது அப்படின்னு ஒரு பாலிசிய நம்ம செட் பண்றோம். ஓகேங்களா சோ இப்பஃபர் எக்ஸாம்பிள் இப்ப நீங்க பாலிசி ஸ்டாண்டர்ட்ஸ் அப்படின்னு நீங்க எடுத்துக்கிட்டீங்கன்னா இப்ப நமக்கு ஆர்பிஐ இருக்கு இல்லையா சோ rர்பிஐ எப்படி சொல்றாங்க நம்மளோட அந்த பணத்தை எப்படி டிரான்ஸ்பர் பண்ணனும் அப்படிங்கறதுக்கு அவங்க ஒரு கைடன்ஸ் செட் பண்றாங்க இல்லையா ஒரு கவர்னன்ஸ் அதைதான் நம்ம வந்து கவர்னன்ஸ் அப்படின்னு சொல்லுவோம் ஸ்டாண்டர்ட்ஸ் பாலிசிஸ் இதெல்லாம் நம்ம வந்து நம்ம கம்பெனி ஒவ்வொரு கம்பெனிக்கும் அரசாங்கம் இப்படிதான் நீங்க டேட்டாவை ஹேண்டில் பண்ணனும்ங்கறதுக்கு ஒரு பாலிசிஃபாலோ பண்ணி செட் பண்ணி இருப்பாங்க அது அடிப்பட்ட லெவல்ல இருக்கற நம்மள மாதிரி சாப்ட்வேர் ஆர் டேட்டா இன்ஜினியர்ஸ்க்கு தெரியாது. ரைட் அப்போ அத வந்து அந்த கம்பெனில ஒரு டீம் இருப்பாங்க அவங்க நமக்கு நம்ம தப்பு பண்றப்ப சொல்லுவாங்க நீங்க இத இப்படி பண்ணாதீங்க இந்த மாதிரி நம்ம பண்ண கூடாது அப்படிங்கிற விஷயங்களை அவங்க நமக்கு சொல்லுவாங்க அடுத்து மெட்டடேட்டா மேனேஜ்மெண்ட் லேயர் சோ மெட்டடேட்டா மேனேஜ்மெண்ட் லேயர் அப்படின்னா இப்ப நம்ம இதே எக்ஸாம்பிள் எடுத்துக்குவோம் இப்பஏங்கிற ஜாப் 9:00 மணிக்கு முடியணும் அப்படின்னா முடிஞ்சிருச்சு அப்படின்னா அது ஒரு இடத்துல போய் ஒரு என்ட்ரி போடணும் நம்ம முடிஞ்சிருச்சு அடுத்து இந்த பிங்கிற ஜாப் இந்த என்ட்ரிய போய் பார்த்துட்டு அடுத்து ஓகே அது முடிஞ்சிருச்சு நம்ம அடுத்து ஸ்டார்ட் பண்ணுவோம் அப்ப அதுக்கு ஒரு என்ட்ரி போடணும் இந்த மாதிரி ஒரு டேட்டா எபவுட் டேட்டாவ மெட்டடேட்டான்னு சொல்லுவோம். இப்போ நான் வந்து நீங்க கேக்குறீங்க உங்க பேர் என்னன்னு கேக்குறீங்க நான் கௌதம் சொல்றேன். அடுத்து உங்க அட்ரஸ் என்னன்னு கேக்குறீங்க அப்ப டேட்டாவுக்கு டேட்டா கேக்குறீங்க. நான் கௌதம்னு சொன்னதே ஒரு டேட்டாதான் அந்த டேட்டாவுக்கு அகைன் ஒரு டேட்டா கேக்குறீங்க டேட்டாஅபட் டேட்டா இஸ் கால்ட் மெட்டடேட்டா அப்போ இது ஒரு ஜாப் 9 மணிக்கு ஓடணும் அப்படிங்கறது ஒரு இன்பர்மேஷன் அந்த

### Segment 4 (15:00 - 20:00) [15:00]

இன்பர்மேஷனுக்கு அகைன் ஒரு இன்பர்மேஷன நம்ம ரெடி பண்றோம் இல்லையா என்ட்ரி அதுக்கு ஒரு என்ட்ரி போடுறோம் இல்லையா சோ இதெல்லாம் நம்ம மெட்டடேட்டான்னு சொல்லுவோம். அதே மாதிரி ஸ்கீமா நம்ம டேபிள்ஸ்ல இருக்கற ஸ்கீமாவை மெயின்டென் பண்றதுக்கு சோ இது எல்லாத்தையுமே வந்து நம்ம சோ இது மெட்டடேட்டாவுக்கு நான் கொடுத்தது ஒரு சின்ன எக்ஸாம்பிள் அந்த மாதிரி நிறைய மெட்டடேட்டா மேனேஜ்மெண்ட் பார்ட் இருக்கு. சோ இத நம்ம என்ன பண்ணலாம் அப்படின்னா நம்ம வந்து கோயிங்ஃபார்வர்ட் நம்ம ப்ராஜெக்ட்ஸ் எல்லாம் பண்ணும் பொழுது இந்த பார்ட்ட பத்தி நான் எக்ஸ்பிளைன் பண்றேன் இன்னும் டீடைல்டா உங்களுக்கு புரியும். ஓகே சோ அடுத்து டேட்டா லீனியேஜ் லேயர் அதாவது நம்மளோட கம்ப்ளீட் பைப் லைன் சோ நம்ம இங்க பைப்லைன்னு பாத்தோமா ரைட் பைப்லைன் சோ லீனியேஜ்னா என்ன மகன் அப்பா தாத்தா அப்படின்னு நம்ம சொல்லுவோம் இல்லையா அதுதான் நம்ம லீனியேஜ்னு சொல்லுவோம் அது நம்ம ஃபேமிலியோட லீனியேஜ் அப்போ ஒரு பைப்லைன்ல டேட்டா எங்கிருந்து வருது ஃபர்ஸ்ட் எங்க ஸ்டார்ட் ஆச்சு பைனலா எங்க வருதுங்கற அந்த லீனியேஜ் ஆர்டர மெயின்டென் பண்றது அதெல்லாம் வந்து பைப்லைன் லேயர்லயே என்ன டெக்னாலஜி நம்ம பைப்லைன் லேயர் பில்ட் பண்றதுக்கு யூஸ் பண்றோமோ அதுவே அந்த லீனியேஜ்ும் பார்த்துக்கும் சோ அத தனியா லீனியேஜ் லேயர்னு சொல்லுவாங்க. இத அட்லீஸ்ட் நம்ம கேட்டு வச்சுக்கிறது நல்லது இத நம்ம பிராக்டிகலா பண்ண மாட்டோம். நம்ம மீன்ஸ் ரியல்லயே பண்ண மாட்டோம் நம்ம கோர்ஸ்லயும் சொல்ல வரல ரியல்லயே பண்ண மாட்டோம். சோ இத நம்ம கேட்டு வச்சுக்கிறது நல்லது காதுல நம்ம அட்லீஸ்ட் இத கேட்ுருக்கோம் அப்படிங்கறது. ஃபைன் சோ அடுத்து வந்து பாத்தீங்க அப்படின்னா மானிட்டரிங் லேயர் அதாவது உங்க எவ்வளோு ரேம் செலவாச்சு எந்தெந்த ஜாப்ஸ் ஸ்லோவா ஓடுது எந்தெந்த ஜாப்ஸ் எல்லாம் நல்லா ஓடுது சோ இந்த மாதிரி இன்பர்மேஷன்ஸ் எல்லாத்தையும் நம்ம வந்து மானிட்டர் பண்றததான் நம்ம வந்து மானிட்டர்லன்றோம். இதுக்கும் நிறைய டூல்ஸ் இருக்கு. அண்ட் இதையும் டேட்டா இன்ஜினியர்ஸ் பண்ண மாட்டாங்க. செப்ரேட் அட்மின் டீம் இருக்கும். இல்ல ஆப்ஸ் டீம்னு சொல்லுவாங்க. அவங்கதான் இதை டேக் கேர் பண்ணிக்குவாங்க. நம்ம பண்ணனும்ங்கிற அந்த நெசசிட்டி இல்ல. இப்ப ஒரு பர்டிகுலர் சிஸ்டம் மெஷின் கிளவுட்ல ஓடிிட்டு இருக்கற ஒரு மெஷின் திடீர்னு டெட் ஆயிடுச்சு. அதை அவங்க பார்த்து ரெக்கவர் பண்றதோ இல்ல வேற ஒரு மிெஷின கிளவுட்ல கிரியேட் பண்றதோ அந்த மாதிரி வேலை எல்லாம் செய்வாங்க. மோஸ்ட்லி அட்மின்ஸ் தான் இந்த வேலையை செய்வாங்க. அடுத்து மெஷின் லேர்னிங் லேயர். அதாவது, நம்ம இவ்வளவு நேரம் பண்ண அந்த எல்லா ப்ராசஸ் பண்ணி, டிரான்ஸ்ஃபார்ம் பண்ணி, டேட்டாவை பக்காவா நம்ம ரெடி பண்ணி வச்சிருந்தோம் அப்படின்னா, அந்த டேட்டாவை மெஷின் லேர்னிங் டீம் வந்து எடுத்துட்டு போய் அவங்களோட மாடல்ஸ்க்கு இன்புட்டா கொடுப்பாங்க. சோ, அப்படிங்கிறப்ப என்ன ஆகும்? அவங்க பில்ட் பண்ணி வச்சிருக்கற மாடலுக்கு இன்டெலிஜன்ஸ டெவலப் பண்றதுக்கு நம்மளோட டேட்டாவை எடுத்துட்டு போய் கொடுப்பாங்க. ஓகேங்களா சோ இப்ப நம்ம வந்து கிளாட் ஆகட்டும் இல்ல ஓபன்ஏோட மாடல் ஜிபிடி மாடல்ஸ் எல்லாம் எப்படி இவ்ளோ இன்டெலிஜென்ட்டா இருக்குன்னா அவ்வளோு டேட்டாவ அதுகிட்ட நம்ம கொடுக்கறதுனாலதான் அது இன்டெலிஜென்ட் ஆகுது. லேர்ன் பண்ணிக்கிற கெபாசிட்டி அதுகிட்ட இருந்தாலும் கூட அதுக்கு டேட்டாவை கொடுத்தாதான லேர்ன் பண்ண முடியும். ரைட் ஒரு குழந்தைஏபிசிடி இட் வரைக்கும் சொல்றதுக்கு அதால முடியும்னா ஃபர்ஸ்ட் அதுக்குஏபிசிடி இட் வரைக்கும் சொல்றதுக்கு ஒரு புக்கோ இல்ல டேட்டாவோ நம்ம கொடுத்து சொல்லி கொடுக்கணும் இல்லையா லேர்ன் பண்ற கெபாசிட்டி அங்கனாலும் டேட்டாவ நம்ம கொடுக்கணும். அதே ஏ டு இசட்ட நீங்க ஷஃபில் பண்ணி கொடுத்தீங்க அப்படின்னு வச்சுக்கோங்க அந்த குழந்தை சபில் பண்ணிதான் படிக்கும். ரைட் அது இப்படித்தான் ஆர்டர்ல படிக்கணும்ங்கிறத நம்ம சொல்றோம். அதை நம்மதான் டேட்டாவ கொடுக்கிறோம். அதனாலதான் மெஷின் லேர்னிங் அண்ட் AIக்கு இன்னுமே வந்து டேட்டாஸ் பெர்ஃபெக்ட்டா போகணும் அப்படிங்கறதுனாலதான் இன்னுமே டேட்டா இன்ஜினியர்ஸ் வந்து எவர்கிரீன் அப்படின்னு நான் சொல்றது பல வீடியோஸ்கள்ல ஓகே ஃபைன் சோ இது எல்லாம்தாங்க சோ 16 டேட்டா லேயர்ஸ் தான் இருக்கா கௌதம் அப்படின்னு கேட்டீங்கன்னா அப்படி எல்லாம் கிடையாது நிறைய இருக்கு பட் தேவையான டேட்டா லேயர்ஸ் என்ன நம்ம தெரிஞ்சு வச்சுக்கிறது என்னன்னு இந்த 16 போதும். இதுல நம்ம எவ்வளவுல ஒர்க் பண்ணுவோம்ன்னு கேட்டீங்கன்னா சாலிடா மூணு இல்ல நாலுதான். டேட்டா ஸ்டோரேஜ், டேட்டா ப்ராசஸங், டேட்டா டிரான்ஸ்பர்மேஷன், டேட்டா ஸ்கெட்ூலிங் இவ்வளோத்துல தான் ஒர்க் பண்ணுவோம். இதுக்கு மேல நம்ம எதையுமே நம்ம பெருசா ஒர்க் பண்ண மாட்டோம். ஓகேங்களா சோ பட் இது எதுல ஒர்க் பண்ணாலும் நீங்க உங்கள டேட்டா இன்ஜினியர்னு சொல்லிக்கலாம். இப்ப நிறைய பேர் சொல்லுவாங்க நான் வந்து ட்ரான்ஸ்பர்மேஷன் லேயர்ல மட்டும்தான் ஒர்க் பண்றேன். இல்ல நான் ஸ்கெட்ூலிங் லேயர்ல மட்டும்தான் ஒர்க் பண்ணிட்டு இருக்கேனாலும் உங்களால நிறைய டேட்டா பிக் டேட்டா டெக்னாலஜிஸ் எக்ஸ்பளோர் பண்ண முடியும். ஓகே சோ நம்ம எதுல இருந்தாலும் நம்ம ஸ்டில் நம்ம டேட்டா இன்ஜினியர் தான். ப்ராசஸங் அண்ட் ட்ரான்ஸ்ஃபார்ம் லேயர்ல இருந்தா மட்டும்தான் நம்ம டேட்டா இன்ஜினியர்ன்னு நிறைய பேர் சொல்றீங்க. அதுக்கு அட்டம் பிடிக்கிறாங்கன்னா அந்த லேயர்ல தான் நான் ஒர்க் பண்ணனும். இதுல எந்த லேயர்ல நீங்க ஒர்க் பண்ணீங்கனாலும் இட்ஸ் கம்ப்ளீட் லேர்னிங் தான் நமக்கு. ஓகேங்களா சோ இப்ப ஃபார் எக்ஸாம்பிள் எனக்கெல்லாம் ஒரு டைம்ல ஸ்டோரேஜ் லேயர்ல மட்டுமே ஒர்க் பண்ண வாய்ப்பு கிடைச்சது. நிறைய சீக்குவல் டேட்டாபேஸ் நோ சீக்குவல் டேட்டாபேஸ்லாம் படிச்சேன். பட் மித்ததெல்லாம் நானே தெரிஞ்சுக்கிட்டேன். என் ப்ராஜெக்ட்ல தான இருக்கு நானே அத எக்ஸ்பளோர் பண்ணி பார்த்து தெரிஞ்சுக்கிட்டேன். அந்த மாதிரிதான் ரைட் சோ இதுல இருக்குற மேஜர் டேட்டா இன்ஜினியரிங் லேயர்ஸ்ச வந்து நம்ம கோர்ஸ் வீடியோல நம்ம கண்டிப்பா கவர் பண்ணுவோம். ஓகேங்களா சோ தேங்க்ஸ் பார் வாட்சிங். சோ இப்போ ரியல் டெக்னாலஜி நேம்ஸ் என்னென்ன அப்படிங்கறத நம்ம பாத்துரலாம். ஓகே சோ இதுல இருக்கற எல்லா டெக்னாலஜிஸும் நம்ம இந்த கோர்ஸ்ல கவர் பண்ண போறோமான்னு கேட்டா கிடையாது. பட் உங்களுக்கு தெரிஞ்சுக்கணும் இல்லையா அதுக்காக நான் எல்லாத்தையும் ஆட் பண்ணிருக்கேன். சோ டேட்டா சோர்ஸ் லேயர் எங்க இருந்தெல்லாம் நமக்கு வரலாம் மை சீக்குவல் போஸ்ட் கிரேஸ் இதெல்லாம் வந்து rdbms டேட்டாபேஸ் மாங்கோடிபி இது நோ சீக்குவல் ரெஸ்ட்ஏபில இருந்து வரலாம். கப்கா ப்ரொடியூசர்ல இருந்து வரலாம். ஐஓடி டிவைஸ்ல இருந்து வரலாம்ஃபைல்ஸ்ல இருந்து வரலாம். ஓகே சோ டேட்டா இன்ஜக்ஷன் லேயர்கான டெக்னாலஜி இதெல்லாம் நம்மஏபிசின்னு டினோட் பண்ணோம் இல்லையா அதுக்கான ஒரிஜினல் நேம்ஸ் நான் இங்க சப்ஸ்டிடியூட் பண்ணி உங்களுக்கு கொடுக்கறேன். சோ இன்ஜக்ஷன் லேயர் கப்கா யூஸ் பண்ணலாம் ஃப்ளூம் யூஸ் பண்ணலாம். Apாச்சி நைபை சில பேரு நிபின்னு சொல்லுவாங்க. ஏடஎஸ் கென்னிசஸ் யூஸ் பண்ணலாம். சோ நம்ம aap கப்கா கண்டிப்பா நம்ம கோர்ஸ்ல பார்ப்போம். டேட்டா வேலிடேஷன் லேயர் சோடிக்யூ apaாச்சி கிரிபின் எல்லாம் சொல்லி சில டூல்ஸ் இருக்கு. அதை யூஸ் பண்ணி நம்ம வேலிடேஷன் லேயர் வந்து பில் பண்ண முடியும். டேட்டா குவாலிட்டி பண்ண முடியும். சோ இது கூட நம்ம ஒரு குட்டி வீடியோ நம்ம பார்ப்போம். அண்ட் தென் பிகாஸ் ஏன் இத

### Segment 5 (20:00 - 23:00) [20:00]

நான் குட்டி வீடியோன்னு சொல்றேன்னா மோஸ்ட்லி இது வந்து ஸ்பார்க்லயோ இல்ல நார்மல் வெனிலா பைதான்லயே இத நம்ம பண்ணிருவோம். ஓகேங்களா பட் ஜஸ்ட் ஒரு டூல் தெரிஞ்சுக்கலாம்ங்கறதுனால ஒரு வீடியோ நான் போடுவேன். ஓகே அது இல்லாம ஸ்பார்க் வச்சு டேட்டா வேலிடேஷன்ஸ் எல்லாமும் நம்ம பாப்போம். ஓகே சோ டேட்டா ஸ்டோரேஜ் லேயர்ஹடிfsஅonல s3 google கிளவுட் ஸ்டோரேஜ் அசure டேட்டா லேக்ஹ பேஸ் சோ இது எல்லாமே நம்ம பாப்போம் டெபனட்டா ஓகே சோ டேட்டா ப்ராசஸங் லேயர் அண்ட் ட்ரான்ஸ்பர்மேஷன் லேயர் இது ரெண்டும் சேர்த்து பாத்தீங்க அப்படின்னா apாச்சி ஸ்பார்க் காமனா இருக்கு நான் சொல்லிருந்தேன் இல்லையா இது ரெண்டையும் ஒரே டெக்னாலஜில கூட செய்யலாம்னு சோ நம்ம apaach ஸ்பார்க் பாப்போம் அண்ட் தென் டேட்டா ப்ராக் கூட நம்ம பார்ப்போம் ஹைவும் நம்ம பார்ப்போம். ஓகேங்களா சோ ஆர்கேஸ்ட்ரேஷன் அண்ட் ஸ்கெட்ூலிங் லேயர் சோ இதுல நீங்க பாத்தீங்கன்னா தெரியும் apaாச்சி ஏர்ஃப்ளோர் ரெண்டு இடத்துலயும் இருக்கு. நான் உங்கள்ிட்ட சொல்லி இருந்தேன் இல்லையா நம்ம வந்து ரெண்டும் சேர்த்து ஒரே டெக்னாலஜிலயே பண்ணலாங்கறது சோ apaach ஏர்ஃப்ளோ அப்புறம் டேட்டா பைப்லைன் லேயர் சோ இத நம்ம அகைன் நீங்க பாத்தீங்கன்னா அந்த apaாச்சி ஏர்ஃப்ளோ இருக்கும். நான் சொன்னேன் ஏர் ஃப்ளோ யூஸ் பண்ணி கூட நம்ம பைப்லைன் பெல்ட் பண்ணலாம்னு சோ எனிவே நமக்கு ஏர்ஃப்ளோ நம்ம வீடியோல கண்டிப்பா கவர் பண்ணுவோம். நிறைய வீடியோஸ் இருக்க போகுது. அண்ட் கப்காஸ் ஸ்ட்ரீம்ஸ் நம்ம கவர் பண்ணுவோம். அதனால இது மூணுமே நம்ம வந்து ஒரு எக்ஸாம்பிள் கண்டிப்பா பாத்துருவோம். அப்புறம் விசுவலைசேஷன் லேயர் சோ டேப்ளூ பவர் பிiஅாசி சூப்பர்செட் அண்ட் லூக்கர் வந்து கூக ஓடது அண்ட் பவர் பிi மக்ரோசாப்ட் அண்ட் டேப்ளூ இருக்கு. சோ இதுல ஏதாவது ஒரு விசுவலைசேஷன் லேயர நம்ம வீடியோல பார்க போறோம். ஒரு கோர்ஸ் மாதிரி நம்ம பார்க போறோம். சோ அது எது அப்படிங்கறது இப்போதைக்கு நான் டிசைட் பண்ணல. பட் சூன் லைக் ஐ வில் டிசைட் அண்ட் மேக் எ வீடியோ. சோ செக்யூரிட்டி அண்ட் கவர்னன்ஸ் லேயர் பொறுத்து நம்ம எந்த ஒரு டெக்ஸ்டாக்கும் நம்ம பார்க்க போறது கிடையாது. பட் இந்த டூல்ஸ் எல்லாம் apaach ரேஞ்சர் நிறைய யூஸ் பண்ணுவாங்க. AWSல அதே மாதிரி AWS குளூ டேட்டா கேட்டலாக் வந்து கவர்னன்ஸ்கக்கும் ஐIM ஆக்சஸ் மேனேஜ்மெண்ட் டூல் இது ஐIM எல்லா கிளவுட்லயும் இருக்கு. ஓகேங்களா அண்ட் தென் மெட்டடேட்டா மேனேஜ்மெண்டக்கு லைக்அாச்சி அட்லஸ்ஹை மெட்டாஸ்டோர் ஹைவ் மெட்டாஸ்டோர்னா நம்ம என்னன்னு பார்ப்போம். பட் அகைன் மெட்டடேட்டா மேனேஜ்மெண்ட்ட நம்ம நார்மலா வந்து பைதான் யூஸ் பண்ணி நம்ம ஓன் கோடாவே எழுதி ஒரு பிரேம்வொர்க்க டெவலப் பண்ண முடியும். அந்த மாதிரி ஒன்னு நான் உங்களுக்கு பண்ணி காமிக்கிறேன். ஓகேங்களா சோ ஸ்பெசிபிக் டெக்ஸ்ட் இல்லாம நம்மளே இது பண்ணுவோம். ஓகே சோ இதுவே ஒரு ப்ராஜெக்ட்டா நம்ம போடலாம். டேட்டா லீனியேஜ் லேயர் சோ லீனியேஜ்க்கு நம்ம ஸ்பெசிபிக்கா நம்ம எதுவும் பார்க்க போறது கிடையாது. பட் இந்த டூல்ஸ் எல்லாம் இருக்கு. அண்ட் டேட்டா மானிட்டரிங்ல வந்து கிரபானாஃபேமஸ் ஓகேங்களா சோ நம்ம மானிட்டரிங் லேயர் வந்து பார்க்க போறது கிடையாது. ஏன்னா இது கிளவுட்ஸ் எல்லாம் யூஸ் பண்ணாங்கன்னா அட்மின்ஸ்க்கு அவங்க அவங்களுக்கு ஒரு சர்வீஸ் வந்து கிளவுட் ப்ரொவைடர்ஸ் ப்ரொவைட் பண்ணிருவாங்க. அவங்க பாத்துருவாங்க. பிகாஸ் இதுல நம்ம டைம் ஸ்பெண்ட் பண்றதுங்கறது என்ன கேட்டா நான் வேஸ்ட்ன்னு சொல்லுவேன். தெரிஞ்சுக்கலாம். நாலேட்ஜா தெரிஞ்சுக்கலாம். ஏன்னா இதெல்லாம் வந்து ஒரு என்ன சொல்றது ஒரு குழந்தை பிள்ளை பார்த்து புரிஞ்சுக்கிற மாதிரியே இருக்கும். அவங்க டூல்ஸ் அண்ட் அந்த UI எல்லாமே இருக்கும். நம்ம பார்த்தாவே எல்லாம் நமக்கு தெரிஞ்சிரும். எல்லா டேட்டா இன்ஜினியர்ஸ்க்கும் இந்த UI ோட லிங்க் எல்லாம் ரியல் டைம்ல குடுக்கவே மாட்டாங்க. ஓகேங்களாஃபைன் சோமிஷன் லேர்னிங் சோ இது வந்து ஸ்பார்க் எம்லி ஸ்பார்க்லயே ஒரு மெஷின் லேர்னிங் இது இருக்கு. சோ அது நம்ம பார்ப்போம் எனிவே நம்ம கோர்ஸ்ல. பட் நம்ம இந்த கோர்ஸ் வந்து டேட்டா இன்ஜினியரிங் கானானது. நம்ம இது மெஷின் லேர்னிங் காணது கிடையாது. பட் இது நான் லேயர்ல கவர் பண்ணதுனாலடென்ஸ்பர் ஃப்ளோல பை டார்ச்ல ஸ்பார்க் கேம்ல யூஸ் பண்ணுவாங்க. சேஜ் மேக்கர் வந்துஏடஎ ோட அத நான் காமிக்கிறேன். சோ இதுல இருக்குற கிட்டத்தட்ட 60 டு 70% ஆப் டெக்ஸ்டாக்க நம்ம கவர் பண்ணிருவோம். மீதி நம்ம பண்ண மாட்டோம். பட் ஜஸ்ட் நீங்க தெரிஞ்சுக்கணுங்கறதுக்காகதான் இதெல்லாமே நான் உங்களுக்கு காமிச்சேன். இதெல்லாம் பிக் டேட்டாக்குள்ள வர டெக்னாலஜிஸ் அந்த மாதிரி நம்ம நினைச்சுக்கணும். இது இல்லாம வெளியிலயும் இதெல்லாம் சால்வ் பண்ணக்கூடிய விஷயங்கள் இருக்கு பட் நம்ம டேட்டா இன்ஜினியரிங்குள்ள பிக் டேட்டா தான நம்ம பார்கறோம். சோ அது ரிலேட்டடா நான் இத எல்லாமே உங்களுக்கு போட்டுருக்கேன். ஓகே சோதேங்கஸ் forர் வாட்சிங். தேங்கஸ் forர் வாட்சிங் இந்த வீடியோ உங்களுக்கு பிடிச்சிருந்தது அப்படின்னா லிங்கடின்ல ஒரு ஜெனயுன்ஃபீட்பேக் உங்க லேர்னிங் எக்ஸ்பீரியன்ஸ் பத்தி எழுதி அண்ட் என்ன அதுல டேக் பண்ணுங்க. அண்ட் இந்த சேனல மறக்காம சப்ஸ்கிரைப் பண்ணிக்கோங்க. உங்க பிரெண்ட்ஸ் அண்ட் கொலீக்ஸ்க்கும் இத ஃபார்வர்ட் பண்ணுங்க. அண்ட் என்னோட சேனல்ல டேட்டா இன்ஜினியரிங் மட்டும் கிடையாது. இன்னும் நிறைய ப்ரோக்ராமிங் லாங்குவேஜஸ் சீக்குவல் லைனக்ஸ் கிளட் மாதிரி மாஸ்டர் கோர்ஸ் வீடியோஸ் தமிழ்ல ஃப்ரீயா அவைலபிலா இருக்கு போய் பாருங்க. டேட்டா இன்ஜினியரிங்க தமிழ்ல ஈஸியா சொல்லி கொடுக்கறதுக்கு நான் இருக்கேன். கவலைப்படாதீங்க. என்னோட லிங்க் அண்ட் Instagram பேஜோட லிங்க் டிஸ்கிரிப்ஷன் பாக்ஸ்ல இருக்கு. நீங்க அங்க என்ன ஃபாலோ பண்ணிக்கலாம். ஒன்ஸ் அகைன் தேங்க்ஸ் ஃபார் வாட்சிங் கைஸ்.