Module 1 හිදී Data Analytics යනු කුමක්දැයි අප ඉගෙන ගත්තා. දැන් අපි දත්ත විශ්ලේෂකයෙකුට හමුවන ප්රධාන "අමුද්රව්ය" වන දත්ත වර්ග (Data Types) පිළිබඳව ගැඹුරින් සොයා බලමු. දක්ෂ සූපවේදියෙකු විවිධ එළවළු, මස් වර්ග සහ කුළුබඩු වර්ග හඳුනා ගන්නා සේම, දක්ෂ දත්ත විශ්ලේෂකයෙකුද තමන් වැඩ කරන දත්ත වල ස්වභාවය නිවැරදිව හඳුනාගත යුතුය. මෙම හඳුනාගැනීම, නිවැරදි මෙවලම් සහ ක්රමවේද තෝරාගැනීමට අත්යවශ්ය වේ.
දත්ත වල ප්රධාන වර්ගීකරණය
පොදුවේ ගත් කල, අපට හමුවන සියලුම දත්ත ප්රධාන කාණ්ඩ තුනකට වර්ග කළ හැකිය. ඒවා නම්:
- Structured Data (ව්යුහගත දත්ත)
- Unstructured Data (ව්යුහගත නොවූ දත්ත)
- Semi-structured Data (අර්ධ-ව්යුහගත දත්ත)
දැන් අපි මේ එක් එක් වර්ගය උදාහරණ සමගින් විස්තරාත්මකව අධ්යයනය කරමු.
1. Structured Data (ව්යුහගත දත්ත)
Structured Data යනු ඉතාමත් ක්රමවත්ව, පේළි (rows) සහ තීරු (columns) සහිත වගු ආකාරයෙන් සකස් කළ හැකි දත්තයි. මෙය දත්ත ගබඩා කිරීමේ වඩාත්ම පැරණි සහ සරලම ක්රමයයි. පරිගණක වලට මෙම දත්ත කියවීම, සැකසීම සහ විශ්ලේෂණය කිරීම ඉතා පහසුය.
උපමාව: මෙය හරියට ක්රමවත්ව සකස් කළ පුස්තකාලයක් වැනිය. සෑම පොතක්ම නිශ්චිත කාණ්ඩයකට අයත් වන අතර, එයට හිමි රාක්කයේ, නියමිත අංකය යටතේ පිළිවෙලට තබා ඇත. ඔබට අවශ්ය පොතක් ඉතා පහසුවෙන් සොයාගත හැකිය.
ප්රධාන උදාහරණ:
- Excel Sheets සහ CSV Files: අප දෛනිකව භාවිතා කරන Excel spreadsheet එකක් යනු structured data සඳහා කදිම උදාහරණයකි. CSV (Comma-Separated Values) යනු දත්ත, කොමාවකින් වෙන් කරමින් සරල text file එකක ගබඩා කරන ආකාරයකි. බොහෝ datasets මෙම format එකෙන් අපට හමු වේ.
- Relational Databases (MySQL, PostgreSQL): බැංකු පද්ධති, පාරිභෝගික කළමනාකරණ පද්ධති (CRM), මානව සම්පත් පද්ධති (HRM) වැනි විශාල මෘදුකාංග වල දත්ත ගබඩා කරන්නේ Relational Database වලයි. මෙහිදී දත්ත, එකිනෙකට සම්බන්ධ වූ වගු (tables) වල ගබඩා කර ඇත. උදාහරණයක් ලෙස, 'Students' නමැති table එකේ `StudentID`, `Name`, `Address` වැනි තීරු (columns) තිබිය හැක.
2. Unstructured Data (ව්යුහගත නොවූ දත්ත)
Unstructured Data යනු කිසිදු නිශ්චිත ව්යුහයකට वा ආකෘතියකට (pre-defined model) අනුගත නොවන දත්තයි. අද ලෝකයේ ජනනය වන දත්ත වලින් 80% කටත් වඩා අයත් වන්නේ මෙම කාණ්ඩයටයි. මෙම දත්ත විශ්ලේෂණය කිරීම structured data වලට වඩා සංකීර්ණ වේ.
උපමාව: මෙය හරියට අවුල් සහගත මේසයක් උඩ ඇති ලිපි ගොනු, පොත්, පත්තර කෑලි, සහ ඡායාරූප ගොඩක් වැනිය. තොරතුරු එහි ඇත, නමුත් ඒවා කිසිදු පිළිවෙලකට සකසා නැත. එම තොරතුරු ලබා ගැනීමට නම්, ඔබට ඒ සියල්ල කියවා, තේරුම් ගෙන, වර්ග කිරීමට සිදු වේ.
ප්රධාන උදාහරණ:
- Text Files සහ Emails: ඔබ යවන ඊමේල් පණිවිඩය, Word document එකක ඇති වාර්තාවක්, සමාජ මාධ්ය වල පළවන posts (Facebook, Twitter) වැනි දේවල අන්තර්ගතය unstructured data වේ.
- Images, Videos, and Audio Files: ඩිජිටල් ඡායාරූපයක් (JPEG), වීඩියෝවක් (MP4), හෝ ශ්රව්ය පටයක් (MP3) යනු ව්යුහගත නොවූ දත්තයි. ඒවායේ pixel හෝ sound wave දත්ත මිස, වගුගත කළ හැකි තොරතුරු නොමැත.
- PDF Documents: PDF ගොනුවක text, images, tables වැනි දෑ අඩංගු වුවත්, එහි අභ්යන්තර ව්යුහය සංකීර්ණ නිසා එය unstructured ලෙස සැලකේ.
3. Semi-structured Data (අර්ධ-ව්යුහගත දත්ත)
Semi-structured Data යනු ඉහත වර්ග දෙක අතරමැදි තත්වයක පවතින දත්තයි. මෙම දත්ත වල, structured data වල මෙන් නියමිත වගු ව්යුහයක් නොමැති වුවත්, ඒවායේ අන්තර්ගතය සංවිධානය කිරීමට සහ විස්තර කිරීමට tags හෝ වෙනත් සලකුණු (markers) භාවිතා කර ඇත. මෙය දත්ත වලට යම්කිසි ධූරාවලියක් (hierarchy) ලබා දෙයි.
උපමාව: මෙය හරියට වට්ටෝරු පොතක් (recipe book) වැනිය. එහි වගු නැත, නමුත් සෑම වට්ටෝරුවකම 'අවශ්ය ද්රව්ය', 'සාදන ක්රමය', 'ගතවන කාලය' වැනි පැහැදිලි ශීර්ෂයන් (headings) ඇත. එම ශීර්ෂ නිසා තොරතුරු වටහා ගැනීම පහසු වේ.
ප්රධාන උදාහරණ:
- JSON (JavaScript Object Notation): වෙබ් අඩවි සහ මෘදුකාංග අතර දත්ත හුවමාරු කරගැනීමට බහුලවම භාවිතා වන format එකකි. මෙහි දත්ත 'key-value pairs' ලෙස සංවිධානය කර ඇත.
{ "name": "Kamal Perera", "age": 32, "isStudent": false, "courses": ["History", "Science"] }
- XML (eXtensible Markup Language): මෙයද දත්ත විස්තර කිරීමට සහ හුවමාරු කිරීමට යොදාගන්නා භාෂාවකි. මෙහිදී HTML වල මෙන් tags භාවිතා කර දත්ත විස්තර කරයි.
<person> <name>Kamal Perera</name> <age>32</age> <isStudent>false</isStudent> </person>
- Log Files: පරිගණක පද්ධති සහ මෘදුකාංග මගින් ජනනය කරන log files වල, එක් එක් සිදුවීම (event) පිළිබඳව තොරතුරු (timestamp, error level, message) යම් රටාවකට අනුව සටහන් වේ.
- Structured Data: Excel, CSV සහ Database Tables.
- Unstructured Data: Text, Images, Videos.
- Semi-structured Data: JSON, XML, සහ Log Files.
- එක් එක් දත්ත වර්ගය හඳුනාගැනීම.