அப்பாச்சி தீப்பொறி ஒரு கட்டமைப்பாகும் திறந்த மூல கிளஸ்டர் கம்ப்யூட்டிங் இது கிளஸ்டர் நிரலாக்கத்திற்கான இடைமுகத்தை வழங்குகிறது தீப்பொறி தரவு இணை மற்றும் தவறு சகிப்புத்தன்மையுடன் முழுமையானது, இது தீப்பொறி திட்டக் குறியீடானது அப்பாச்சி மென்பொருள் அறக்கட்டளைக்கு நன்கொடையாக வழங்கப்பட்டது, அதன் பராமரிப்புக்கு இது பொறுப்பாகும்.
அப்பாச்சி ஸ்பார்க் ஒரு பொது நோக்கம், வேகம் சார்ந்த கிளஸ்டர் கம்ப்யூட்டிங் அமைப்பாக கருதலாம்.
API களை வழங்கவும் ஜாவா, ஸ்கலா, பைதான் மற்றும் ஆர், பிளஸ் உகந்த இயந்திரத்தையும் வழங்குகிறது இது பொதுவாக வரைபடங்களை செயல்படுத்துவதை ஆதரிக்கிறது.
மேலும் விரிவான மற்றும் பணக்கார உயர் மட்ட கருவிகளை ஆதரிக்கிறது அவற்றில் எனக்குத் தெரியும் தீப்பொறி SQL அடங்கும் (SQL- அடிப்படையிலான கட்டமைக்கப்பட்ட தரவு செயலாக்கத்திற்காக), இயந்திர கற்றலை செயல்படுத்த MLlib, வரைபட செயலாக்கத்திற்கான வரைபடம் மற்றும் தீப்பொறி ஸ்ட்ரீமிங்.
தீப்பொறி SQL என்பது தொகுதி அப்பாச்சி ஸ்பார்க் கட்டமைக்கப்பட்ட தரவுகளுடன் பணிபுரிய மற்றும் ஸ்பார்க் பயன்பாடுகளில் மிகவும் பிரபலமானது. அப்பாச்சி ஸ்பார்க்கின் படைப்பாளர்களால் நிறுவப்பட்ட டேட்டாப்ரிக்ஸின் கூற்றுப்படி, பைதான் மற்றும் ஸ்கலா டெவலப்பர்கள் கூட ஸ்பார்க் SQL எஞ்சினுடன் தங்கள் பணியைச் செய்கிறார்கள்.
ஸ்பார்க் இன்று பெரிய தரவு செயலாக்கம், தரவு அறிவியல், இயந்திர கற்றல் மற்றும் தரவு பகுப்பாய்வுகளுக்கான நடைமுறை கட்டமைப்பாகும்.
அப்பாச்சி தீப்பொறி 3.0 பற்றி
இப்போது கட்டமைப்பு அதன் பதிப்பு 3.0 இல் உள்ளது மற்றும் மிக முக்கியமான புதிய அம்சங்களில், அதைக் கவனத்தில் கொள்ள வேண்டும் தீப்பொறி 3.0 இரு மடங்கு வேகமாக உள்ளது முந்தைய பதிப்பை விட TPC-DS ஐ நம்பியதன் மூலம்.
இந்த செயல்திறன் அதிகரிப்பு அடையப்பட்டது மேம்பாடுகள் மூலம் தகவமைப்பு வினவல்களை இயக்குவது போன்றவை, டைனமிக் பகிர்வுகள் மற்றும் பிற மேம்படுத்தல்களை கத்தரித்தல். ANSI SQL தரத்துடன் இணக்கமும் மேம்படுத்தப்பட்டுள்ளது.
ஸ்பார்க் 3.0 என்பது 3400 க்கும் மேற்பட்ட டிக்கெட்டுகள் தீர்க்கப்பட்ட ஒரு முக்கிய பதிப்பாகும், ஆனால் பெரிய மாற்றங்களுக்குள் மட்டுமே அவை தங்களை SQL மற்றும் பைத்தானுக்கான முக்கிய புதிய அம்சங்களுடன் கட்டுப்படுத்துகின்றன.
அப்பாச்சி தீப்பொறி 3.0 SQL மற்றும் பைத்தானுக்கான ஆதரவை பெரிதும் மேம்படுத்துவதன் மூலம் இந்த நிலையை பலப்படுத்துகிறது, இன்று ஸ்பார்க்குடன் மிகவும் பரவலாகப் பயன்படுத்தப்படும் இரண்டு மொழிகள் மற்றும் அனைத்து மட்டங்களிலும் பல மேம்படுத்தல்களை வழங்குவதன் மூலம்.
பைத்தானுக்கான ஸ்பார்க் ஏபிஐ பைஸ்பார்க், பைத்தான் தொகுப்பு குறியீடான பைபியில் 5 மில்லியனுக்கும் அதிகமான பதிவிறக்கங்களைக் கொண்டுள்ளது. பல பைதான் டெவலப்பர்கள் தரவு பகுப்பாய்விற்கு அவை API ஐப் பயன்படுத்துகின்றன, இருப்பினும் இது ஒற்றை முனை செயலாக்கத்திற்கு மட்டுப்படுத்தப்பட்டுள்ளது.
எனவே, பைதான் இருந்தது தீப்பொறி 3.0 க்கான வளர்ச்சியின் முக்கிய பகுதி. விநியோகிக்கப்பட்ட சூழல்களில் பெரிய தரவுகளுடன் பணிபுரியும் போது தரவு விஞ்ஞானிகளை அதிக உற்பத்தி செய்ய அப்பாச்சி ஸ்பார்க்கில் ஏபிஐ வளர்ச்சி துரிதப்படுத்தப்பட்டுள்ளது.
கோலாஸ் பல செயல்பாடுகளை உருவாக்க வேண்டிய அவசியத்தை நீக்குகிறது (எ.கா. கிராபிக்ஸ் ஆதரவு) பைஸ்ட்பார்க்கில், ஒரு கிளஸ்டரில் சிறந்த செயல்திறனுக்காக.
இதுவரை, ஸ்பார்க்கின் பங்கு பெரும்பாலும் ஒரு ஈ.டி.எல் (எக்ஸ்ட்ராக்ட் டிரான்ஸ்ஃபார்ம் லோட்) உடன் மட்டுமே உள்ளது என்று நாம் கூறலாம்.
இது பைதான் வகை குறிப்புகள் மற்றும் கூடுதல் பாண்டாஸ் யுடிஎஃப் (பயனர் வரையறுக்கப்பட்ட செயல்பாடுகள்) உள்ளிட்ட API களுக்கு குறிப்பாக குறிப்பிடத்தக்க முன்னேற்றங்களை அளிக்கிறது.
ஸ்பார்க் 3.0 சிறந்த பைதான் பிழை கையாளுதலை வழங்குகிறது, பயனர் வரையறுக்கப்பட்ட ஆர் செயல்பாடுகளுக்கான அழைப்புகள் 40 மடங்கு வேகமாக இருக்கும்.
ஸ்பார்க் 3.0 இல், அனைத்து திருத்தங்களிலும் 46% SQL செயல்பாட்டிற்கானது, இது செயல்திறன் மற்றும் ANSI பொருந்தக்கூடிய தன்மை இரண்டையும் மேம்படுத்தியுள்ளது.
என்று கூறினார், தீப்பொறி SQL இயந்திரத்தில் மூன்று மிக முக்கியமான புதிய அம்சங்கள் தகவமைப்பு வினவல்களை செயல்படுத்துவதாகும்.
தேர்வுமுறை முறைகள் வினவல்கள் பொதுவாக நிலையான வினவல் தேர்வுமுறைக்கு கவனம் செலுத்துகின்றன.
ஸ்பார்க்கில் சேமிப்பு மற்றும் செயலாக்கத்தைப் பிரிப்பதன் காரணமாக, தரவின் வருகை கணிக்க முடியாதது. இந்த காரணங்களுக்காக, பாரம்பரிய அமைப்புகளை விட தகவமைப்பு வினவல் செயல்படுத்தல் ஸ்பார்க்கிற்கு மிகவும் முக்கியமானது.
வெளியீட்டுக் குறிப்புகளில் நீங்கள் பார்க்கக்கூடிய பல அம்சங்கள் உள்ளன. தரவு மூலங்கள், சுற்றுச்சூழல் அமைப்புகள், கண்காணிப்பு, பிழைதிருத்தம் மற்றும் பலவற்றை உள்ளடக்கிய அம்சங்கள்.
வெளியீட்டுக் குறிப்பை நீங்கள் சரிபார்க்கலாம் பின்வரும் இணைப்பிற்குச் செல்வதன் மூலம்.
மூல: https://spark.apache.org/