অ্যাপাচি স্পার্ক একটি কাঠামো ওপেন সোর্স ক্লাস্টার কম্পিউটিং যা ক্লাস্টার প্রোগ্রামিংয়ের জন্য একটি ইন্টারফেস সরবরাহ করে ইম্পিলিটিড ডেটা প্যারালালিজম এবং ফল্ট সহনশীলতার সাথে সম্পূর্ণ করুন, যা স্পার্ক প্রকল্পের কোডবেস অ্যাপাচি সফটওয়্যার ফাউন্ডেশনকে দান করা হয়েছিল যা এর রক্ষণাবেক্ষণের জন্য দায়ী।
আপা স্পার্ক একটি সাধারণ উদ্দেশ্য, গতি-ভিত্তিক ক্লাস্টার কম্পিউটিং সিস্টেম হিসাবে বিবেচনা করা যেতে পারে.
এপিআই সরবরাহ করুন জাভা, স্কেলা, পাইথন এবং আর এর মধ্যে প্লাস এছাড়াও একটি অপ্টিমাইজড ইঞ্জিন সরবরাহ করে যা সাধারণভাবে গ্রাফের সম্পাদনকে সমর্থন করে।
এছাড়াও উচ্চ-স্তরের সরঞ্জামগুলির একটি বিস্তৃত এবং সমৃদ্ধ সেটকে সমর্থন করে যার মধ্যে আমি জানি স্পার্ক এসকিউএল অন্তর্ভুক্ত (এসকিউএল ভিত্তিক স্ট্রাকচার্ড ডেটা প্রসেসিংয়ের জন্য), মেশিন লার্নিং বাস্তবায়নের জন্য এমএলিব, গ্রাফ প্রসেসিংয়ের জন্য গ্রাফএক্স এবং স্পার্ক স্ট্রিমিং।
স্পার্ক এসকিউএল হল মডিউল আপা স্পার্ক কাঠামোগত ডেটা নিয়ে কাজ করার জন্য এবং স্পার্ক অ্যাপ্লিকেশনগুলিতে খুব জনপ্রিয়। ডেটাব্রিক্সের মতে, অ্যাপাচি স্পার্কের নির্মাতারা প্রতিষ্ঠিত সংস্থাটি এমনকি পাইথন এবং স্কালার বিকাশকারীরা স্পার্ক এসকিউএল ইঞ্জিন দিয়ে তাদের বেশিরভাগ কাজ করে।
বিগ ডেটা প্রসেসিং, ডেটা সায়েন্স, মেশিন লার্নিং এবং ডেটা অ্যানালিটিকসের জন্য স্পার্ক আজ ডি ফ্যাক্টো ফ্রেমওয়ার্ক।
অ্যাপাচি স্পার্ক 3.0 সম্পর্কে
এখন কাঠামোটি এর সংস্করণে 3.0 এবং সবচেয়ে গুরুত্বপূর্ণ নতুন বৈশিষ্ট্যগুলির মধ্যে এটি লক্ষ্য করা উচিত be স্পার্ক 3.0 দ্বিগুণ দ্রুত অন্যদের মধ্যে টিপিসি-ডিএসের উপর নির্ভর করে আগের সংস্করণটির চেয়ে বেশি।
এই কর্মক্ষমতা বৃদ্ধি অর্জন করা হয়েছিল উন্নতির মাধ্যমে যেমন চালিয়ে যাওয়া অভিযোজিত ক্যোয়ারীগতিশীল পার্টিশন এবং অন্যান্য অপ্টিমাইজেশানগুলির ছাঁটাই। এএনএসআই এসকিউএল মানের সাথে সম্মতিও উন্নত করা হয়েছে।
স্পার্ক 3.0 হ'ল 3400 টিরও বেশি টিকিটের সমাধান সহ একটি বড় সংস্করণ, তবে কেবলমাত্র বড় পরিবর্তনগুলির মধ্যে তারা অন্যদের মধ্যে এসকিউএল এবং পাইথনের মূল নতুন বৈশিষ্ট্যগুলিতে সীমাবদ্ধ করে।
অ্যাপাচি স্পার্ক 3.0 এসকিউএল এবং পাইথনের সমর্থন বাড়িয়ে এই অবস্থানকে শক্তিশালী করে, আজ স্পার্কের সাথে এবং সমস্ত স্তরে অনেকগুলি অপ্টিমাইজেশন সরবরাহ করে দুটি সর্বাধিক ব্যবহৃত ভাষা।
পাইথপার্কের স্পার্ক এপিআই পাইপ স্পার্কের পাইথন প্যাকেজ সূচক পাইপআইতে 5 মিলিয়নেরও বেশি মাসিক ডাউনলোড রয়েছে। বহু পাইথন বিকাশকারী তারা ডেটা বিশ্লেষণের জন্য এপিআই ব্যবহার করে, যদিও এটি একক নোড প্রসেসিংয়ের মধ্যে সীমাবদ্ধ।
পাইথন ছিল, তাই, স্পার্ক 3.0 এর উন্নয়নের মূল ক্ষেত্র। বিতরণ করা পরিবেশে বড় ডেটা নিয়ে কাজ করার সময় ডেটা বিজ্ঞানীদের আরও উত্পাদনশীল করতে অ্যাপাচি স্পার্কে এপিআই বিকাশ ত্বরান্বিত করা হয়েছে।
কোয়ালাস অনেকগুলি ক্রিয়াকলাপ তৈরি করার প্রয়োজনীয়তা দূর করে ক্লাস্টারে আরও ভাল পারফরম্যান্সের জন্য পাইএসপার্কে (যেমন গ্রাফিক্স সমর্থন)
এখনও অবধি আমরা বলতে পারি যে স্পার্কের ভূমিকা প্রায়শই একটি ইটিএল (এক্সট্র্যাক্ট ট্রান্সফর্ম লোড) এর মধ্যে সীমাবদ্ধ থাকে।
এটি বিশেষত পাইথন ধরণের ইঙ্গিত এবং অতিরিক্ত পান্ডাস ইউডিএফ (ব্যবহারকারী-সংজ্ঞায়িত ফাংশন) সহ উল্লেখযোগ্য এপিআই উন্নতিতে ফলাফল দেয়।
স্পার্ক .০ আরও ভাল পাইথন ত্রুটি পরিচালনার প্রস্তাব দেয়, এবং ব্যবহারকারী-সংজ্ঞায়িত আর ফাংশনগুলিতে কলগুলি 40 গুণ বেশি দ্রুত হয়।
এটিও লক্ষ করা উচিত যে স্পার্ক ৩.০ এ, সমস্ত সংশোধনের 46% এসকিউএল কার্যকারিতার জন্য ছিল, যা পারফরম্যান্স এবং এএনএসআই সামঞ্জস্য উভয়ই উন্নত করেছে।
যে বলেন, স্পার্ক এসকিউএল ইঞ্জিনের তিনটি গুরুত্বপূর্ণ নতুন বৈশিষ্ট্য হ'ল অ্যাডাপটিভ কোয়েরিগুলি কার্যকর করা।
অপ্টিমাইজেশন পদ্ধতি প্রশ্নগুলি সাধারণত স্থিতিশীল ক্যোয়ারী অপ্টিমাইজেশনে ফোকাস করে।
স্পার্কে স্টোরেজ এবং প্রক্রিয়াজাতকরণের পৃথকীকরণের কারণে, ডেটার আগমনটি অনাকাঙ্ক্ষিত হতে পারে। এই কারণে, অভিযোজিত ক্যোয়ারী এক্সিকিউশনটি প্রথাগত সিস্টেমের চেয়ে স্পার্কের জন্য আরও গুরুত্বপূর্ণ হয়ে ওঠে।
অন্যান্য অনেকগুলি বৈশিষ্ট্য রয়েছে যা আপনি রিলিজ নোটগুলিতে পরীক্ষা করতে পারেন। ডেটা উত্স, বাস্তুতন্ত্র, পর্যবেক্ষণ, ডিবাগিং এবং আরও অনেক কিছুর বৈশিষ্ট্য।
আপনি রিলিজ নোট পরীক্ষা করতে পারেন নিম্নলিখিত লিঙ্কে গিয়ে।
উৎস: https://spark.apache.org/