ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ ಒಂದು ಚೌಕಟ್ಟು ಓಪನ್ ಸೋರ್ಸ್ ಕ್ಲಸ್ಟರ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಇದು ಕ್ಲಸ್ಟರ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ಗಾಗಿ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ ಸ್ಪಾರ್ಕ್ ಪ್ರಾಜೆಕ್ಟ್ ಕೋಡ್‌ಬೇಸ್ ಅನ್ನು ಅಪಾಚೆ ಸಾಫ್ಟ್‌ವೇರ್ ಫೌಂಡೇಶನ್‌ಗೆ ದಾನ ಮಾಡಲಾಗಿದ್ದು, ಅದರ ನಿರ್ವಹಣೆಗೆ ಕಾರಣವಾಗಿದೆ.
ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ ಇದನ್ನು ಸಾಮಾನ್ಯ ಉದ್ದೇಶ, ವೇಗ-ಆಧಾರಿತ ಕ್ಲಸ್ಟರ್ ಕಂಪ್ಯೂಟಿಂಗ್ ವ್ಯವಸ್ಥೆ ಎಂದು ಪರಿಗಣಿಸಬಹುದು.
API ಗಳನ್ನು ಒದಗಿಸಿ ಜಾವಾ, ಸ್ಕಲಾ, ಪೈಥಾನ್ ಮತ್ತು ಆರ್, ಜೊತೆಗೆ ಆಪ್ಟಿಮೈಸ್ಡ್ ಎಂಜಿನ್ ಅನ್ನು ಸಹ ಒದಗಿಸುತ್ತದೆ ಅದು ಸಾಮಾನ್ಯವಾಗಿ ಗ್ರಾಫ್‌ಗಳ ಮರಣದಂಡನೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.
ಸಹ ಉನ್ನತ ಮಟ್ಟದ ಪರಿಕರಗಳ ವ್ಯಾಪಕ ಮತ್ತು ಶ್ರೀಮಂತ ಗುಂಪನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ಅವುಗಳಲ್ಲಿ ನನಗೆ ತಿಳಿದಿದೆ ಸ್ಪಾರ್ಕ್ SQL ಅನ್ನು ಸೇರಿಸಿ (SQL- ಆಧಾರಿತ ರಚನಾತ್ಮಕ ದತ್ತಾಂಶ ಸಂಸ್ಕರಣೆಗಾಗಿ), ಯಂತ್ರ ಕಲಿಕೆಯನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು MLlib, ಗ್ರಾಫ್ ಪ್ರಕ್ರಿಯೆಗೆ ಗ್ರಾಫ್‌ಎಕ್ಸ್ ಮತ್ತು ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್.
ಸ್ಪಾರ್ಕ್ SQL ಮಾಡ್ಯೂಲ್ ಆಗಿದೆ ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ ರಚನಾತ್ಮಕ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಮತ್ತು ಸ್ಪಾರ್ಕ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ ಬಹಳ ಜನಪ್ರಿಯವಾಗಿದೆ. ಡಾಟಾಬ್ರಿಕ್ಸ್ ಪ್ರಕಾರ, ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ನ ಸೃಷ್ಟಿಕರ್ತರು ಸ್ಥಾಪಿಸಿದ ಕಂಪನಿಯು, ಪೈಥಾನ್ ಮತ್ತು ಸ್ಕಲಾ ಡೆವಲಪರ್‌ಗಳು ಸಹ ತಮ್ಮ ಹೆಚ್ಚಿನ ಕೆಲಸವನ್ನು ಸ್ಪಾರ್ಕ್ ಎಸ್‌ಕ್ಯುಎಲ್ ಎಂಜಿನ್‌ನೊಂದಿಗೆ ಮಾಡುತ್ತಾರೆ.
ಸ್ಪಾರ್ಕ್ ಇಂದು ದೊಡ್ಡ ದತ್ತಾಂಶ ಸಂಸ್ಕರಣೆ, ದತ್ತಾಂಶ ವಿಜ್ಞಾನ, ಯಂತ್ರ ಕಲಿಕೆ ಮತ್ತು ದತ್ತಾಂಶ ವಿಶ್ಲೇಷಣೆಗಳ ವಾಸ್ತವಿಕ ಚೌಕಟ್ಟಾಗಿದೆ.
ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ 3.0 ಬಗ್ಗೆ
ಪ್ರಸ್ತುತ ಚೌಕಟ್ಟು ಅದರ ಆವೃತ್ತಿ 3.0 ರಲ್ಲಿದೆ ಮತ್ತು ಪ್ರಮುಖ ಹೊಸ ವೈಶಿಷ್ಟ್ಯಗಳಲ್ಲಿ, ಅದನ್ನು ಗಮನಿಸಬೇಕು ಸ್ಪಾರ್ಕ್ 3.0 ಎರಡು ಪಟ್ಟು ವೇಗವಾಗಿರುತ್ತದೆ ಹಿಂದಿನ ಆವೃತ್ತಿಗಿಂತ ಟಿಪಿಸಿ-ಡಿಎಸ್ ಅನ್ನು ಅವಲಂಬಿಸಿ.
ಈ ಕಾರ್ಯಕ್ಷಮತೆ ಹೆಚ್ಚಳವನ್ನು ಸಾಧಿಸಲಾಗಿದೆ ಸುಧಾರಣೆಗಳ ಮೂಲಕ ಹೊಂದಾಣಿಕೆಯ ಪ್ರಶ್ನೆಗಳನ್ನು ನಡೆಸುವಂತಹ, ಕ್ರಿಯಾತ್ಮಕ ವಿಭಾಗಗಳು ಮತ್ತು ಇತರ ಆಪ್ಟಿಮೈಸೇಷನ್‌ಗಳ ಸಮರುವಿಕೆಯನ್ನು. ANSI SQL ಮಾನದಂಡದ ಅನುಸರಣೆಯನ್ನು ಸಹ ಸುಧಾರಿಸಲಾಗಿದೆ.
ಸ್ಪಾರ್ಕ್ 3.0 ಒಂದು ಪ್ರಮುಖ ಆವೃತ್ತಿಯಾಗಿದ್ದು, 3400 ಕ್ಕೂ ಹೆಚ್ಚು ಟಿಕೆಟ್‌ಗಳನ್ನು ಪರಿಹರಿಸಲಾಗಿದೆ, ಆದರೆ ಪ್ರಮುಖ ಬದಲಾವಣೆಗಳಲ್ಲಿ ಮಾತ್ರ ಅವರು ತಮ್ಮನ್ನು SQL ಮತ್ತು ಪೈಥಾನ್‌ಗಾಗಿ ಮುಖ್ಯ ಹೊಸ ವೈಶಿಷ್ಟ್ಯಗಳಿಗೆ ಸೀಮಿತಗೊಳಿಸುತ್ತಾರೆ.
ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ 3.0 SQL ಮತ್ತು ಪೈಥಾನ್‌ಗೆ ಬೆಂಬಲವನ್ನು ಹೆಚ್ಚು ಸುಧಾರಿಸುವ ಮೂಲಕ ಈ ಸ್ಥಾನವನ್ನು ಬಲಪಡಿಸುತ್ತದೆ, ಇಂದು ಸ್ಪಾರ್ಕ್ನೊಂದಿಗೆ ಹೆಚ್ಚು ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುವ ಎರಡು ಭಾಷೆಗಳು ಮತ್ತು ಎಲ್ಲಾ ಹಂತಗಳಲ್ಲಿ ಅನೇಕ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳನ್ನು ಒದಗಿಸುವ ಮೂಲಕ.
ಪೈಥಾನ್‌ನ ಸ್ಪಾರ್ಕ್ ಎಪಿಐ ಪೈಸ್‌ಪಾರ್ಕ್, ಪೈಥಾನ್ ಪ್ಯಾಕೇಜ್ ಸೂಚ್ಯಂಕವಾದ ಪೈಪಿಐನಲ್ಲಿ 5 ಮಿಲಿಯನ್‌ಗಿಂತಲೂ ಹೆಚ್ಚು ಡೌನ್‌ಲೋಡ್ ಹೊಂದಿದೆ. ಅನೇಕ ಪೈಥಾನ್ ಅಭಿವರ್ಧಕರು ಡೇಟಾ ವಿಶ್ಲೇಷಣೆಗಾಗಿ ಅವರು API ಅನ್ನು ಬಳಸುತ್ತಾರೆ, ಆದರೂ ಇದು ಏಕ ನೋಡ್ ಪ್ರಕ್ರಿಯೆಗೆ ಸೀಮಿತವಾಗಿದೆ.
ಆದ್ದರಿಂದ ಪೈಥಾನ್ ಆಗಿತ್ತು ಸ್ಪಾರ್ಕ್ 3.0 ಗಾಗಿ ಅಭಿವೃದ್ಧಿಯ ಪ್ರಮುಖ ಕ್ಷೇತ್ರ. ವಿತರಣಾ ಪರಿಸರದಲ್ಲಿ ದೊಡ್ಡ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವಾಗ ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳನ್ನು ಹೆಚ್ಚು ಉತ್ಪಾದಕವಾಗಿಸಲು ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ನಲ್ಲಿ ಎಪಿಐ ಅಭಿವೃದ್ಧಿ ವೇಗಗೊಂಡಿದೆ.
ಕೋಲಾಸ್ ಅನೇಕ ಕಾರ್ಯಗಳನ್ನು ರಚಿಸುವ ಅಗತ್ಯವನ್ನು ನಿವಾರಿಸುತ್ತದೆ (ಉದಾ. ಗ್ರಾಫಿಕ್ಸ್ ಬೆಂಬಲ) ಪಿಸ್‌ಪಾರ್ಕ್‌ನಲ್ಲಿ, ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಉತ್ತಮ ಪ್ರದರ್ಶನಕ್ಕಾಗಿ.
ಇಲ್ಲಿಯವರೆಗೆ, ಸ್ಪಾರ್ಕ್ ಪಾತ್ರವು ಇಟಿಎಲ್ (ಎಕ್ಸ್‌ಟ್ರಾಕ್ಟ್ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮ್ ಲೋಡ್) ಗೆ ಸೀಮಿತವಾಗಿರುತ್ತದೆ ಎಂದು ನಾವು ಹೇಳಬಹುದು.
ಇದು ಪೈಥಾನ್ ಪ್ರಕಾರದ ಸುಳಿವುಗಳು ಮತ್ತು ಹೆಚ್ಚುವರಿ ಪಾಂಡಾಗಳ ಯುಡಿಎಫ್‌ಗಳು (ಬಳಕೆದಾರ-ವ್ಯಾಖ್ಯಾನಿತ ಕಾರ್ಯಗಳು) ಸೇರಿದಂತೆ ಗಮನಾರ್ಹ API ಸುಧಾರಣೆಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ.
ಸ್ಪಾರ್ಕ್ 3.0 ಉತ್ತಮ ಪೈಥಾನ್ ದೋಷ ನಿರ್ವಹಣೆಯನ್ನು ನೀಡುತ್ತದೆ, ಮತ್ತು ಬಳಕೆದಾರ-ವ್ಯಾಖ್ಯಾನಿತ ಆರ್ ಕಾರ್ಯಗಳಿಗೆ ಕರೆಗಳು 40 ಪಟ್ಟು ವೇಗವಾಗಿರುತ್ತದೆ.
ಸ್ಪಾರ್ಕ್ 3.0 ನಲ್ಲಿ, ಎಲ್ಲಾ ಪರಿಹಾರಗಳಲ್ಲಿ 46% SQL ಕ್ರಿಯಾತ್ಮಕತೆಗಾಗಿತ್ತು, ಇದು ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ANSI ಹೊಂದಾಣಿಕೆ ಎರಡನ್ನೂ ಸುಧಾರಿಸಿದೆ.
ಅದು ಹೇಳಿದೆ, ಸ್ಪಾರ್ಕ್ SQL ಎಂಜಿನ್‌ನಲ್ಲಿನ ಮೂರು ಪ್ರಮುಖ ಹೊಸ ವೈಶಿಷ್ಟ್ಯಗಳು ಹೊಂದಾಣಿಕೆಯ ಪ್ರಶ್ನೆಗಳ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ.
ಆಪ್ಟಿಮೈಸೇಶನ್ ವಿಧಾನಗಳು ಪ್ರಶ್ನೆ ಸಾಮಾನ್ಯವಾಗಿ ಸ್ಥಿರ ಪ್ರಶ್ನೆ ಆಪ್ಟಿಮೈಸೇಶನ್ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ.
ಸ್ಪಾರ್ಕ್ನಲ್ಲಿ ಸಂಗ್ರಹಣೆ ಮತ್ತು ಸಂಸ್ಕರಣೆಯನ್ನು ಬೇರ್ಪಡಿಸುವುದರಿಂದ, ಡೇಟಾದ ಆಗಮನವು ಅನಿರೀಕ್ಷಿತವಾಗಿದೆ. ಈ ಕಾರಣಗಳಿಗಾಗಿ, ಸಾಂಪ್ರದಾಯಿಕ ವ್ಯವಸ್ಥೆಗಳಿಗಿಂತ ಸ್ಪಾರ್ಕ್ಗೆ ಹೊಂದಾಣಿಕೆಯ ಪ್ರಶ್ನೆ ಮರಣದಂಡನೆ ಹೆಚ್ಚು ನಿರ್ಣಾಯಕವಾಗುತ್ತದೆ.
ಬಿಡುಗಡೆ ಟಿಪ್ಪಣಿಗಳಲ್ಲಿ ನೀವು ಪರಿಶೀಲಿಸಬಹುದಾದ ಇನ್ನೂ ಹಲವು ವೈಶಿಷ್ಟ್ಯಗಳಿವೆ. ಡೇಟಾ ಮೂಲಗಳು, ಪರಿಸರ ವ್ಯವಸ್ಥೆಗಳು, ಮೇಲ್ವಿಚಾರಣೆ, ಡೀಬಗ್ ಮಾಡುವುದು ಮತ್ತು ಹೆಚ್ಚಿನದನ್ನು ಒಳಗೊಂಡಿರುವ ವೈಶಿಷ್ಟ್ಯಗಳು.
ನೀವು ಬಿಡುಗಡೆ ಟಿಪ್ಪಣಿಯನ್ನು ಪರಿಶೀಲಿಸಬಹುದು ಕೆಳಗಿನ ಲಿಂಕ್‌ಗೆ ಹೋಗುವ ಮೂಲಕ.
ಮೂಲ: https://spark.apache.org/