Апацхе Спарк је оквир рачунарство кластера отвореног кода који пружа интерфејс за програмирање кластера у комплету са имплицитним паралелизмом података и толеранцијом грешака, који је база кодова пројекта Спарк донирана Апацхе Софтваре Фоундатион која је одговорна за његово одржавање.
Апацхе Спарк може се сматрати кластер рачунарским системом опште намене, оријентисаним на брзину.
Наведите АПИ-је у Јави, Сцала, Питхон и Р, плус такође пружа оптимизован мотор која подржава извршење графикона уопште.
такође подржава широк и богат скуп алата високог нивоа међу којима знам укључују Спарк СКЛ (за структурирану обраду података засновану на СКЛ-у), МЛлиб за примену машинског учења, ГрапхКс за обраду графова и Спарк Стреаминг.
Спарк СКЛ је модул Апацхе Спарк за рад са структурираним подацима и веома је популаран у апликацијама Спарк. Према Датабрицкс-у, компанији коју су основали творци Апацхе Спарк-а, чак и програмери Питхон и Сцала раде велики део свог посла са Спарк СКЛ мотором.
Спарк је данас де фацто оквир за обраду великих података, науку о подацима, машинско учење и аналитику података.
О Апацхе Спарк 3.0
Сада оквир је у својој верзији 3.0 а међу најважнијим новим карактеристикама треба напоменути да Спарк 3.0 је двоструко бржи него претходна верзија ослањајући се, између осталог, на ТПЦ-ДС.
Постигнуто је ово повећање перформанси кроз побољшања као што је покретање адаптивних упита, обрезивање динамичких партиција и друге оптимизације. Такође је побољшана усклађеност са АНСИ СКЛ стандардом.
Спарк 3.0 је главна верзија са више од 3400 решених улазница, али само у оквиру главних промена Ограничавају се, између осталих, на главне нове функције за СКЛ и Питхон.
Апацхе Спарк 3.0 јача ову позицију у великој мери побољшавајући подршку за СКЛ и Питхон, два најчешће коришћена језика са Спарк-ом данас и пружају многе оптимизације на свим нивоима.
ПиСпарк, Спарк АПИ за Питхон, има више од 5 милиона преузимања месечно на ПиПИ, индексу Питхон пакета. Многи програмери Питхона АПИ користе за анализу података, иако је ограничен на обраду појединачних чворова.
Питхон је, дакле, кључно подручје развоја за Спарк 3.0. Развој АПИ-ја на Апацхе Спарк-у је убрзан да научнике података учини продуктивнијим у раду са великим подацима у дистрибуираним окружењима.
Коалас елиминише потребу за стварањем многих функција (нпр. графичка подршка) у ПиСпарку, ради бољих перформанси у кластеру.
До сада можемо рећи да је Спаркова улога често ограничена на улогу ЕТЛ-а (Ектрацт Трансформ Лоад).
Ово посебно резултира значајним побољшањима АПИ-ја, укључујући наговештаје типа Питхон и додатне УДФ-ове панди (кориснички дефинисане функције).
Спарк 3.0 нуди боље руковање Питхон грешкама, а позиви кориснички дефинисаних Р функција су и до 40 пута бржи.
Такође треба напоменути да је у Спарк 3.0, 46% свих исправки односило се на СКЛ функционалност, који је побољшао и перформансе и АНСИ компатибилност.
Рекавши да, три најважније нове карактеристике у Спарк СКЛ енгине-у су извршавање адаптивних упита.
Методе оптимизације Упити се углавном фокусирају на статичку оптимизацију упита.
Због раздвајања складишта и обраде у Спарку, долазак података може бити непредвидив. Из ових разлога, прилагодљиво извршавање упита постаје пресудније за Спарк него за традиционалне системе.
Постоје многе друге функције које можете погледати у напоменама о издању. Карактеристике које покривају изворе података, екосистеме, праћење, отклањање грешака и још много тога.
Можете да проверите напомену о издању одласком на следећу везу.
izvor: https://spark.apache.org/