Spark хабар тарату дегеніміз не?
Spark хабар тарату дегеніміз не?

Бейне: Spark хабар тарату дегеніміз не?

Бейне: Spark хабар тарату дегеніміз не?
Бейне: Ускорение Мобильного Интернета на телефоне! Скорей Включи эту настройку 2024, Сәуір
Anonim

Хабар тарату Apache ішіндегі айнымалылар Ұшқын тек оқуға арналған орындаушылар арасында айнымалыларды ортақ пайдалану механизмі болып табылады. Онсыз тарату айнымалы мәндер бұл айнымалылар әрбір түрлендіру және әрекет үшін әрбір орындаушыға жөнелтіледі және бұл желінің үстеме шығынын тудыруы мүмкін.

Сол сияқты, адамдар ұшқынды қашан таратуым керек?

Хабар тарату айнымалы мәндер көбінесе бірнеше кезеңдегі тапсырмалар бірдей деректерді талап еткенде немесе сериядан шығарылған пішіндегі деректерді кэштеу қажет болғанда пайдаланылады. Хабар тарату айнымалы мәндер SparkContext шақыру арқылы v айнымалысы арқылы жасалады.

Сондай-ақ, ұшқындағы аккумуляторлар мен хабар тарату айнымалылары дегеніміз не? Ұшқын ортақ пайдаланудың екі түрін қолдайды айнымалылар : хабар тарату айнымалылары , ол барлық түйіндерде жадтағы мәнді кэштеу үшін пайдаланылуы мүмкін және аккумуляторлар , олар айнымалылар есептегіштер мен қосындылар сияқты тек "қосылатын".

Осыны ескере отырып, ұшқын аккумуляторы дегеніміз не?

Аккумуляторлар олар тек ассоциативті операция арқылы «қосылатын» айнымалылар болып табылады және сондықтан параллельді тиімді қолдауға болады. Оларды санауыштарды (MapReduce-тегідей) немесе сомаларды іске асыру үшін пайдалануға болады. Ұшқын жергілікті түрде қолдайды аккумуляторлар сандық түрлер мен бағдарламашылар жаңа түрлерге қолдау қоса алады.

Spark ішіндегі тарату айнымалысын қалай жаңартуға болады?

  1. Анықтама деректерін іздеуді forEachPartition немесе forEachRdd ішіне жылжытыңыз, сонда ол толығымен жұмысшыларда болады.
  2. Жаңа хабар тарату айнымалысымен қайта деректер өзгерген сайын Spark мәтінмәнін қайта іске қосыңыз.

Ұсынылған: