Трансляция ұшқыны дегеніміз не?
Трансляция ұшқыны дегеніміз не?

Бейне: Трансляция ұшқыны дегеніміз не?

Бейне: Трансляция ұшқыны дегеніміз не?
Бейне: Төреғали Төреәлі & Ұшқын Жамалбек - Тақия 2024, Қараша
Anonim

Хабар тарату Apache ішіндегі айнымалылар Ұшқын тек оқуға арналған орындаушылар арасында айнымалыларды ортақ пайдалану механизмі болып табылады. Онсыз тарату айнымалы мәндер бұл айнымалылар әрбір түрлендіру және әрекет үшін әрбір орындаушыға жөнелтіледі және бұл желінің үстеме шығынын тудыруы мүмкін.

Сондай-ақ білу керек, мен ұшқынды қашан таратуым керек?

Хабар тарату айнымалы мәндер көбінесе бірнеше кезеңдегі тапсырмалар бірдей деректерді талап еткенде немесе сериядан шығарылған пішіндегі деректерді кэштеу қажет болғанда пайдаланылады. Хабар тарату айнымалы мәндер SparkContext шақыру арқылы v айнымалысы арқылы жасалады.

Сондай-ақ, аккумулятор ұшқынды қалай анықтайды? Аккумуляторлар олар тек ассоциативті операция арқылы «қосылатын» айнымалылар болып табылады және сондықтан параллельді тиімді қолдауға болады. Оларды санауыштарды (MapReduce-тегідей) немесе сомаларды іске асыру үшін пайдалануға болады. Ұшқын жергілікті түрде қолдайды аккумуляторлар сандық түрлер мен бағдарламашылар жаңа түрлерге қолдау қоса алады.

Сондай-ақ, spark ішінде ортақ айнымалы дегеніміз не?

Ортақ айнымалылар болып табылады айнымалылар көптеген функциялар мен әдістерді қатар қолдануды талап етеді. Ортақ айнымалылар параллельді операцияларда қолдануға болады. Ұшқын тапсырманы мүмкін болатын ең кіші операцияға, жабуға, әртүрлі түйіндерде жұмыс істейтін және әрқайсысында барлық жұмыстардың көшірмесі бар деп бөледі. айнымалылар -ның Ұшқын жұмыс.

DataFrame тарата аламыз ба?

Ұшқын алады “ тарату « кішкентай DataFrame сол шағындағы барлық деректерді жіберу арқылы DataFrame кластердегі барлық түйіндерге. Кішкентайдан кейін DataFrame болып табылады таратылды , Ұшқын алады үлкен көлемдегі деректердің ешқайсысын араластырмай біріктіруді орындаңыз DataFrame.

Ұсынылған: