Кілт арқылы азайту дегеніміз не?
Кілт арқылы азайту дегеніміз не?

Бейне: Кілт арқылы азайту дегеніміз не?

Бейне: Кілт арқылы азайту дегеніміз не?
Бейне: Телефон арқылы ЭЦҚ кілтін алу #эцп #эцқ #егов 2024, Мамыр
Anonim

Spark RDD reduceByKey функциясы әрқайсысы үшін мәндерді біріктіреді кілт ассоциацияны қолдану азайту функциясы. Бұл интуитивті түрде бұл функция элемент ретіне қарамастан бірнеше бөлімдері бар бір RDD деректер жинағында қайталап қолданғанда бірдей нәтиже береді дегенді білдіреді.

Содан кейін groupByKey және reduceByKey арасындағы айырмашылық неде?

groupByKey () кілт негізінде деректер жиынын топтау ғана. азайтуByKey () топтастыру + біріктіру сияқты нәрсе. азайтуByKey үлкен деректер жинағында жұмыс істегенде пайдалануға болады. aggregateByKey() логикалық тұрғыдан бірдей азайтуByKey () бірақ ол нәтижені қайтаруға мүмкіндік береді әртүрлі түрі.

Сондай-ақ біліңіз, неге азайту әрекет ұшқын болып табылады? Ұшқынды азайту операция болып табылады әрекет операция түрі және ол барлық реттелген жалқау нұсқаулар үшін толық DAG орындалуын іске қосады. Ұшқын RDD азайту функциясы көрсетілген коммутативті және ассоциативті екілік операторды пайдаланып осы RDD элементтерін азайтады. Ұшқынды азайту операциясы дерлік ұқсас азайту Скаладағы әдіс.

Жоғарыда көрсетілгеннен басқа, Pairrdd дегеніміз не?

Spark кілт/мән жұптары бар RDD-де арнайы операцияларды қамтамасыз етеді. Бұл RDD жұптық RDD деп аталады. RDD жұптары көптеген бағдарламаларда пайдалы құрылыс блогы болып табылады, өйткені олар әр кілтте параллель әрекет етуге немесе желі бойынша деректерді қайта топтастыруға мүмкіндік беретін операцияларды көрсетеді. PairRDDs KEY/VALUE жұптары.

reduceByKey әрекеті ме?

reduce() бағытталған ациклдік графикке (DAG) қосылмайтын коллекцияны шығарады, сондықтан ол ретінде іске асырылады. әрекет . Дегенмен, азайтуByKey () RDD қайтарады, ол DAG ішіндегі басқа деңгей/күй ғана, сондықтан түрлендіру болып табылады.

Ұсынылған: