Мазмұны:

MapReduce тапсырмасын орындау үшін пайдаланушы көрсетуі қажет негізгі конфигурация параметрлері қандай?
MapReduce тапсырмасын орындау үшін пайдаланушы көрсетуі қажет негізгі конфигурация параметрлері қандай?

Бейне: MapReduce тапсырмасын орындау үшін пайдаланушы көрсетуі қажет негізгі конфигурация параметрлері қандай?

Бейне: MapReduce тапсырмасын орындау үшін пайдаланушы көрсетуі қажет негізгі конфигурация параметрлері қандай?
Бейне: Hadoop Processing Frameworks 2024, Мамыр
Anonim

Пайдаланушылар «MapReduce» шеңберінде көрсетуі қажет негізгі конфигурация параметрлері:

  • Жұмыс таратылған файлдық жүйедегі енгізу орындары.
  • Жұмыс таратылған файлдық жүйедегі шығыс орны.
  • Мәліметтерді енгізу пішімі.
  • Мәліметтерді шығару пішімі.
  • Карта функциясы бар класс.
  • Кішірейту функциясы бар класс.

Мұнда MapReduce бағдарламасындағы негізгі конфигурация параметрлері қандай?

«MapReduce» құрылымындағы негізгі конфигурация параметрлері:

  • Бөлінген файлдық жүйедегі тапсырмаларды енгізу орны.
  • Бөлінген файлдық жүйедегі тапсырмаларды шығару орны.
  • Мәліметтерді енгізу пішімі.
  • Мәліметтердің шығыс форматы.
  • Карта функциясын қамтитын класс.
  • Кішірейту функциясын қамтитын класс.

Сондай-ақ сұрақ туындауы мүмкін, мапперлер мен редукторлардың параметрлері қандай? Карта жасаушыларға арналған төрт параметр:

  • LongWritable (енгізу)
  • мәтін (енгізу)
  • мәтін (аралық шығыс)
  • IntWritable (аралық шығыс)

Сондай-ақ сұрақ туындайды, MapReduce жұмысының негізгі құрамдас бөліктері қандай?

  • Жұмыс конфигурациясының параметрлерін қамтамасыз ететін негізгі драйвер класы.
  • Органды кеңейту керек Mapper класы. apache. hadoop. мапредукция. Mapper класы және map () әдісінің орындалуын қамтамасыз етеді.
  • Органды кеңейтетін редуктор класы. apache. hadoop. мапредукция. Редуктор класы.

Бөлімше деген не және ол MapReduce жұмыс процесіне қалай көмектеседі?

Бөлгіш ішінде MapReduce тапсырмасы орындау аралық карта-шығыстардың кілттерінің бөлінуін басқарады. Бірге Көмектесіңдер хэш функциясының кілті (немесе кілттің ішкі жиыны) мәнін шығарады бөлім . Бірдей кілт мәні бар жазбалар бірдей болады бөлім (әр карташы ішінде).

Ұсынылған: