MapReduce тапсырмасын орындау үшін пайдаланушы көрсетуі қажет негізгі конфигурация параметрлері қандай?
MapReduce тапсырмасын орындау үшін пайдаланушы көрсетуі қажет негізгі конфигурация параметрлері қандай?
Anonim

Пайдаланушылар «MapReduce» шеңберінде көрсетуі қажет негізгі конфигурация параметрлері:

  • Жұмыс таратылған файлдық жүйедегі енгізу орындары.
  • Жұмыс таратылған файлдық жүйедегі шығыс орны.
  • Мәліметтерді енгізу пішімі.
  • Мәліметтерді шығару пішімі.
  • Карта функциясы бар класс.
  • Кішірейту функциясы бар класс.

Мұнда MapReduce бағдарламасындағы негізгі конфигурация параметрлері қандай?

«MapReduce» құрылымындағы негізгі конфигурация параметрлері:

  • Бөлінген файлдық жүйедегі тапсырмаларды енгізу орны.
  • Бөлінген файлдық жүйедегі тапсырмаларды шығару орны.
  • Мәліметтерді енгізу пішімі.
  • Мәліметтердің шығыс форматы.
  • Карта функциясын қамтитын класс.
  • Кішірейту функциясын қамтитын класс.

Сондай-ақ сұрақ туындауы мүмкін, мапперлер мен редукторлардың параметрлері қандай? Карта жасаушыларға арналған төрт параметр:

  • LongWritable (енгізу)
  • мәтін (енгізу)
  • мәтін (аралық шығыс)
  • IntWritable (аралық шығыс)

Сондай-ақ сұрақ туындайды, MapReduce жұмысының негізгі құрамдас бөліктері қандай?

  • Жұмыс конфигурациясының параметрлерін қамтамасыз ететін негізгі драйвер класы.
  • Органды кеңейту керек Mapper класы. apache. hadoop. мапредукция. Mapper класы және map () әдісінің орындалуын қамтамасыз етеді.
  • Органды кеңейтетін редуктор класы. apache. hadoop. мапредукция. Редуктор класы.

Бөлімше деген не және ол MapReduce жұмыс процесіне қалай көмектеседі?

Бөлгіш ішінде MapReduce тапсырмасы орындау аралық карта-шығыстардың кілттерінің бөлінуін басқарады. Бірге Көмектесіңдер хэш функциясының кілті (немесе кілттің ішкі жиыны) мәнін шығарады бөлім . Бірдей кілт мәні бар жазбалар бірдей болады бөлім (әр карташы ішінде).

Ұсынылған: