Мазмұны:

Sqoop өнімділігін қалай жақсартуға болады?
Sqoop өнімділігін қалай жақсартуға болады?

Бейне: Sqoop өнімділігін қалай жақсартуға болады?

Бейне: Sqoop өнімділігін қалай жақсартуға болады?
Бейне: Hadoop Rack Awareness 2024, Қараша
Anonim

Оңтайландыру үшін өнімділік , орнату the мәнінен төмен карта тапсырмаларының саны the қосылымдардың максималды саны the деректер базасын қолдайды. Бақылау the параллелизмнің мөлшері Sqoop деректерді тасымалдау үшін пайдаланады the бақылаудың негізгі жолы the жүктеңіз сіздің дерекқор.

Сәйкесінше, процесс арасында sqoop сәтсіз болса не болады?

Типтік Sqoop бастапқы дерекқордан HDFS ішіне деректерді жұтып жатқан жұмыс деректерді мақсатты каталогқа көшіреді. Көшірілген файл жойылады егер sqoop сәтсіз болса аяқтамай.

Сондай-ақ, сіз sqoop-та параллелизмге қалай қол жеткізесіз? Бақылау Параллелизм . Sqoop көптеген дерекқор көздерінен деректерді қатар импорттайды. Импорттауды орындау үшін пайдаланылатын карта тапсырмаларының (параллель процестер) санын -m немесе --num-mappers аргументі арқылы көрсетуге болады. Осы аргументтердің әрқайсысы дәрежесіне сәйкес келетін бүтін мәнді қабылдайды параллелизм жұмысқа алу

Демек, Hive сұрауының өнімділігін қалай жақсартуға болады?

Төменде Hive сұрауларын оңтайландыру үшін орындай алатын тәжірибелер тізімі берілген

  1. Hive ішіндегі қысуды қосыңыз.
  2. Біріктірулерді оңтайландыру.
  3. Hive ішіндегі жаһандық сұрыптаудан аулақ болыңыз.
  4. Tez орындау механизмін қосыңыз.
  5. LIMIT операторын оңтайландыру.
  6. Параллель орындауды қосыңыз.
  7. Mapreduce қатаң режимін қосыңыз.
  8. Multi Group BY үшін бір рет азайту.

Sqoop split қалай жұмыс істейді?

Оны үлкен параллелизмге қол жеткізу арқылы импорт өнімділігін арттыру үшін пайдалануға болады. Sqoop жасайды бөледі -- арқылы көрсетілген кестенің белгілі бір бағанындағы мәндерге негізделген Сызат -импорт пәрмені арқылы пайдаланушы арқылы. Егер ол қол жетімді болмаса, енгізу кестесінің бастапқы кілті жасау үшін пайдаланылады бөледі.

Ұсынылған: