Мазмұны:

Sqoop деректерді импорттау және экспорттау үшін нені пайдаланады?
Sqoop деректерді импорттау және экспорттау үшін нені пайдаланады?

Бейне: Sqoop деректерді импорттау және экспорттау үшін нені пайдаланады?

Бейне: Sqoop деректерді импорттау және экспорттау үшін нені пайдаланады?
Бейне: Sqoop Import and Export data from RDMBS and HDFS 2024, Желтоқсан
Anonim

Sqoop бұл тасымалдауға арналған құрал деректер Hadoop және реляциялық мәліметтер базасы арасында. Sqoop сүйене отырып, осы процестің көп бөлігін автоматтандырады дерекқор схемасын сипаттау үшін деректер болу импортталған . Sqoop пайдаланады MapReduce to деректерді импорттау және экспорттау , ол параллель жұмысты, сондай-ақ ақауларға төзімділікті қамтамасыз етеді.

Мұнда деректерді sqoop жүйесінен қалай экспорттауға болады?

Бастау

  1. 1-қадам: MySQL данасында жаңа дерекқорды жасаңыз. ДЕРЕКТЕР ҚОРЫН ЖАСАУ db1;
  2. акад деп аталатын кесте құрыңыз.
  3. 3-қадам: input.txt және input2.txt файлдарын HDFS жүйесінен MySQL жүйесіне экспорттаңыз. sqoop export –connect jdbc:mysql://localhost/db1 –username sqoop –password root –table acad –export-dir /sqoop_msql/ -m 1.

Сондай-ақ, sqoop экспорты қалай жұмыс істейді? Sqoop - Sqoop экспортын экспорттау пәрмен кіріс деректерінің жиынтығымен INSERT мәлімдемелерін дайындайды, содан кейін дерекқорға түседі. Ол үшін экспорттау жаңа жазбалар, Егер кестеде бастапқы кілтпен бірегей мән тұрақты болса, экспорт кірістіру мәлімдемесі сәтсіз болғандықтан тапсырма орындалмайды. Жаңартуларыңыз болса, --update-key опциясын пайдалануға болады.

Сол сияқты, адамдар деректерді sqoop-қа қалай импорттаймын деп сұрайды.

Әрбір жеке Sqoop пәрмен опциясы нені білдіреді:

  1. қосылу – jdbc жолын қамтамасыз етеді.
  2. пайдаланушы аты – Деректер базасының пайдаланушы аты.
  3. -P – консольде құпия сөзді сұрайды.
  4. кесте – компьютерге MySQL ішінен қай кестені импорттағыңыз келетінін айтады.
  5. бөлу - бөлу бағаныңызды көрсетеді.
  6. target-dir – HDFS тағайындау каталогы.

Sqoop импорты дегеніміз не?

Sqoop құрал' импорт ' үйренген импорт кесте деректері кестеден Hadoop файлдық жүйесіне мәтіндік файл немесе екілік файл ретінде. Келесі пәрмен қолданылады импорт emp кестесі MySQL дерекқор серверінен HDFS.

Ұсынылған: