Hadoop ішіндегі шағын файлдармен қандай мәселе бар?
Hadoop ішіндегі шағын файлдармен қандай мәселе бар?

Бейне: Hadoop ішіндегі шағын файлдармен қандай мәселе бар?

Бейне: Hadoop ішіндегі шағын файлдармен қандай мәселе бар?
Бейне: How to Setup Multinode Hadoop 2 on CentOS/RHEL Using VirtualBox 2024, Мамыр
Anonim

1) Шағын файл мәселесі ішінде HDFS : көп сақтау шағын файлдар олар өте жоғары кішірек блок өлшемін тиімді өңдеу мүмкін емес HDFS . Толық оқу шағын файлдар деректер түйінінен деректер түйініне көптеген іздеулер мен көп секірулерді қамтиды, бұл деректерді тиімсіз өңдеуге әкеледі.

Бұдан басқа, қандай файлдар Hadoop-та шағын файл мәселелерімен айналысады?

1) HAR ( Hadoop Мұрағат) Файлдар таныстырылды шағын файл мәселесімен айналысыңыз . HAR үстіңгі қабатын енгізді HDFS интерфейсін қамтамасыз ететін файл қол жеткізу. Қолдану Hadoop мұрағат командасы, HAR файлдар a орындалатын құрылады MapReduce орау үшін жұмыс файлдар ішіне мұрағатталады кішірек саны HDFS файлдары.

Сонымен қатар, HDFS жүйесінде әртүрлі блок өлшемдерін пайдаланатын бірнеше файлдар болуы мүмкін бе? Әдепкі өлшемі ның блок 64 МБ құрайды. сен алады оны талапқа байланысты өзгертіңіз. Сіздің сұрағыңызға келсек, иә бірнеше файл жасай алады түрлену арқылы блок өлшемдері бірақ бұл нақты уақытта ерік өндірісті қолдамайды.

Сонымен қатар, неге HDFS шағын файлдарды оңтайлы өңдемейді?

Мәселелері шағын файлдар және HDFS Әр файл , каталог және блоктау HDFS бұл атау түйінінің жадында нысан ретінде көрсетіледі, олардың әрқайсысы 150 байтты алады, әдеттегідей. Бұдан басқа, HDFS емес тиімді қол жеткізуге бағытталған шағын файлдар : бұл болып табылады ең алдымен үлкен көлемді ағынды қол жеткізуге арналған файлдар.

Hadoop неге баяу?

Баяу Өңдеу жылдамдығы Бұл дискіні іздеу уақытты талап етеді, осылайша бүкіл процесті өте жақсы етеді баяу . Егер Hadoop шағын көлемде деректерді өңдейді, бұл өте баяу салыстырмалы түрде. Бұл үлкен деректер жиынтығы үшін өте қолайлы. ретінде Hadoop негізінде пакеттік өңдеу қозғалтқышы бар, оның нақты уақыттағы өңдеу жылдамдығы төмен.

Ұсынылған: