AWS Hadoop-ты қолдай ма?
AWS Hadoop-ты қолдай ма?

Бейне: AWS Hadoop-ты қолдай ма?

Бейне: AWS Hadoop-ты қолдай ма?
Бейне: Проксирование данных для Hadoop / Андрей Ильин (Сбер) 2024, Мамыр
Anonim

Apache™ Hadoop ® – үлкен деректер жиынын тиімді өңдеу үшін пайдалануға болатын ашық бастапқы бағдарламалық жасақтама жобасы. Amazon EMR толық конфигурацияланған, серпімді кластерлерді жасауды және басқаруды жеңілдетеді Amazon EC2 іске қосылған даналар Hadoop және басқа қолданбалар Hadoop экожүйе.

Сонымен, AWS Hadoop пайдаланады ма?

Amazon Веб қызметтері пайдаланады ашық бастапқы Apache Hadoop деректерді қажет ететін тапсырмаларды орындау үшін үлкен көлемдегі есептеу қуатына қол жеткізуді жеңілдету үшін бөлінген есептеу технологиясы. Hadoop , Google MapReduce қолданбасының ашық бастапқы нұсқасын Yahoo және Facebook сияқты компаниялар пайдаланып жатыр.

Екіншіден, AWS EMR не істейді? Amazon Elastic MapReduce ( EMR ) болып табылады а Amazon Веб қызметтері ( AWS ) үлкен деректерді өңдеу және талдау құралы. Amazon EMR виртуалды серверлердің Hadoop кластері арқылы үлкен деректерді өңдейді Amazon Эластикалық есептеу бұлты ( EC2 ) және Amazon Қарапайым сақтау қызметі (S3).

Осылайша, Hadoop пен AWS арасындағы айырмашылық неде?

Hadoop көптеген компьютерлерде үлкен деректер жиынын өңдеуге көмектесетін құрылым. Оған Map/Reduce (параллельді өңдеу) және HDFS (таратылған файлдық жүйе) кіреді. AWS бастапқыда ParAccel әзірлеген меншікті технологияның үстіне салынған деректер қоймасы. Apache үшін қандай жалпы қолданулар бар Hadoop ?

AWS s3 Hadoop ма?

S3 бұлттағы шексіз сақтау орны болып табылады, бірақ HDFS емес. HDFS физикалық машиналарда орналасады, сондықтан кез келген бағдарламаны сол жерде орындауға болады. Сіз ештеңені орындай алмайсыз S3 FS емес, жай ғана нысан дүкені ретінде.

Ұсынылған: