Spark History серверін қалай іске қосамын?

2024 Автор: Lynn Donovan | [email protected]. Соңғы өзгертілген: 2023-12-15 23:49

Spark тарих серверін қосу үшін:

1. DSEFS файлдық жүйесінде оқиғалар журналдары үшін каталог жасаңыз: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
2. Оқиғаларды тіркеу қосулы кезде, әдепкі әрекет барлық журналдарға сақталады, бұл жадтың уақыт өте келе өсуіне әкеледі.

Бұған қоса, spark History серверін қалай орнатуға болады?

Spark тарих серверін қосу үшін:

1. DSEFS файлдық жүйесінде оқиғалар журналдары үшін каталог жасаңыз: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
2. Оқиғаларды тіркеу қосулы кезде, әдепкі әрекет барлық журналдарға сақталады, бұл жадтың уақыт өте келе өсуіне әкеледі.

Сол сияқты, spark History серверінің URL мекенжайын қалай табуға болады? Мысалы, үшін тарих сервері , олар әдетте https://< мекенжайында қолжетімді болады сервер - url >:18080/api/v1 және іске қосылған қолданба үшін https://localhost:4040/api/v1 мекенжайында. API ішінде қолданбаға оның қолданба идентификаторы [app-id] арқылы сілтеме жасалады.

Сол сияқты, Spark History сервері дегеніміз не?

The Spark тарих сервері аяқталған туралы ақпаратты көрсететін бақылау құралы Ұшқын қолданбалар. Бұл ақпарат болып табылады қолданбалар әдепкі бойынша Hadoop таратылған файлдық жүйесіндегі (HDFS) каталогқа жазатын деректерден алынған.

Sparkui дегеніміз не?

Spark Web UI сізге жоспарлаушы кезеңдері мен тапсырмаларының тізімін, қоршаған орта туралы ақпаратты, іске қосылған орындаушылар туралы ақпаратты және т.б. көруге мүмкіндік береді. Мыналар туралы білу үшін мына 30 минуттық демонстрацияны қараңыз: Spark бағдарламасының құрамдас бөліктері мен өмірлік циклі. Spark қолданбасы Hadoop кластерінде қалай жұмыс істейді.