Ұшқын бөренелерін қайдан табуға болады?

2024 Автор: Lynn Donovan | [email protected]. Соңғы өзгертілген: 2023-12-15 23:49

Журнал каталогтар

Әдепкі SPARK_WORKER_LOG_DIR орны /var/ журнал / ұшқын /жұмысшы. Әдепкі журнал бастауға арналған каталог Ұшқын SQL Thrift сервері $HOME/ ұшқын -трифт-сервер. Ұшқын Қабық және қолданба журналдар консольге шығарылады. Журнал конфигурация файлдары сол каталогта орналасқан ұшқын -env.sh.

Осыған байланысты ұшқын бөренелерін қалай алуға болады?

Ұшқын Талдау бетіндегі тапсырманы немесе қолданбаны ашуға болады журналдар Қолданбаның UI арқылы және Ұшқын Қолданбаның UI. бетіне қол жеткізуге болады журналдар арқылы Ұшқын Қолданбаның UI. Сіз сондай-ақ қосымша аласыз журналдар қателер мен ерекшеліктерді анықтау Ұшқын жұмыс немесе қолданба ақаулары.

Сол сияқты, жіп журналдарын қалай тексересіз? Қарау а журнал файл The журналдар Қолданба шеберінің нұсқасын https://${ мекенжайындағы ресурс менеджерінің пайдаланушы интерфейсіндегі шолғышта да көруге болады. жіп .resourcemanager.webapp.address}/cluster (https://localhost:8088 "кластер" бір түйінінде).

Сол сияқты біреу сұрауы мүмкін: Spark-те орындаушы журналдарын қалай алуға болады?

Жауап

1. Spark орындаушы журналдарын алу нұсқаулары:
2. Amabari үшін -- 1) Spark қызметі мен Конфигурациялар қойындысына өтіңіз: 2) "Қосымша spark-log4j-properties" жазбасын табыңыз.
3. Cloudera үшін -- Орнату: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Spark History серверінің URL мекенжайын қалай табуға болады?

Мысалы, үшін тарих сервері , олар әдетте https://< мекенжайында қолжетімді болады сервер - url >:18080/api/v1 және іске қосылған қолданба үшін https://localhost:4040/api/v1 мекенжайында. API ішінде қолданбаға оның қолданба идентификаторы [app-id] арқылы сілтеме жасалады.