Мазмұны:

Мен жергілікті жерде spark іске қоса аламын ба?
Мен жергілікті жерде spark іске қоса аламын ба?

Бейне: Мен жергілікті жерде spark іске қоса аламын ба?

Бейне: Мен жергілікті жерде spark іске қоса аламын ба?
Бейне: Жігітім дұрыстап тықпаса не істеу керек? 2024, Қараша
Anonim

Ұшқын болады болуы жүгіру ішінде кірістірілген оқшау кластер жоспарлаушысын пайдалану жергілікті режимі. Бұл дегеніміз, барлық Ұшқын процестер болып табылады жүгіру сол JVM ішінде-тиімді, бір, көп ағынды данасы Ұшқын.

Осыған байланысты Apache spark бағдарламасын жергілікті түрде қалай іске қосамын?

Келесі қадамдар Apache Spark орнату жолын көрсетеді

  1. 1-қадам: Java орнатуын тексеру.
  2. 2-қадам: Scala орнатуын тексеру.
  3. 3-қадам: Scala жүктеп алу.
  4. 4-қадам: Scala орнату.
  5. 5-қадам: Apache Spark жүктеп алу.
  6. 6-қадам: Spark орнату.
  7. 7-қадам: Spark орнатуды тексеру.

Сонымен қатар, біз Hadoopсыз ұшқынды іске қоса аламыз ба? бойынша Ұшқын құжаттама, Spark Hadoopсыз жұмыс істей алады . Сіз мүмкін оны іске қосыңыз дербес режим ретінде онсыз кез келген ресурс менеджері. Бірақ егер сен келеді жүгіру көп түйінді орнатуда, сен YARN немесе Mesos сияқты ресурс менеджері және сияқты таратылған файлдық жүйе қажет HDFS , S3 және т.б. Иә, spark hadoopсыз жұмыс істей алады.

Жоғарыда айтылғандай, spark-ды дербес режимде қалай іске қосуға болады?

Орнату үшін Spark дербес режимі , сіз жай ғана құрастырылған нұсқасын орналастырасыз Ұшқын кластердегі әрбір түйінде. алдын ала құрастырылған нұсқаларын алуға болады Ұшқын әр шығарылыммен немесе оны өзіңіз құрастырыңыз.

Spark Windows жүйесінде жұмыс істей ала ма?

А Ұшқын қолдану алады болу а Windows -қабық сценарийі немесе ол алады жазбаша Java, Scala, Python немесе R тіліндегі теңшелетін бағдарлама болыңыз. Сізге қажет Windows Жүйеде орнатылған орындалатын файлдар жүгіру бұл қолданбалар.

Ұсынылған: