Як встановити Scala та Apache Spark на MacOS

Ось покроковий посібник із встановлення Scala та Apache Spark на MacOS.

Крок 1: Отримати Homebrew

Homebrew значно полегшує вам життя, коли йдеться про встановлення програм та мов на Mac OS. Ви можете отримати Homebrew, дотримуючись інструкцій на цьому веб-сайті.

Що в основному просто говорить вам відкрити термінал і ввести:

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

Більш докладні інструкції щодо встановлення наведені на сторінці проекту GitHub. Встановлення всього через Homebrew має автоматично додати всі відповідні налаштування PATH до вашого профілю.

Крок 2: Встановлення xcode-select

Для того, щоб встановити Java, Scala та Spark через командний рядок, нам, мабуть, доведеться встановити інструменти розробника xcode-select та командного рядка. Перейдіть до свого терміналу та введіть:

xcode-select --install

Ви отримаєте підказку, яка виглядає приблизно так:

Вперед і виберіть встановити.

Крок 3: Використовуйте Homebrew для встановлення Java

Scala залежить від Java, вам може знадобитися, а може і не потрібно її встановлювати. Найпростіший спосіб встановити його - просто використовувати HomeBrew:

У вашому типі терміналу:

brew cask install java

Можливо, вам доведеться ввести свій пароль в якийсь момент, щоб завершити встановлення Java. Після запуску цього Homebrew слід було подбати про встановлення Java. Тепер ми можемо перейти до Scala.

Крок 4: Використовуйте Homebrew для встановлення Scala

Тепер, коли встановлено Homebrew, перейдіть до терміналу та введіть:

brew install scala

Крок 5: Використовуйте Homebrew для встановлення Apache Spark

Тепер із встановленою Scala перейдіть до терміналу та введіть:

brew install apache-spark

Тепер Homebrew завантажить та встановить Apache Spark, це може зайняти деякий час, залежно від вашого Інтернету.

Крок 5: Запустіть іскрову оболонку

Тепер спробуйте цю команду:

spark-shell

Ви повинні побачити потік тексту та попереджень, але зрештою побачите щось подібне:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Ви можете підтвердити, що він працює, набравши код масштабу:

val s = "hello world"

Вітаємо! Ви все налаштували!

Поширена проблема: Налаштування PATH у bash.

Homebrew повинен був подбати про все це, але у випадку, якщо вам потрібно додати іскру до вашого PATH, ви захочете використовувати:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Просто введіть це прямо у термінал.

Я Хосе Портілла, і я викладаю понад 200 000 студентів програмуванню, наукам даних та машинному навчанню в Udemy. Ви можете переглянути всі мої курси тут.

Якщо ви зацікавлені в вивченні Python для науки про дані та машинного навчання, перегляньте мій курс тут. (Я також викладаю веб-розробку Full Stack за допомогою Django!)