Menghubungkan Pyspark dengan Jupyter Notebook

1. Install Jupyter

pip install jupyter

Note: Install pip terlebih dahulu jika belum ada

sudo apt install python3-pip

atau untuk python2

sudo apt install python-pip

2. Edit ~/.bashrc

sudo nano ~/.bashrc

Tambahkan:

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

3. Update

source ~/.bashrc

4. Masuk ke folder spark

Jalankan pyspark

./bin/pyspark

5. Jika berhasil, akan dibuka di web browser dengan tampilan seperti ini

M. Ali Fauzi