Environnement de lab pour appréhender l'usage de spark en tant que framework de développement.

Services

• webconsole : un terminal disponible dans son navigateur web
• notebook : un notebook zeppelin pour exécuter des commandes sur spark

Requirement 1 : installation to perform on your computer

You will need those softwares on your computer :

• Docker
• Git

On linux

• 1. install docker
• 2. install git

sudo apt-get install git

• 3. install docker-compose

On windows

• 1. install docker
• 2. install git

On mac

• 1. install docker
• 2. install git

brew install git

Step 1 : install the environment

1. clone this repository :

git clone https://github.com/Esme-Sudria-Database/lab-spark.git

3. go on the directory and mount the workstation

cd lab-spark
docker-compose up

Architecture

[To complete]

Troubleshooting

[To complete]

Run continuous integration process

make tests