Instalando o PySpark em um ambiente virtual Python
publicado em 04/jan/2024

Neste mini-tutorial estou utilizando o Ubuntu na versão 23.10, e o Python na versão 3.11, porém acredito que este procedimento funcione com o python3.7 em diante, e em outras distribuições do Ubuntu.
Também já tenho o Java instalado em meu pc, certifique-se que os comandos seja reconhecido em seu terminal.
java --version
javac --version
O primeiro passo é criar um ambiente Virtual
python -m venv venv-bigdata
Agora ativaremos o ambiente virtual recém criado
source venv-bigdata/bin/activate
No momento não há nada instalado em nosso ambiente
pip list

Instalando o pyspark
pip install pyspark
Executando o comando ‘pip list’ novamente para vermos o que foi instalado, teremos como output o seguinte resultado:

O PySpark e sua dependência py4j foram instalados com sucesso
pyspark
