Apache SparkとApache Zeppelinの概要と環境構築

Apache Spark

Apache Zeppelin notebookをDockerコンテナとして動かします。

この項を始める前にDocker Engineのubuntu上へのinstallを完了させて下さい。

準備

• Docker Engineのインストール
• Ubuntuの空き容量の確保 (Docker imageのサイズが4.11GB)

環境

• ゲストOS : Ubuntu (20.04)

手順

公式ドキュメントApache zeppelin 0.9.0 : Using the official docker imageに従います。

• ディレクトリ(~/zeppelin/logs, ~/zeppelin/noteook, ~/zeppelin/data)を作成

  mkdir -p ~/zeppelin/logs ~/zeppelin/notebook ~/zeppelin/data

  1	mkdir -p ~/zeppelin/logs ~/zeppelin/notebook ~/zeppelin/data

• 以下Dockerコマンドを実行

  docker run -p 8080:8080 -d \ -v ~/zeppelin/logs:/logs \ -v ~/zeppelin/notebook:/notebook \ -v ~/zeppelin/data:/data \ -e ZEPPELIN_LOG_DIR='/logs' -e ZEPPELIN_NOTEBOOK_DIR='/notebook' \ --name zeppelin apache/zeppelin:0.9.0

  1 2 3 4 5 6

  docker run -p 8080:8080 -d \            -v ~/zeppelin/logs:/logs \            -v ~/zeppelin/notebook:/notebook \            -v ~/zeppelin/data:/data \            -e ZEPPELIN_LOG_DIR='/logs' -e ZEPPELIN_NOTEBOOK_DIR='/notebook' \            --name zeppelin apache/zeppelin:0.9.0

  • docker imageをpullするのに10minほどかかります。
  • 各オプションについては、Docker runを参照してください。

  spark tutorialのnotebookを参照したい場合は、以下コマンドを実行してください。

  docker cp zeppelin:/opt/zeppelin/notebook/'Spark Tutorial'/. ~/zeppelin/notebook/spark_tutorial/

  1	docker cp zeppelin:/opt/zeppelin/notebook/'Spark Tutorial'/. ~/zeppelin/notebook/spark_tutorial/

  docker restart zeppelin

  1	docker restart zeppelin

• http://localhost:8080/#/ にアクセス

• 「Create new note」からnotebookを新規作成

  作成したnotenookはnotebookディレクトリに保存されます。

• Dockerコンテナの操作について

  docker ps

  1

  docker ps

  docker stop <container name>

  1	docker stop <container name>

  docker start <container name>

  1	docker start <container name>

  dockerコマンドについてはUse the Docker command lineを参照してください。

あなたも、Avintonでこのような最先端技術を習得し活用してみませんか？

社員の成長を導きながら、AIやビッグデータなどの最先端技術をプロジェクトに活用していくことが私たちのビジョンです。Avintonの充実した技術研修でスキルアップを図り、あなたのキャリア目標を一緒に達成しませんか？