Apache NiFiの環境設定

Apache NiFiとは

Apache NiFiは、オープンソースのデータフローオーケストレーションツールです。NiFi は、フォーマットやスキーマ、プロトコル、ログファイル、ビデオなど、データソースの違いに依存することなく異なるシステム間のデータ移行の自動化や処理の追加が可能です。

AvintonではAvinton Data Platform 事業において、お客様のデータのインポート、エクスポートの自動化パイプラインを構築するためにNiFiが使用されています。

お客様のデータが異なる複数のサーバーにデータが異なるフォーマットで散らばっていたとしても、NiFiを用いてData Platform上へのimportと処理結果の返送両方の自動化が実現できました。

Apache Nifiの環境構築

Apache NifiをDockerコンテナとして動かします。

準備

• このページの手順はDocker Engineのubuntu上へのinstallが完了していることが前提になっています

環境

• ゲストOS : Ubuntu (20.04)

手順

Docker Image Quickstartに従います。

• ホームディレクトリにnifi/work/input, nifi/work/outputディレクトリを作成

  mkdir -p ~/nifi/work/input ~/nifi/work/output

  1	mkdir -p ~/nifi/work/input ~/nifi/work/output

• 以下Dockerコマンドを実行

  docker run --name nifi \ -p 8443:8443 \ -d \ -v ~/nifi/work/:/nifi/work/ \ -e SINGLE_USER_CREDENTIALS_USERNAME=admin \ -e SINGLE_USER_CREDENTIALS_PASSWORD=ctsBtRBKHRAx69EqUghvvgEvjnaLjFEB \ apache/nifi:1.15.3

  1 2 3 4 5 6 7

  docker run --name nifi \   -p 8443:8443 \   -d \   -v ~/nifi/work/:/nifi/work/ \   -e SINGLE_USER_CREDENTIALS_USERNAME=admin \   -e SINGLE_USER_CREDENTIALS_PASSWORD=ctsBtRBKHRAx69EqUghvvgEvjnaLjFEB \   apache/nifi:1.15.3

  • 各オプションについては、Docker runを参照してください。
  • 今回はテスト用のNiFiコンテナを立ち上げるためだけであるため、デフォルトのユーザー名とパスワードを使用しています。

• https://localhost:8443/nifi/login　にアクセスしてログイン

  • User : admin
  • Password : ctsBtRBKHRAx69EqUghvvgEvjnaLjFEB

  

　* NiFi が立ち上がるまでに時間がかかり、Secure connection failed 等のエラーがブラウザ上に表示される可能性がありますが、少し時間をおいて画面をリロードし、上記画面が表示されれば問題ないです。

あなたも、Avintonでこのような最先端技術を習得し活用してみませんか？

社員の成長を導きながら、AIやビッグデータなどの最先端技術をプロジェクトに活用していくことが私たちのビジョンです。Avintonの充実した技術研修でスキルアップを図り、あなたのキャリア目標を一緒に達成しませんか？