• 日本語
    • English (英語)
Avintonジャパン株式会社Avintonジャパン株式会社Avintonジャパン株式会社Avintonジャパン株式会社
  • サービス
    • Avinton Data Platform
    • エッジAIカメラ
    • プライベートクラウド
    • AIサービス開発
    • AI画像解析 – 無償PoC
  • 最新情報
    • ニュースリリース&イベント情報
    • 技術ブログ&インタビュー
  • アカデミー
    • Avintonアカデミー
    • Academy on Campus
  • 採用情報
    • Avintonで働く魅力
    • 新卒採用
    • プロジェクトコーディネーター職紹介
    • 求人
    • よくある質問
  • 企業情報
    • 会社概要
    • 代表からご挨拶
    • SDGsへの貢献
  • お問い合わせ

EC2からS3へ自動でぽいぽいアップロードするスクリプトの作成

  • Python3.8 と OpenCV のインストール (Ubuntu20.04LTS)
  • ルーティング
  • postgreSQLへのshp fileのimport
  • NAT
  • PostGIS exercise
  • 三目並べ – 2.〇×を交互にゲーム盤に入るようにしよう
  • Docker 概要とセットアップ
  • 三目並べ – 3.勝敗がつくようにしよう
  • Docker Engineのubuntu上へのinstall
  • EC2からS3へ自動でぽいぽいアップロードするスクリプトの作成
  • 三目並べ – 4.「スタート」「リセット」ボタンをつけよう
  • 三目並べ – 5.先攻後攻を決めて、コンピュータ対戦にしよう(前編)
  • Apache Zeppelin 基本機能
  • Ruby on Rails を MySQLでセットアップ
  • 機械学習入門者向け Support Vector Machine (SVM) に触れてみる
  • AWSアカウントの作成と必ずやるべきセキュリティ対策
  • Scala 基礎
  • VLAN
  • Apache Spark 基礎
  • 機械学習を用いた画像分類
  • Ruby on Railsによる簡単なウェブアプリケーション
  • 正規表現とパイプ
  • 機械学習エンジニアに必要なスキル
  • Docker, Kubernetesの学び方について
  • Ubuntuの基本設定
  • PostgreSQL Setup
  • REDIS
  • Amazon EC2 インスタンスの初期設定をしよう
  • 軽量版Kubernetesディストリビューション – k0s クラスターの構築
  • Pythonの設定
  • GNS3のセットアップ
  • viエディタ
  • AWSのEC2インスタンスでWordPressブログを公開してみよう
  • Pythonでデータベースを操作する
  • Python2.7とOpenCVのインストール
  • ファイル操作コマンド
  • OpenCVのテストプログラム
  • グループとユーザー
  • Pythonで画像を分類するプログラムを作成する
  • AWS CLIをインストールしてコマンド操作しよう
  • Virtualisation and Container (仮想化とコンテナ) – Ansible, Docker and Kubernetes
  • Windows Server 2012 R2 Hyper-V
  • 困った時に使うコマンド
  • SparkMLによるKaggle Titanic生存者予測
  • PacketTracerのセットアップ
  • 一般グループのユーザーとグループ
  • AWS Route 53を使って独自ドメインのWebページを表示させてみよう
  • Kubernetesクラスター上へのOpenVINOモデルサーバーを使用したサンプルアプリケーションのデプロイ
  • プライバシーポリシー
  • VMware ESXi サーバー構築
  • 三目並べ – 6.先攻後攻を決めて、コンピュータ対戦にしよう(後編)
  • フロントエンド開発のための環境構築
  • フロントエンドのデモンストレーション
  • APIのデモンストレーション
  • CISCO 1800ルータセットアップ
  • ファイル検索コマンド
  • ESXi – Switchの追加とVLAN
  • 質問
  • 仮想化環境のディスク容量を拡張する
  • ユーザー権限とアクセス権
  • 三目並べ – 0.導入
  • テキスト処理
  • ESXi – VyOS
  • データベースへのデータロード
  • 機械学習入門者向け Naive Bayes(単純ベイズ)アルゴリズムに触れてみる
  • CCNA
  • ESXi – 小規模ネットワーク 構築
  • ファイル管理
  • 機械学習入門者向け ChainerRLでブロック崩しの学習
  • AWS CLIを使ってEC2のファイルをS3へアップロードしよう
  • Apache NiFiの環境設定
  • CSV import & export – Node.js, mySQL – 1
  • 機械学習入門者向け ランダムフォレストによる Kaggle Titanic生存者予測
  • NodeJSでWebアプリケーション開発 – Socket.IO編
  • CSV import & export – Node.js, mySQL – 2
  • Apache NiFi データパイプライン基礎
  • PCからルータ、スイッチへのSSH接続設定
  • 【Python入門】Python Numpy チュートリアル
  • SQL 便利な関数
  • PostgreSQLによるデータ分析
  • Apache NiFi Exercise
  • 機械学習入門者向け 分類と回帰の違いをプログラムを書いて学ぼう
  • NodeJSでWebアプリケーション開発 – React編
  • Pythonによるマルチスレッドプログラミング実践
  • Apache SparkとApache Zeppelinの概要と環境構築
  • Certbotを使ってSSL証明書を発行し、HTTP通信を暗号化しよう
  • DockerとApacheを使ってWebサーバーを構築しよう
  • NodeJSでWebアプリケーション開発 – React編
  • Redux基礎 – 主要な概念と用語
  • AmazonEC2とVPCでネットワークとサーバーを構築しよう
  • AWS入門者向け 初心者が最初に理解すべきEC2とVPCの基本的な用語解説
  • Linuxとは
  • Pandasによる構造化データ分析
  • ダイナミックルーティング
  • PostgreSQL – Python – Apache – Bootstrap
  • 三目並べ – 1.ゲーム盤を作ろう
Home Avintonアカデミー EC2からS3へ自動でぽいぽいアップロードするスクリプトの作成

Avinton Academyで構築してきたインフラのイメージ図

これまでAWS、Dockerなど、様々なサービスを利用してWebサーバーを整備してきました。

今回はそのWebサーバー(コンテナ)を、丸ごとS3へバックアップするシステムを作成しましょう。

万が一に備えてバックアップを取ることは、サービスを維持するためにとても重要です。

しかしバックアップ作業に時間を取られ、コンテンツの作成など本来時間を費やすべき作業がおろそかになるのは避けたいですよね。

そこでAWS CLIとシェルスクリプト、Crontabを組み合わせ、全てのバックアップ作業の完全自動化を目指します。

DockerのコンテナをS3へアップロードするシェルスクリプト

まず、コンテナをS3へアップロードするスクリプトを作成しましょう。

EC2インスタンスへSSHし、 container-backup.sh という名前でファイルを作成してください。

1
2
3
ssh -i ~/.ssh/HOGEHOGE -p xxxxx YOUR_PUBLIC_IP
sudo su -
touch container-backup.sh

~

docker ps コマンドを実行し、 NAMES (コンテナの名前)をメモします。

docker_psコマンドの実行結果

そして次のスクリプトの YOUR_CONTAINER_NAME と YOUR_S3_BUCKET_NAME の箇所を自分の環境に合わせて変更し、 container-backup.sh へコピペします。

  • YOUR_CONTAINER_NAME …先ほどメモしたコンテナの名前
  • YOUR_S3_BUCKET_NAME …AWS S3のバケット名
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#/bin/bash
 
container_name="YOUR_CONTAINER_NAME" #あなたの環境に合わせて変更
container_id=`docker ps -aqf name={container_name}`
container_detail="my_container"
 
bucket_name="YOUR_S3_BUCKET_NAME" #あなたの環境に合わせて変更
directory_name="container-backup"
 
#check variables
echo ${container_id}
echo ${container_detail}
 
#docker export
docker export ${container_id} > /tmp/${container_detail}.tar
 
#upload docker image to S3-bucket
/usr/bin/aws s3 rm s3://hodalab-backup/container-backup/ --recursive --include "${container_detail}-*"
/usr/bin/aws s3 cp /tmp/${container_detail}.tar s3://${bucket_name}/${directory_name}/${container_detail}-`date "+%Y%m%d"`.tar

~

準備ができたら作成したシェルスクリプトを実行しましょう。

1
bash container-backup.sh

コンテナをS3へアップロードするシェルスクリプトの実行結果

スクリプトを実行すると、S3にコンテナがアップロードされます。

コンテナをS3へアップロードするシェルスクリプトの実行結果-S3のコンソール画面

シェルスクリプトの説明

このシェルスクリプトでは次の操作が順に行われています。

1. 必要な情報を変数へ格納
2. Dockerコンテナのエクスポート
3. S3バケットの中身の削除とコンテナのアップロード

それぞれ詳しく見ていきましょう。

1. 必要な情報を変数へ格納

↓この部分で必要なデータを変数へ格納しています。

1
2
3
4
5
6
container_name="YOUR_CONTAINER_NAME" #環境に合わせて変更変更
container_id=`docker ps -aqf name={container_name}`
container_detail="my_container"
 
bucket_name="YOUR_S3_BUCKET_NAME" #環境に合わせて変更変更
directory_name="container-backup"

~

  • container_name…バックアップ対象のコンテナの名前
  • container_id…バックアップ対象のコンテナのID
  • container_detail…コンテナのファイル名に使用
  • bucket_name…アップロード先のS3バケット名
  • directory_name…アップロード先のS3バケット配下のディレクトリ名

2. Dockerコンテナのエクスポート

Dockerは docker export コマンドを使うことで、コンテナを丸ごとパッケージングし、tarファイルとして出力することができます。

パッケージングされたコンテナは複製や移動が簡単にできるため、バックアップやデプロイに最適です。

↓この箇所では、変数へ格納したコンテナのIDを引数に取り、/tmp/ディレクトリ配下へ出力しています。

1
docker export {container_id} > /tmp/${container_detail}.tar

3. S3バケットの中身の削除とコンテナのアップロード

最後の2行で、S3バケットの中身を一旦削除した後、コンテナファイルをアップロードしています。

1
2
/usr/bin/aws s3 rm s3://hodalab-backup/container-backup/ --recursive --include "{container_detail}-*"
/usr/bin/aws s3 cp /tmp/${container_detail}.tar s3://${bucket_name}/${directory_name}/${container_detail}-`date "+%Y%m%d"`.tar

~

S3にて、無料利用できるストレージ枠は5GBと少なく、無尽蔵に保存するわけにはいきません。

そのため、すでに保存されているコンテナを削除してからアップロードを行なっています。

Crontabによる自動化

AWS CLIとシェルスクリプトを組み合わせ、コンテナのバックアップがとても簡単になりました。

しかしバックアップするたびにインスタンスへSSHしてスクリプトを実行する必要があるため、運用としてはあまりイケてないです。

そこで、Crontabを使って完全に自動化しましょう。

Crontab (Cron table) とは

CrontabはCronジョブのスケジュールを記述するためのファイルです。

Cronジョブは、特定の指示(コマンド)を計画的に実行するための設定です。

「この日時でこのコマンドを実行しなさい」というジョブをCrontabに記述することで、時が来たら自動でそのジョブを起動してくれます。

Crontabの作成

Crontabは次のコマンドで作成・編集できます。

1
crontab -e

Crontabの構文

Crontabはスケジュールを決める5つのフィールドと、実行したいコマンドを指定する1つのフィールドで構成します。

x x x x x command
min hour day month year command

Crontabの設定

それでは実際にCrontabを設定しましょう。

次のコマンドでcrontabファイルを開いてください。

1
crontab -e

そして次の内容を記述し、保存します。

1
2
30 0 1 * * bash ~/container-backup.sh
30 0 15 * * bash ~/container-backup.sh

~

これで毎月1日と15日の0時30分に、「bash ~/container-backup.sh」コマンドが実行されます。

また、Crontabに記載されているジョブは次のコマンドで確認できます。

1
crontab -l

コンテナをS3へアップロードするシェルスクリプトの実行結果

Cronジョブが実際に起動するか心配であれば、直近の日時に変更して試してみると良いでしょう。

演習

S3へバックアップしたコンテナをあなたのPCにダウンロードし、 docker import コマンドで復元(レストア)してみてください。EC2インスタンスで構築した環境が、そのままあなたのPCで再現できることを確認しましょう。

まとめ

AWS CLIとシェルスクリプト、そしてCrontabを使い、コンテナを自動でバックアップできるようになりました。

このコンテンツで紹介したシェルスクリプトはコマンドを並べただけのシンプルなプログラムですが、Crontabなどと組み合わせて自動化すると非常に強力です。

次回
>>AWS Route 53を使って独自ドメインのWebページを表示させてみよう

あなたも、Avintonでこのような最先端技術を習得し活用してみませんか?

社員の成長を導きながら、AIやビッグデータなどの最先端技術をプロジェクトに活用していくことが私たちのビジョンです。Avintonの充実した技術研修でスキルアップを図り、あなたのキャリア目標を一緒に達成しませんか?

採用情報

採用情報

採用情報

Avinton SDGs

SDGsへの貢献

Search

タグ

AI AI Big Data Big Data ccna Digital Transformation DX IoT IoT LPIC Python Ruby SDGs Webエンジニア イベント インタビュー インフラエンジニア エンジニア オンラインセミナー キャリアチェンジ コンテナ技術 サーバーエンジニア システム開発 データサイエンス データベース データ分析 データ解析 ネットワークエンジニア ビックデータ 人工知能 仮想化 勉強会 営業 就職活動 技術インターン 採用 新卒 新卒採用 新規事業 機械学習 派遣 深層学習 社員インタビュー 経営者交流会 転職
© 2022 Avinton | All Rights Reserved | プライバシーポリシー
  • サービス
    • Avinton Data Platform
    • エッジAIカメラ
    • プライベートクラウド
    • AIサービス開発
    • AI画像解析 – 無償PoC
  • 最新情報
    • ニュースリリース&イベント情報
    • 技術ブログ&インタビュー
  • アカデミー
    • Avintonアカデミー
    • Academy on Campus
  • 採用情報
    • Avintonで働く魅力
    • 新卒採用
    • プロジェクトコーディネーター職紹介
    • 求人
    • よくある質問
  • 企業情報
    • 会社概要
    • 代表からご挨拶
    • SDGsへの貢献
  • お問い合わせ
  • 日本語
    • English (英語)
Avintonジャパン株式会社