• 日本語
    • English (英語)
Avinton JapanAvinton JapanAvinton JapanAvinton Japan
  • サービス
    • Avinton Data Platform
    • エッジAIカメラ
      • 自動車ナンバープレート自動認識システム
    • プライベートクラウド
    • AIサービス開発
    • AIカメラ/画像解析無料体験版
  • 最新情報
    • ニュースリリース&イベント情報
    • 技術ブログ&インタビュー
  • アカデミー
    • Avintonアカデミー
    • Academy on Campus
    • Academy with Platform
  • 採用情報
    • Avintonジャパン 採用ページ
    • 求人一覧
    • よくある質問
    • 新卒採用
  • 企業情報
    • 会社概要
    • 代表からご挨拶
    • SDGsへの貢献
  • お問い合わせ

CSV import & export – Node.js, mySQL – 2

  • ルーティング
  • データベースの命名規則
  • 三目並べ – 2.〇×を交互にゲーム盤に入るようにしよう
  • 三目並べ – 3.勝敗がつくようにしよう
  • クリーンコード(Clean Code)
  • 三目並べ – 4.「スタート」「リセット」ボタンをつけよう
  • 三目並べ – 5.先攻後攻を決めて、コンピュータ対戦にしよう(前編)
  • インフラストラクチャー(サーバー、コンポーネント、RAID)
  • 機械学習入門者向け Support Vector Machine (SVM) に触れてみる
  • YOLOv8を用いた物体検出
  • 正規表現とパイプ
  • 機械学習エンジニアに必要なスキル
  • 軽量版Kubernetesディストリビューション – k0s クラスターの構築
  • ファイル操作コマンド
  • グループとユーザー
  • 困った時に使うコマンド
  • 一般グループのユーザーとグループ
  • プライバシーポリシー
  • 三目並べ – 6.先攻後攻を決めて、コンピュータ対戦にしよう(後編)
  • フロントエンド開発のための環境構築
  • ファイル検索コマンド
  • 質問
  • 仮想化環境のディスク容量を拡張する
  • ユーザー権限とアクセス権
  • データ分析基礎 – Part1
  • 三目並べ – 0.導入
  • テキスト処理
  • データベースへのデータロード
  • 機械学習概要1
  • 機械学習入門者向け Naive Bayes(単純ベイズ)アルゴリズムに触れてみる
  • ファイル管理
  • SSHを使用してホストOSからゲストOSに接続する
  • 機械学習入門者向け ChainerRLでブロック崩しの学習
  • 機械学習入門者向け ランダムフォレストによる Kaggle Titanic生存者予測
  • 機械学習概要2
  • データ分析基礎 – Part 2
  • 機械学習入門者向け 分類と回帰の違いをプログラムを書いて学ぼう
  • フロントエンドのWeb開発について
  • ダイナミックルーティング
  • 三目並べ – 1.ゲーム盤を作ろう
  • 【Python入門】Python Numpy チュートリアル
  • Amazon EC2 インスタンスの初期設定をしよう
  • AmazonEC2とVPCでネットワークとサーバーを構築しよう
  • Apache NiFi Exercise
  • Apache NiFi データパイプライン基礎
  • Apache NiFiの環境設定
  • Apache Spark 基礎
  • Apache SparkとApache Zeppelinの概要と環境構築
  • Apache Superset maptoolの使い方
  • Apache Superset 基礎
  • Apache Superset 概要と環境構築
  • Apache Zeppelin 基本機能
  • APIのデモンストレーション
  • Avinton Academy コンテンツガイド
  • AWS CLIをインストールしてコマンド操作しよう
  • AWS CLIを使ってEC2のファイルをS3へアップロードしよう
  • AWS Route 53を使って独自ドメインのWebページを表示させてみよう
  • AWSアカウントの作成と必ずやるべきセキュリティ対策
  • AWSのEC2インスタンスでWordPressブログを公開してみよう
  • AWS入門者向け 初心者が最初に理解すべきEC2とVPCの基本的な用語解説
  • CCNA
  • Certbotを使ってSSL証明書を発行し、HTTP通信を暗号化しよう
  • CISCO 1800ルータセットアップ
  • CSV import & export – Node.js, mySQL – 1
  • CSV import & export – Node.js, mySQL – 2
  • Docker Compose(Nginx + Flask + MySQL)演習
  • Docker Engineのubuntu上へのinstall
  • Docker 概要とセットアップ
  • Docker, Kubernetesの学び方について
  • Dockerコンテナイメージの最適化/ベストプラクティス
  • DockerとApacheを使ってWebサーバーを構築しよう
  • EC2からS3へ自動でぽいぽいアップロードするスクリプトの作成
  • ESP32-CAMのサンプルアプリケーションを実行する
  • 01 – Sparkfun Inventor’s Kit の準備
  • 02 – Sparkfun Inventor’s KitでLチカ
  • 03 ポテンショメータでLEDの点滅間隔をアナログ入力する
  • 04 フォトレジスタで明るさに反応するシステムをつくる
  • 05 LCDに文字列を表示する
  • 06 – BME280とLCDを組み合わせて温度計をつくる
  • ESP32とArduino IDE/PlatfromIOでHello Worldアプリケーションの実行
  • ESP32と超音波センサー HC-SR04 で物体の距離を計測する
  • ESXi – Switchの追加とVLAN
  • ESXi – VyOS
  • ESXi – 小規模ネットワーク 構築
  • Gitとは
  • VS CodeでGitHub Copilotを設定する
  • VSCode リモート開発環境
  • GNS3のセットアップ
  • Kubernetesクラスター上へのOpenVINOモデルサーバーを使用したサンプルアプリケーションのデプロイ
  • Linuxとは
  • NAT
  • NodeJSでWebアプリケーション開発 – React編
  • NodeJSでWebアプリケーション開発 – React編
  • NodeJSでWebアプリケーション開発 – React編
  • NodeJSでWebアプリケーション開発 – Socket.IO編
  • NVIDIA Cumulus VX + GNS3でBGPネットワークのシミュレーション
  • OpenCVのテストプログラム
  • PacketTracerのセットアップ
  • Pandasによる構造化データ分析
  • PCからルータ、スイッチへのSSH接続設定
  • PostGIS exercise
  • PostgreSQL – Python – Apache – Bootstrap
  • MySQLとMySQL Workbench のセットアップ
  • PostgreSQL Setup
  • PostgreSQL – インデックスを利用したパフォーマンス改善方法
  • PostgreSQL – パーティショニングを利用したパフォーマンス改善方法
  • PostgreSQLによるデータ分析
  • postgreSQLへのshp fileのimport
  • Python2.7とOpenCVのインストール
  • Python3.8 と OpenCV のインストール (Ubuntu20.04LTS)
  • Pythonでデータベースを操作する
  • Pythonで画像を分類するプログラムを作成する
  • Pythonによるマルチスレッドプログラミング実践
  • Raspberry Pi 4B のセットアップ
  • Raspberry PiとBME280を使用して温度と湿度、気圧を読み取る
  • REDIS
  • Redux基礎 – 主要な概念と用語
  • Ruby on Rails を MySQLでセットアップ
  • Ruby on Railsによる簡単なウェブアプリケーション
  • SampleアプリケーションのKubernetes上へのデプロイ
  • Scala 基礎
  • scikit-learnとは
  • Spark SQL エクササイズ
  • SparkMLによるKaggle Titanic生存者予測
  • SparkMLによる住宅価格予測
  • SQL 便利な関数
  • Ubuntuの基本設定
  • uhubctlでUSBデバイスのオンオフをコントロール
  • Terraform入門 2 – Terraformのstate管理
  • Terraform入門 1 – TerraformでAWS上にEC2インスタンスを作成する
  • Virtualisation and Container (仮想化とコンテナ) – Ansible, Docker and Kubernetes
  • viエディタ
  • VLAN
  • VMware ESXi サーバー構築
  • Webアプリ開発に欠かせないGoogle Chrome DevToolsの基本
  • Windows Server 2012 R2 Hyper-V
  • YOLOv5を用いた物体検出
Home Avintonアカデミー CSV import & export – Node.js, mySQL – 2
node.js
MySQL logo

CSV import & export – Node.js, mySQL #2

CSV import/export

次はテーブルへのcsvファイルのインポートと
テーブルからcsvファイルへのアップロードを行う機能を作成します。

まずexpressappフォルダの中に
uploadedフォルダとtableuploadフォルダを作成します。

今回はSubmitボタンを押すと
・uploadedフォルダにcsvファイルが保存される。
・そのcsvファイルを読み込んでテーブルにインポートする。
・テーブルデータがtableuploadフォルダにタイムスタンプ付きでエクスポートされる。
という流れが一度で起こるようにします。

uploadを補助するmoduleとしてmulterをインストールします。

1
npm install multer

node.jsとmySQLを接続するためにmysqlモジュールをインストールします。

1
npm install mysql

csvuploader.jsを以下のように編集します。

[csvuploader.js]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
var express = require('express');
var multer = require('multer');
var app = express();
const mysql = require('mysql');
 
const connection = mysql.createConnection({
host : ~hostname~
user : ~username~,
password : ~password~,
database: ~databasename~,
});
 
//multerでfileの検索
var storage = multer.diskStorage({
destination: function (req, file, cb) {
cb(null, '~path~/uploaded')
},
filename: function (req, file, cb) {
cb(null, file.originalname)
}
});
var upload = multer({ storage: storage });
 
//fileのupload
app.post('/upload', upload.single('upName'), function(req, res){
console.log(req.file.originalname)
console.log(req.file.path)
 
connection.query("~insert MySQL code~;",
function(err, results) {
if(err){
console.log(err);
}
console.log("upload and csv load OK!")
//console.log(results);
}); //query
 
//テーブルをcsvファイルでアウトプット
connection.query("~insert MySQL code~;",
function(err, results) {
if(err){
console.log(err);
}
console.log("outputOK!")
}); //query
res.redirect(302, "http://localhost:8080");
 
app.use('/', express.static('.'));
app.listen(8080);

ターミナルで

1
node csvuploader.js

を実行し http://locaohost:8080
にアクセスし実際にuploadしてみます。
テーブルとtableuploadにそれぞれデータが追加されていることが確認できるはずです。

次にアウトプットされるファイルの名前を(originalname)_(日付).csvとなるようにします。

これは日付を取得するモジュールとsplitを使うと作成できます。
ファイルに

1
require('date-utils');

を追加します。

csvuploader.jsの
//テーブルをcsvファイルでアウトプット

の下の部分に

1
2
3
4
var dt = new Date();
var formatted = dt.toFormat("YYYY_MMDD_HH_MI_SS");
var dotsplit=[];
var dotsplit = req.file.originalname.split(".");

を追加します。

その後dotsplitとformattedを用いてMySQLのcodeを書き換えます。

MySQL workbench内から

1
SELECT @@secure_file_priv;

を入力してみましょう。
valueが /var/lib/mysql-files
のみの場合、直接tableuploadフォルダにロードすることができないため
保存先をmysql-filesに指定しそこからtableuploadフォルダにコピーする必要があります。

コピーに必要なモジュールをインストールします。
fs-extra をインストール

1
npm install fs-extra --save

jsのコードに

1
var fs = require('fs-extra')を追加します。

res.redirect~の下に

1
2
fs.copySync('/var/lib/mysql-files/', '~path~/tableupload/');
})

を追加します。
これでtableupload内にファイルを作成することができるようになりました。

ブラウザ上に表示

次にtableuploadにあるファイルをブラウザに並べ、ダウンロードすることができるようにします。

仕組みはnode.jsでlocalhost/filelistを作りそこにtableuploadフォルダ内のファイル名を取得します。
tableupload内のそれぞれのファイル名を文字的に切り取ることてパスとして使ったりindex.htmlのブラウザに表示したり
することができます。

nodeのコードに以下を追加します。execでシェルのコマンドを実行してfilelistページに
表示することができます。
[csvuploader.js]

1
2
3
4
5
6
7
8
9
10
11
app.get('/filelist',function(req,res){
const exec = require('child_process').exec;
 
exec('ls ~path~/tableupload/', (err, stdout, stderr) => {
if (err) { console.log(err); }
var stdoutajax = '
' + stdout +"
" ;
res.send(stdoutajax);
});
});

保存したらhttp://locaohost:8080
にアクセスし、tableupload内のファイル名が取得されているか確認します。

次に新しくJQueryを用いたjavascriptのファイルを作成します。
htmlget.jsという名前のファイルを作り以下のコードを書きます。
まずはfilelistの文字を取得するためにAJaXを使用します。
文字列はsplitで判別してfor文で回してsparrayに入れます。

[htmlget.js]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$(function() {
$.ajax({
 
url : "http://localhost:8080/filelist",
type : "GET",
 
}).done(function(res) {
$("#getspan").html(res);
var sparray=[];
var sparray = $("#ajaxtext").text().split("\n");
for (var i = 0; i < sparray.length - 1; i++) {
$("#outputelement").append("</pre>
<div><input class=""download"" name=""downloadcsv"" type=""submit"" value=""download!"" />" + sparray[i] +"</div>
<pre>" );
}
}
})

次にクリックしたらダウンロードできるようにします。
csvuploader.jsに以下のコードを追加します。

[csvuploader.js] 最上段に追加

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
var url = require('url');
 
下に追加
app.get('/csvoutput',function(req,res){
 
var url_parts = url.parse(req.url,true);
var output = url_parts.query.output;
 
var fileURL = '~path~' + output;
var fileName = output;
 
res.download(fileURL, fileName, function(err){
if (err) {
console.log('error.');
} else {
console.log('ok' );
console.log("filePath:" + fileURL);
console.log("fileName:" + fileName);
}
});//download
}); //get

またhtmlget.js側にも以下を追加します。
[htmlget.js]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
$(".download").click(function(){
var params = getParameter();
params['name'] = $(this).next().text();
location.href = "http://localhost:8080/csvoutput?output=" + params['name']
 
function setParameter( paramsArray ) {
var resurl = location.href.replace(/\?.*$/,"");
for ( key in paramsArray ) {
resurl += (resurl.indexOf('?') == -1) ? '?':'&';
resurl += key + '=' + paramsArray[key];
}
return resurl;
}
 
//パラメータを取得する
function getParameter(){
var paramsArray = [];
var url = location.href;
parameters = url.split("#");
if( parameters.length > 1 ) {
url = parameters[0];
}
parameters = url.split("?");
if( parameters.length > 1 ) {
var params = parameters[1].split("&");
for ( i = 0; i < params.length; i++ ) {
var paramItem = params[i].split("=");
paramsArray[paramItem[0]] = paramItem[1];
}
}
return paramsArray;
};
 
});

htmlget.jsで押されたボタンのファイル名を取得し、node側のcsvoutputにクエリ文字列として送ることができます。
このクエリ文字列を取得してパスに利用することでファイルを特定し、ダウンロードすることができます。

以上で、行うと目的の要件に沿った画面が完成しました。
index.html にアクセスしファイルのアップロードからダウンロードまで
一連の動作を確認してみてください。

採用情報

採用情報

Categories

  • 相互学習
  • 採用
  • 社員インタビュー
  • 学習&資格取得
  • 技術解説
  • イベント告知
  • 学内説明会&講義
  • 産学連携
  • 就職活動
  • イベントレポート
  • その他
  • 技術ブログ&インタビュー
  • mainpage
  • New Graduates Interviews
  • 中途エンジニア
  • カテゴリーなし
  • ニュースリリース&イベント

Avinton SDGs

SDGsへの貢献

Search

タグ

5G albumentations Apache AvintonAcacemy Avinton データプラットフォーム Digital Transformation DQN Fintech Flutter IoT IoT James Cauchi Kunernetes LTE MVI試験 PostgreSQL Predictive Maintenance Ruby Rust SE Society 5.0 TensorFlow インターン インターンシップ クラウトネイティブ サーバークラスター スマート農業 セミナー データ データオーグメンテーション(Data Augmentation) データ解析 ファンダフルリレーマラソン ベンチャー モブワーク 企業説明会 哲学 大学&専門学校 大学&専門学校 学習 教育 機械学習 環境構築 田中 研之輔 研究開発 講義
© 2023 Avinton | All Rights Reserved | プライバシーポリシー
  • サービス
    • Avinton Data Platform
    • エッジAIカメラ
      • 自動車ナンバープレート自動認識システム
    • プライベートクラウド
    • AIサービス開発
    • AIカメラ/画像解析無料体験版
  • 最新情報
    • ニュースリリース&イベント情報
    • 技術ブログ&インタビュー
  • アカデミー
    • Avintonアカデミー
    • Academy on Campus
    • Academy with Platform
  • 採用情報
    • Avintonジャパン 採用ページ
    • 求人一覧
    • よくある質問
    • 新卒採用
  • 企業情報
    • 会社概要
    • 代表からご挨拶
    • SDGsへの貢献
  • お問い合わせ
  • 日本語
    • English (英語)
Avinton Japan