• 日本語
    • English (英語)
Avinton JapanAvinton JapanAvinton JapanAvinton Japan
  • サービス
    • Avinton Data Platform
    • エッジAIカメラ
      • 自動車ナンバープレート自動認識システム
    • プライベートクラウド
    • AIサービス開発
    • AIカメラ/画像解析無料体験版
    • 見てわかる観光庁オープンデータ
  • 最新情報
    • ニュースリリース&イベント情報
    • 技術ブログ&インタビュー
  • アカデミー
    • Avintonアカデミー
    • Academy on Campus
    • Academy with Platform
  • 採用情報
    • Avintonジャパン 採用ページ
    • 求人一覧
    • よくある質問
    • 新卒採用
  • 企業情報
    • 会社概要
    • 代表からご挨拶
    • SDGsへの貢献
  • お問い合わせ

データ分析基礎 – Part1

  • ルーティング
  • データベースの命名規則
  • 三目並べ – 2.〇×を交互にゲーム盤に入るようにしよう
  • 三目並べ – 3.勝敗がつくようにしよう
  • クリーンコード(Clean Code)
  • 三目並べ – 4.「スタート」「リセット」ボタンをつけよう
  • 三目並べ – 5.先攻後攻を決めて、コンピュータ対戦にしよう(前編)
  • インフラストラクチャー(サーバー、コンポーネント、RAID)
  • 機械学習入門者向け Support Vector Machine (SVM) に触れてみる
  • YOLOv8を用いた物体検出
  • 正規表現とパイプ
  • 機械学習エンジニアに必要なスキル
  • 軽量版Kubernetesディストリビューション – k0s クラスターの構築
  • ファイル操作コマンド
  • グループとユーザー
  • 困った時に使うコマンド
  • 一般グループのユーザーとグループ
  • プライバシーポリシー
  • 三目並べ – 6.先攻後攻を決めて、コンピュータ対戦にしよう(後編)
  • フロントエンド開発のための環境構築
  • ファイル検索コマンド
  • 質問
  • 仮想化環境のディスク容量を拡張する
  • ユーザー権限とアクセス権
  • データ分析基礎 – Part1
  • 三目並べ – 0.導入
  • テキスト処理
  • データベースへのデータロード
  • 機械学習概要1
  • 機械学習入門者向け Naive Bayes(単純ベイズ)アルゴリズムに触れてみる
  • ファイル管理
  • SSHを使用してホストOSからゲストOSに接続する
  • 機械学習入門者向け ChainerRLでブロック崩しの学習
  • 機械学習入門者向け ランダムフォレストによる Kaggle Titanic生存者予測
  • 機械学習概要2
  • データ分析基礎 – Part 2
  • 機械学習入門者向け 分類と回帰の違いをプログラムを書いて学ぼう
  • フロントエンドのWeb開発について
  • ダイナミックルーティング
  • 三目並べ – 1.ゲーム盤を作ろう
  • 【Python入門】Python Numpy チュートリアル
  • Amazon EC2 インスタンスの初期設定をしよう
  • AmazonEC2とVPCでネットワークとサーバーを構築しよう
  • Apache NiFi Exercise
  • Apache NiFi データパイプライン基礎
  • Apache NiFiの環境設定
  • Apache Spark 基礎
  • Apache SparkとApache Zeppelinの概要と環境構築
  • Apache Superset maptoolの使い方
  • Apache Superset 基礎
  • Apache Superset 概要と環境構築
  • Apache Zeppelin 基本機能
  • APIのデモンストレーション
  • Avinton Academy コンテンツガイド
  • AWS CLIをインストールしてコマンド操作しよう
  • AWS CLIを使ってEC2のファイルをS3へアップロードしよう
  • AWS Route 53を使って独自ドメインのWebページを表示させてみよう
  • AWSアカウントの作成と必ずやるべきセキュリティ対策
  • AWSのEC2インスタンスでWordPressブログを公開してみよう
  • AWS入門者向け 初心者が最初に理解すべきEC2とVPCの基本的な用語解説
  • CCNA
  • Certbotを使ってSSL証明書を発行し、HTTP通信を暗号化しよう
  • CISCO 1800ルータセットアップ
  • CSV import & export – Node.js, mySQL – 1
  • CSV import & export – Node.js, mySQL – 2
  • Docker Compose(Nginx + Flask + MySQL)演習
  • Docker Engineのubuntu上へのinstall
  • Docker 概要とセットアップ
  • Docker, Kubernetesの学び方について
  • Dockerコンテナイメージの最適化/ベストプラクティス
  • DockerとApacheを使ってWebサーバーを構築しよう
  • EC2からS3へ自動でぽいぽいアップロードするスクリプトの作成
  • ESP32-CAMのサンプルアプリケーションを実行する
  • 01 – Sparkfun Inventor’s Kit の準備
  • 02 – Sparkfun Inventor’s KitでLチカ
  • 03 ポテンショメータでLEDの点滅間隔をアナログ入力する
  • 04 フォトレジスタで明るさに反応するシステムをつくる
  • 05 LCDに文字列を表示する
  • 06 – BME280とLCDを組み合わせて温度計をつくる
  • ESP32とArduino IDE/PlatfromIOでHello Worldアプリケーションの実行
  • ESP32と超音波センサー HC-SR04 で物体の距離を計測する
  • ESXi – Switchの追加とVLAN
  • ESXi – VyOS
  • ESXi – 小規模ネットワーク 構築
  • Gitとは
  • VS CodeでGitHub Copilotを設定する
  • VSCode リモート開発環境
  • GNS3のセットアップ
  • Kubernetesクラスター上へのOpenVINOモデルサーバーを使用したサンプルアプリケーションのデプロイ
  • Linuxとは
  • NAT
  • NodeJSでWebアプリケーション開発 – React編
  • NodeJSでWebアプリケーション開発 – React編
  • NodeJSでWebアプリケーション開発 – React編
  • NodeJSでWebアプリケーション開発 – Socket.IO編
  • NVIDIA Cumulus VX + GNS3でBGPネットワークのシミュレーション
  • OpenCVのテストプログラム
  • PacketTracerのセットアップ
  • Pandasによる構造化データ分析
  • PCからルータ、スイッチへのSSH接続設定
  • PostGIS exercise
  • PostgreSQL – Python – Apache – Bootstrap
  • MySQLとMySQL Workbench のセットアップ
  • PostgreSQL Setup
  • PostgreSQL – インデックスを利用したパフォーマンス改善方法
  • PostgreSQL – パーティショニングを利用したパフォーマンス改善方法
  • PostgreSQLによるデータ分析
  • postgreSQLへのshp fileのimport
  • Python2.7とOpenCVのインストール
  • Python3.8 と OpenCV のインストール (Ubuntu20.04LTS)
  • Pythonでデータベースを操作する
  • Pythonで画像を分類するプログラムを作成する
  • Pythonによるマルチスレッドプログラミング実践
  • Raspberry Pi 4B のセットアップ
  • Raspberry PiとBME280を使用して温度と湿度、気圧を読み取る
  • REDIS
  • Redux基礎 – 主要な概念と用語
  • Ruby on Rails を MySQLでセットアップ
  • Ruby on Railsによる簡単なウェブアプリケーション
  • SampleアプリケーションのKubernetes上へのデプロイ
  • Scala 基礎
  • scikit-learnとは
  • Spark SQL エクササイズ
  • SparkMLによるKaggle Titanic生存者予測
  • KNIME, AutoMLライブラリによる住宅価格予測
  • SparkMLによる住宅価格予測
  • SQL 便利な関数
  • Ubuntuの基本設定
  • uhubctlでUSBデバイスのオンオフをコントロール
  • Terraform入門 2 – Terraformのstate管理
  • Terraform入門 1 – TerraformでAWS上にEC2インスタンスを作成する
  • Virtualisation and Container (仮想化とコンテナ) – Ansible, Docker and Kubernetes
  • viエディタ
  • VLAN
  • VMware ESXi サーバー構築
  • Webアプリ開発に欠かせないGoogle Chrome DevToolsの基本
  • Windows Server 2012 R2 Hyper-V
  • Object Detection with YOLOv8
Home Avintonアカデミー データ分析基礎 – Part1
Colaboratory Logo
Looker Studio logo

はじめに

データ分析 Basicコースでは、データ分析の基礎知識・簡単なデータ処理および可視化のスキルを習得することができます。
BasicコースはPart1とPart2の2つのコンテンツから構成されており、Part1では「データ分析の基礎知識の習得・簡単なデータ処理」、Part2では「データの可視化・データ分析の実践」に取り組んでいただきます。

データ処理とは

データ分析の一部で、データの収集・加工・可視化を行うことにより複雑なデータを誰もが使えるものにすることを目的とします。
客観的な情報に基づいて合理的な意思決定を行うというデータ分析最大のメリットを生かすには、データの取捨選択、適切な見せ方などデータ処理の工程が非常に重要です。

データ処理の流れ

収集:必要なデータを集める
正しい分析結果を得るため目的にあったデータを選びます。

処理・加工:データを使いやすいものに変える
データ分析をするうえで最初から完璧なデータはほとんどありません。
分析がしやすい状態に加工する工程は非常に重要です。

<データ処理の例>
列・行の追加:新しくデータを作って追加、不要なデータを削除
欠損値処理 :欠けてしまったデータを補完あるいは削除
結合    :データ同士を横方向や縦方向に結合

可視化:複雑なデータを見える化する
きれいに加工したデータもそのままでは分かりづらいです。
グラフや図を使ってデータを誰でもよくわかる状態にします。

<データ可視化の例>
棒グラフ:複数の対象データの比較が可能
折れ線:年ごとや月ごとなど時系列での推移を知る
マップ:場所やエリアに色付け、プロット

データ処理ツール Google Colaboratory

Google colaboratoryとは誰でも簡単にPythonを記述、実行して機械学習やデータ分析を行うことができるサービスです。

本来Pythonを使うにはソフトやツールを別でインストールするなど環境構築をする必要があります。
しかし、このサービスにはGoogleアカウントさえあればすぐにPythonを記述し実行することができる環境が整っています。

また、他のGoogleサービスと同様に共有ボタンから簡単にコードをシェアできることも特徴のひとつです。
Googleアカウントを作成したことを確認したらさっそく使ってみましょう!

Google Colaboratoryの操作

  • Google Colaboratoryを開いたらノートブックを新規作成します。
  • ノートブックを作成するとセルと呼ばれる記述欄が一行表示されます。ここにコードを書きます。
  • コードを書いたらセルの一番左にあるimageを押下or「Shift」+「Enter」で実行します。
  • ファイルメニュー内のimageマークを押すと、PC内のファイルをアップロードすることができます。

データ処理チュートリアル

データ分析に適したPythonライブラリ「Pandas」を使ってデータ分析のチュートリアルを行っていきます。
Pandas_チュートリアル.ipynbをダウンロードしたら以下の手順に従って開始しましょう。
なお、本チュートリアルは参考に掲載しているPandas公式ドキュメント「10minutes to Pandas」から抜粋して作成しています。コードが分からない場合には処理内容が書かれたテキストに対応するコードを見てみましょう。

1. Google Colaboratoryを開く
2. アップロード – ファイルを選択からダウンロードした「Day1_Pandas_チュートリアル.ipynb」を選択

3. テキストに書かれている処理内容に従ってコードを書いていきましょう

参考:10minutes to Pandas

演習

最後にデータ処理の演習です。
Avintonアカデミー Pandas構造化データ分析のタスクに取り組みます。

1. Day2_Pandas構造化データ分析.ipynbをダウンロード
2. train_housing.csvをダウンロード
3. チュートリアル同様の手順でGoogle Colaboratoryで「Day2_Pandas構造化データ分析.ipynb」を開きます
4. ダウンロードした「train_housing.csv」ファイルをGoogle Colaboratory上にアップロード
5. 一行目のセルに下記のコードを書いて実行したら、アカデミー内「2-1 下記のページを参考に最初の五行を表示しましょう。」からスタートしてください。

1
2
3
import pandas as pd
 
df = pd.read_csv("train_housing.csv")

あなたも、Avintonでこのような最先端技術を習得し活用してみませんか?

社員の成長を導きながら、AIやビッグデータなどの最先端技術をプロジェクトに活用していくことが私たちのビジョンです。Avintonの充実した技術研修でスキルアップを図り、あなたのキャリア目標を一緒に達成しませんか?

採用情報

採用情報

採用情報

Categories

  • 相互学習
  • 採用
  • 社員インタビュー
  • 学習&資格取得
  • 技術解説
  • イベント告知
  • 学内説明会&講義
  • 産学連携
  • 就職活動
  • イベントレポート
  • その他
  • 技術ブログ&インタビュー
  • mainpage
  • New Graduates Interviews
  • 中途エンジニア
  • カテゴリーなし
  • ニュースリリース&イベント

Avinton SDGs

SDGsへの貢献

Search

タグ

AIカメラ AI時代の経営 AvintonAcademy on Campus AWS Big Data ccna Docker DQN FINOLAB Git ITコンサル James Cauchi LPIC-2 PM&PMO Raspberry Pi SSD イベントレポート インターン エッジコンピューティング エリクソン エンジニア クラウトネイティブ コンテナ技術 ディープラーニング データベース データ生成 ファンダフルリレーマラソン モブワーク リスキリング リードエンジニア 中瀬幸子 企業説明会 医療 大学&専門学校 就職活動 帰社日 強化学習、機械学習 技術ブログ 掲載告知 未経験 深層学習 田中 研之輔 社員紹介 第一級陸上特殊無線技士 観光データ
© 2023 Avinton | All Rights Reserved | プライバシーポリシー
  • サービス
    • Avinton Data Platform
    • エッジAIカメラ
      • 自動車ナンバープレート自動認識システム
    • プライベートクラウド
    • AIサービス開発
    • AIカメラ/画像解析無料体験版
    • 見てわかる観光庁オープンデータ
  • 最新情報
    • ニュースリリース&イベント情報
    • 技術ブログ&インタビュー
  • アカデミー
    • Avintonアカデミー
    • Academy on Campus
    • Academy with Platform
  • 採用情報
    • Avintonジャパン 採用ページ
    • 求人一覧
    • よくある質問
    • 新卒採用
  • 企業情報
    • 会社概要
    • 代表からご挨拶
    • SDGsへの貢献
  • お問い合わせ
  • 日本語
    • English (英語)
Avinton Japan