無料OS『Xubuntu 18.04 LTS』…簡単インストールだけで日本語入力まで完了！
https://report.hot-cafe.net/xubuntu1804-install-5057

最近、何故か大人気な Xfce 版の Xubuntu 18.10 をインストールしてみました。 https://ameblo.jp/gokurakuhaze/entry-12413899563.html

— posted by midilin @ 11:36PM | Comment (0)

XubuntuをUSBメモリーにインストール｜Xubuntu18.04LTS日本語版 | パソコン生活情報
https://vip777.tokyo/xubuntu-install

スペックとしてはUSB3以上が必須

— posted by midilin @ 06:26PM | Comment (0)

・Google Colabの使い方まとめ - Qiita
https://qiita.com/shoji9x9/items/0ff0f6f603df18d631ab

Google Colabの知っておくべき使い方 – Google Colaboratoryのメリット・デメリットや基本操作のまとめ
https://www.codexa.net/how-to-use-google-colaboratory/

Google Colaboratory事始め
https://qiita.com/kouki_outstand/items/cd24dccbaa92274be39e

Google Colab ブラウザだけでPython実行
https://qiita.com/firedfly/items/9b76d4f4ea2b563777af

ColaboratoryでMeCabを使えようにする。
https://qiita.com/pytry3g/items/897ae738b8fbd3ae7893

上記で動かなかった場合は以下
!sudo apt-get install mecab mecab-ipadic-utf8 libmecab-dev swig !pip install mecab-python3 https://qiita.com/zaq9/items/6c9d7cc0def01fa2559b

Google Colaboratoryを便利に使うためのTIPSまとめ - karaage. [からあげ]
https://karaage.hatenadiary.jp/entry/2018/12/17/073000

尚、以下のようにマウントとpyの実行ができる

from google.colab import drive
drive.mount('/content/gdrive/')
import os
os.chdir('/content/gdrive/My Drive/Colab Notebooks/abc/')
!ls
%run -i test01.py

— posted by midilin @ 06:40PM | Comment (0)

AWS及び、Cloud9（pythonが使える）の登録方法
Cloud9の使い方と便利機能！最強プログラミング開発環境（IDE）
https://www.sejuku.net/blog/385


【Python＋heroku】Python入れてない状態からherokuで何か表示するまで（前編）
https://qiita.com/it_ks/items/afd1bdb792d41d0e1145

heroku toolbeltインストール
https://qiita.com/Arashi/items/b2f2e01259238235e187

Pythonの開発環境はGoogle Colabで決まり
https://yokonoji.work/google-colab-813

— posted by midilin @ 08:05PM | Comment (0)

・Neural Network Console
https://dl.sony.com/ja/
Windwos版とクラウド版あり

helpは以下
https://support.dl.sony.com/docs-ja/
レイヤーのリファレンスは以下
https://support.dl.sony.com/docs-ja/layer_reference/


●使い方について

ソニー Neural Network Console と エクセルで始める ニューラルネットワーク
https://www.ecomottblog.com/?p=2424
Sampleの日経平均をExcelで作り、Neural Network Consoleで予測した結果

Neural Network Consoleの使い方を紹介！ディープラーニングをやってみよう！ | しろまるライフ
https://shiromaru-life.com/deeplearning1/
sampleプロジェクトのデータの4と9の説明が詳細に書いてあり、わかりやすい

Inputで、1,28,28になっている理由（画像が28✕28のパターンが考えられるから）
Sigmoidはシグモンド関数（0か1を出したいときに使用）

ちなみに、BinaryCrossEntropyは、リファレンスにあるが
https://support.dl.sony.com/docs-ja/layer_reference/
データセットの変数は0もしくは1で使用

★cedro-blog
http://cedro3.com/
cedroさんのblog。Neural Network Console初めて触る人は、必読のブログ。
過去記事を時系列で全部見ておくと良い。

以下、自分が読み返す用のメモ用要点
[SONY Neural Network Console で 指原莉乃をディープラーニング]
http://cedro3.com/ai/akb48-dl/
・「縮小専用」という画像で、ピクセルを32✕32
・判定画像をs1、そうでない画像をs0に格納し、Sourceにいれ、Outputは空
・1,28,28は、1はモノクロ、28がピクセルを表しているので、
3,32,32、3はRGPに指定
・Ratio（％）は、学習用と評価用の比率の設定。合計100％（例：学習用80、評価用20）
・Output File 1：学習用ファイル
・Output File 2：評価用ファイル
・Batch Sizeは、一度に処理するデータ量
　テストデータが30であれば、30
　
[SONY Neural Network Consoleで指原莉乃をもっとディープラーンング]
http://cedro3.com/ai/akb48-more-dl/
・02_binary_cnn.sdcproj（CNN使用）
・自動最適化機能の使用
　CONFIG→Structure Search→Enable
　にすることで、永久学習する
　
　Method：Radom（時間を掛けて最適化）／Network Feature＋Gaussian Process（素早く）
　Optimaize for：Error（とにかく誤差を少なく）かError and Caluculation（誤差も演算量も少なく）
　これを選ぶことにより、モデルが変わる
　
　識別精度（Accuracy）があがればOK
　（EVALUATION→Confusion Matrixで確認できる）

[SONY Neural Network Consoleで日経平均株価をディープラーニング]
http://cedro3.com/ai/nikkei-stock-dl/
・行列のデータ
・csv作成する場合は、utf-8のBOM無（記事では、Calc使っているが、さくらエディタでできる）
・過去5日分ごとのデータをs1.csv→s60.csvというファイルを1つのディレクトリに入れる
・画像データと違い、数値データの場合は、学習用ファイルと評価用ファイルも自分で作る必要有
・学習用ファイルや評価ファイルには、使用する数値データファイルの名前とラベルを記載
例）
x:data,y:label
.\dir\s1.csv,0
.\dir\s2.csv,1
・・・
のように指定

フォルダは３つ作成する
1つはAIの出力用、
残りの2つは学習用と評価用ファイル



尚、コメントにもいろいろな人からの質問があり、
コメントも含めて読み込むこと推奨

・Inputを 1,28,28 → 5,4 に変更
（モノクロ28×28ピクセルの画像から、5行×4列の数値データに変更）
・Max epoch：学習ファイルを何回繰り返して学習させるか
・Batch Size は１回の学習に使うデータ数
　評価データが少ない場合は、その数を指定してもよい
・１つ１つプロジェクトの評価し、
　明らかに評価誤差（Validation error）が高いプロジェクトはスキップ、
　識別精度のプロジェクトを学習・評価済みのニューラルネットワークとする
・y:label は「2」にする（２にしておかないと表示範囲が０，１だけになる）

SONY Neural Network Consoleで女性の顔のクラス分類をやってみる
http://cedro3.com/ai/woman-face-dl/
・LeNet.sdcproj使用
・４つの画像の種類をそれぞれのディレクトリに格納
・自動最適化
・識別精度（Accuracy）の確認

SONY Neural Network Consoleで女性の顔画像を生成してみる
http://cedro3.com/ai/generate-face-dl/
・mnist_dcgan_with_label.sdcproj使用
・学習ファイルが重いので、1/100に加工
・DCGANは2015年考案の高解像度画像の生成モデル

SONY Neural Network Console　画像データの水増しは有効か？
http://cedro3.com/ai/data-inflated-dcgan/
・学習データを増やすため、「XnConvert」を使い、
　「正像、鏡像」×「彩度＋ー、変化なし」「ぼかし、ピント強調、ノイズ、変化なし」
　２×３×４＝２４倍の画像データを作成

SONY Neural Network Console 謎のサンプルデータセット
http://cedro3.com/ai/mystery-sample-dataset/
・変数を使ったもの（画像でも、行列でもない）。変数４つの場合は、1,28,28 → 4に変更
・binary_connect_minst_MLP.sdcproj使用
・変数であれば、変数の値を学習ファイルと評価ファイルに直接書ける
例）入力が4つ、出力が1つであれば
x__0:xxx,x__1:xxx,x__2:xxx,x__3:xxx,y__0:xxx
数字,数字,数字,数字,0
のようにする
・+1〜-1にだいたい収まるようにする
　つまり、もとの数値が大きければ、全体の数字を割って、全体がおさまるようにする
　学習ファイルと評価ファイルを上記フォーマットで作ればよい
・Xと数字の間にあるのは、ダブルアンダースコア

SONY Neural Network Console 家賃を推定するニューラルネットワーク
http://cedro3.com/ai/rent-dl/
・回帰問題
・変数使用
・変数は３つ、専有面積、駅徒歩、築年数。出力は賃料で管理費込み
・01‗logistic_regression.sdcproj
1,28,28 → 3
・Max Epochを多めに設定（例：2000回）
・評価データのセーブ

SONY Neural Network Console 年齢を推定するニューラルネットワーク
http://cedro3.com/ai/age-dl/
・「Image Downloder」Chrome拡張でファイル一括ダウンロード、XnCovertでリサイズ
・年齢ごとにフォルダ作成
・CSVファイルを作るのが大変なので、画像格納だけして、
　一度、Output Fileは学習ファイルの方だけ100%で生成、
　この学習用ファイルを編集して、学習ファイルと評価ファイルに分割する
・BinaryConnectAffine_2 は、10 → 1（10分類から変数）。
・Softmax → Sigmoid 、CatgericalCrossEntorpy → SquaredError （分類から回帰）

SONY Neural Network Console 未来を予測するニューラルネットワーク
http://cedro3.com/ai/future-prediction-dl/
・航空会社の乗客数を予測
・乗客数の数値のみ、1年12レコード、これを年数だけ作成
・eleman_net.sdcproj使用
・BinaryCrossEntropy　→　SquaredError に変更（分類から数値へ）。
・Input を1,28,28 → 12,1 （白黒28×28画像から12行×1列の行列に変更）

・上記だと、予測がイマイチなので、”長期的”なLSTMも実験
　long_short_term_memory（LSTM）.sdcproj
　Unitの中に、LSTMというのがあるのでこれが使用できる

SONY Neural Network Console でユーミンをディープラーンング
http://cedro3.com/ai/yuming-predict-song/
http://cedro3.com/ai/yuming-more-dl/
・文章の自動生成、Pythonが必要
anacond、gensim、Mecab、ipadic使用

・SONY Neural Network Console に待望のサンプル画像が追加されました
http://cedro3.com/ai/sample-data-set/
Neural Network Libraries をインストール方法

SONY Neural Network Console でミニAlexnetを作る
http://cedro3.com/ai/mini-alexnet/
・Alexnet：画像認識（2012年）
・ミニ Alexnet を設計を作成し実現する方法
・クラウド版で、データセットアップロードの方法
　データセットアップロードツールを使う
　
SONY Neural Network Console でミニ VGGnet を作る
http://cedro3.com/ai/mini-vgg-net/
・VGGnet：Alexnetの進化形（2014年）
・Batch Normalizationを使わないと精度が悪い

SONY Neural Network Console でミニ Resnet を作る
http://cedro3.com/ai/mini-resnet/
・Resnet：2015年の画像認識、残差学習という手法を入れている
・Resnet のサンプルプロジェクトあり
・ImageAugmentation が変形処理（拡大縮小、回転、歪、反転、輝度変更、コントラスト変更など）を行うことで、いわゆるデータの水増し効果を実現するブロック

SONY Neural Network Console で、顔画像生成に再びトライ
http://cedro3.com/ai/mini-dcgan/
・「ImageSpider」で、キーワードの画像自動ダウンロード
・顔の切り抜きに「OpneCV」を使用（python必要）


http://cedro3.com/2018/01/
途中まで

その他、画像以外で、面白そうなもの

学習済みWord2Vec モデルをサクッと使ってみる
http://cedro3.com/ai/word2vec-gensim/

Keras LSTMでトレンド予測をしてみる
http://cedro3.com/ai/keras-lstm/

Keras LSTMでサクッと文章生成をしてみる
http://cedro3.com/ai/keras-lstm-text/

Keras MLPの文章カテゴリー分類を理解する
http://cedro3.com/ai/keras-mlp-reuters/

Keras MLPの文章カテゴリー分類を日本語のデータセットでやってみる
http://cedro3.com/ai/keras-mlp-livedoor/

http://cedro3.com/2018/10/
までチェック

PyTorch 画像から文章をサクッと生成してみる
http://cedro3.com/ai/pytorch-image-captioning/

PyTorch GPT-2でサクッと文章生成してみる
http://cedro3.com/ai/pytorch-gpt-2/

— posted by midilin @ 06:26PM | Comment (0)

SQL Server Expressとは？概要・有償版との違いについて徹底解説！
https://www.sejuku.net/blog/74368
開発用、学習用として使える

https://www.sejuku.net/blog/74068
導入方法

GUI（Manegement Studio）を使ったテーブルの作成方法

SQL Server Management StudioでExcelファイルのデータをインポートする方法
https://qiita.com/speedstar18fct/items/ce0772e825b0d5cc6e91
コピペでインポートができるとのこと

— posted by midilin @ 06:42PM | Comment (0)

■ニューラルネットワークの基礎を初心者向けに解説してみる | ロボット・IT雑食日記
https://www.yukisako.xyz/entry/neural-network

わかりやすい。

・基本形は、入力信号Xに重みwをかけて、定数値+bを足し、fをかけて、出力yを出す
f(x)=1/1+e-zで表せ、これを「シグモイド関数」と呼ぶ

・入力xを複数使って、出力yも複数出せる
・入力xと出力yの間に中間層を入れることができる
・シグモイド関数の変数をかえて、パルス派をつくることできる
・パルス派を組みあわせることで近似値ができる

■活性化関数とは
https://newtechnologylifestyle.net/%E3%82%84%E3%81%A3%E3%81%B1%E3%82%8A%E3%82%88%E3%81%8F%E5%88%86%E3%81%8B%E3%82%89%E3%81%AA%E3%81%84%E6%B4%BB%E6%80%A7%E5%8C%96%E9%96%A2%E6%95%B0%E3%81%A8%E3%81%AF/


1つのニューロンへの入力は、
入力(X1 , X2 , X3)に重み(W1 , W2 , W3)をかけ合わせた
値にバイアス(b)を足した値だが
この合計値に対して、特定の関数を経由することで最終的な出力値を決定します。

その出力値を決定する関数が活性化関数、つまりfのこと
活性化関数＝シグモイド関数

なお、活性化関数にはシグモイド関数以外にもいろいろある
・シグモイド関数
・ソフトマックス関数
・恒等関数
・ReLU

・シグモイド関数

→「0または1」という2つの解を求める場合に使用。
　動物なら、猫か犬か→犬か犬ではないか
　犬の確率が20%なら、猫になる
　確率に変換

・ソフトマックス関数
　多クラスで使用、「犬、猫、ライオン、熊」とか
　犬=>0%、猫=>60%、ライオン=>20%、熊=>20%
　最終的な合計値が1となるように算出することが特徴
　確率に変換

・恒等関数
　確率に変換せず、そのまま受け取った値を出力
　
・ReLU
　入力値の合計値が0以下の場合は出力値が0となり、
　0以上の場合は、そのまま入力値（恒等関数）が出力値
　
　つまり、入力の値がマイナスだった場合は0という一定値を出したいときに使用
　
■高卒でもわかる機械学習
http://hokuts.com/2015/11/24/ml0/
全７回（あとで読む）
誤差関数のことを調べているときに見つけた

— posted by midilin @ 12:04AM | Comment (0)

・SONYの本気！AI開発ツール『Neural Network Console』が常識をぶっ壊す
https://ledge.ai/sony-neural-network-console/

・Neural Network Console
https://dl.sony.com/ja/
Windwos版とクラウド版あり

helpは以下
https://support.dl.sony.com/docs-ja/
レイヤーのリファレンスは以下
https://support.dl.sony.com/docs-ja/layer_reference/

ソニー Neural Network Console と エクセルで始める ニューラルネットワーク
https://www.ecomottblog.com/?p=2424
Sampleの日経平均をExcelで作り、Neural Network Consoleで予測した結果
使い方を学習するのによいかも。

・Neural Network Consoleの学習モデル自動最適化機能が凄すぎる！ | AI coordinator
https://ai-coordinator.jp/neural-network-console
画像を読み込ます際は、予め画像サイズをそろえておく

「簡単にディープラーニングができる」と噂の、SONY「Neural Network Console」の使い方 | AI入門ブログ（人工知能の作り方など人工知能に関する情報を公開
https://ai-kenkyujo.com/2017/12/05/neural-network-console/
自分のデータで試す場合は、ニューラルネットワークの基礎知識は必須

・2019年最新版！【簡単3ステップ】 初心者でも分かるAI（人工知能）の作り方 | AI入門ブログ（人工知能の作り方など人工知能に関する情報を公開
https://ai-kenkyujo.com/2017/03/16/howto/
AI(人工知能)を作成する３つの手順
機械学習ツール一覧
Azure MLはプログラミングを書く必要がない

・簡単にAIが作成できる「AIメーカー」で画像判別AIを作成してみた - GIGAZINE
https://gigazine.net/news/20180725-ai-maker/
twitterと連携必要

・AI（人工知能）の開発に適したプログラミング言語はどれ？厳選8選 | 侍エンジニア塾ブログ（Samurai Blog） - プログラミング入門者向けサイト
https://www.sejuku.net/blog/51246
4位にjavascriptがあり、AIをWebブラウザから使うためのライブラリの記載あり
Keras.js
deeplearn.js
TensorFlow.js

— posted by midilin @ 10:56PM | Comment (0)

元table
----------------
id,col
----------------
1,a
1,b
----------------

これを
----------------
id,col1,col2
1,a,b
----------------

にする

select
a.id,
a.col as col1,
b.col as col2
from
ta a
inner join
ta b
on a.id = b.id
where
a.col = "a"
and
b.col = "b"


ちなみに、横→縦はUNION使う

https://qiita.com/k24d/items/79bc4828c918dfeeac34

Unpivotの

SELECT uid, 'c1' AS key, c1 AS value FROM htable
UNION ALL
SELECT uid, 'c2' AS key, c2 AS value FROM htable
UNION ALL
SELECT uid, 'c3' AS key, c3 AS value FROM htable
;
uid key value
--- --- -----
101 c1 11
102 c1 21
101 c2 12
102 c2 22
101 c3 13
102 c3 23

— posted by midilin @ 04:17PM | Comment (0)

AI（人工知能）とは？誰でも簡単にわかるディープラーニングの仕組み | AI入門ブログ（人工知能の作り方など人工知能に関する情報を公開）
https://ai-kenkyujo.com/2018/01/23/ai/

わかりやすい。

【5分でわかる】人工知能(AI)とは？概要や種類をわかりやすく解説 | 侍エンジニア塾ブログ | プログラミング入門者向け学習情報サイト
https://www.sejuku.net/blog/7290

AIが使われているスマホアプリが３本紹介されており、
自分でAIを使ったサービスを考えるときの参考になる

ちなみに紹介されているアプリは

・yenta
マッチングアプリ
レコメンド

・SENSY CLOSET
自動コーディネート

・StockMark
Web記事の自動管理


要チェック！AIを使ったWebサービス6選
https://www.sejuku.net/blog/51968

AIで秒速HP（ホームページ）ができる！？Wix ADIで訪れる未来とは | AIZINE（エーアイジン） https://aizine.ai/ai-hp-wixadi-0428/


Webサイト制作がAIで実現!?デザイン、ABテスト実行ツール『FIREDROP
https://ledge.ai/firedrop-ai/


AIによる記事自動生成ツール「Articoolo」がついに日本語対応
https://ledge.ai/articoolo-japanese-version/

Articooloの仕組み
https://ledge.ai/articoolo_writershelper/

・まず、トピックのコンテキストを分析して理解
・一番合ったベースとなるリソースを探し、その中から重要なキーワードを抽出
・リソースは独自のオフラインリソース、アルゴリズムで見つからない場合は、自動的にWebを検索

— posted by midilin @ 10:19PM | Comment (0)