読者です 読者をやめる 読者になる 読者になる

Obey Your MATHEMATICS.

機械学習関連の純粋数学や実験など

Deep Learning

ラーメン屋の名前からラーメン屋の食べログスコアを推定出来ると思って頑張ったがやっぱり無理だった話

「うわっこのラーメン屋不味そう」「変な名前だしやめとこ」 みたいな感覚、誰しもあると思います。(僕だけ…?) と言うわけで、ハヤシくんはやしくんさん (@tree0_0tree) | Twitter全面協力の元日本中のラーメン屋のデータを集めラーメン屋の名前から食べロ…

"PyMC3" x "DNN" x "ADVI"で学習させて重みを可視化したら綺麗だったと言う話

こんにちは。 先日今話題沸騰中の ライブラリ Edward でVariational InferenceでBayesian DNNを学習させてみたと言う記事を書きました:mathetake.hatenablog.com 今回の記事は、Edwardの対抗馬(?)の一つであるPyMC3 を使ってDNNの分類器をADVIでミニバッチ…

つくってあそぼう!ヒッグス粒子発見器 -開発編-

こんにちは。今回は、前回の記事mathetake.hatenablog.comで前処理して得られたデータセットを元に、実際に分類機を作っていこうと思います。

【TFLearn】非線形ネットワーク VS 線形ネットワーク【データ解析入門】

明けましておめでとうございます。今年もなんちゃらです。 今年はこのブログでも理論だけではなくて実験に関することもやっていけたらなあ、と思っている次第であります。その実験第一弾にふさわしい、素晴らしい記事、と行きたいところですが凄くショボい内…

損失関数はそれほど複雑な関数ではないのかも?と言う話

前回の記事mathetake.hatenablog.com にある論文(2-2-9)[1605.07110] Deep Learning without Poor Local Minimaについてのお話です*1。 Abstractを読んだ瞬間に、こんな重要な論文をどうして今まで知らなかったのかと言うぐらい興奮しました。少し長いですが…

Deep Learningの理論的論文リスト

§1はじめに Deep Learningってどのくらい理論的に解明されているのか?ってやっぱり気になりますよね。それに関して、次のQuoraのスレッドに非常に有益なコメントがあります。When will we see a theoretical background and mathematical foundation for de…

Universal Approximation Theoremと深層学習の有効さ

皆さんUniversal Approximation Theorem Universal approximation theorem - Wikipedia をご存知でしょうか。 もしこれを知らないで深層学習や人工ニューラルネットワーク(ANN)を使っている(実装している)としたら、それは無免許運転のようなものでしょう。 …

”ANNの内部状態はその出力関数から一意的に決まるのか”と言う問題の驚くべき解答

こんにちは。タイトルの意味ですが、 人工ニューラルネットワークの 1. 隠れ層の数2.各層のニューロンの数3.重み4.バイアスこの4つは出力関数だけを見れば決まるのか?と言うものです。実はこの問題、特異点の解消の観点から、非常に重要(少なくとも従…

Dimension Detection with Local Homologyと言う手法

情報幾何学だけでは狭いので、一歩引いていろんな論文を読み漁っていたら次のようなものに出会った:[1405.3534] Dimension Detection with Local Homology 人間が機械学習させたいデータのなす全体の集合は、基本的に高次元のユークリッド空間の中で多様体…

何故DeepNeuralNetworkの学習は難しいのか:特異点と対称性の視点から: Chapter 2

こんにちは。 前回はmathetake.hatenablog.com 統計学の視点から、正則モデルそして特異モデルの定義について述べ、特異モデルの対称性と特異点、そして古典的漸近理論が通用しなくなると言う性質について述べました。 今回は、引き続いてDeep Neural Networ…

何故DeepNeuralNetworkの学習は難しいのか:特異点と対称性の視点から: Chapter 1

こんにちは。今回はInformation Geometryの話ではありません。笑 ネット上、そして市販されている書籍、どこを覗いてもDeep Neural Network (以下DNN)の学習やその各種パラメータ調節は難しい、と言う事実は語っていても どうして難しいのか まで踏み込んで…

Information Geometry 〜その1〜

こんにちは。久しぶりの投稿です。最近は、DNNや機械学習のモデル選択や、その学習プロセスに対してあまりに理論的理解が乏しい事を痛感し、そこに一歩踏み出そうと思って試行錯誤してたわけですが、、。 例えば先日紹介した、EBGANについてですが、あれはデ…

ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKの実装

前回の記事で紹介した、[1609.03126] Energy-based Generative Adversarial Networkこの論文のモデルをChainerの練習も兼ねて実装しましたので、そのコードを公開します。訓練データは80x80の画像を読み込むように書きました。 gistd03bdc9b6cf0ebd9bb1d6918…

ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKなるもの

ここ数日はGenerative Adversarial Networkモデル(通称GAN) [1406.2661] Generative Adversarial NetworksDeep Convolutional Generative Adversarial Networkモデル(通称DCGAN) [1511.06434] Unsupervised Representation Learning with Deep Convolutional…