Obey Your MATHEMATICS.

機械学習関連の純粋数学や実験など

EdwardによるDeep Beta Distribution(深層ベータ分布)モデル

こんにちは。お久しぶりの投稿です。来週末に開催される db analytics show case Sapporowww.db-tech-showcase.com と言うイベントで講演する事になってまして、ベイズ統計やMCMCの基本的なところからEdwardのデモまでやっていく予定なのですがただ基本的な…

コサイン類似度&L^2ノルムの変動を用いた特徴語抽出

こんにちはTwitter就活コンサルタントと巷で噂のマスタケです学生の頃みたいなクソみたいな記事は書いてはイケないと言うプレッシャーがあり、しばらくご無沙汰してましたが、書きます。(今回の記事がクソ記事ではないと言う意味ではありません。クソ記事で…

【Recsys2016】Adaptive, Personalized Diversity for Visual Discovery (AmazonStream)に関するメモ

この記事は次の論文:Adaptive, Personalized Diversity for Visual DiscoveryChoon Hui Teo Amazon, Palo Alto, CA, USA Houssam Nassif Amazon, Seattle, WA, USA Daniel Hill Amazon, Palo Alto, CA, USA Sriram Srinivasan UC Santa Cruz, Santa Cruz, CA…

ただの微分幾何学徒だった僕がデータサイエンスを何故/どのように勉強したのか

こんにちは。久々の投稿です。僕のTwitterをフォローしてくれている方はご存知かと思いますが、4月から機械学習エンジニア/データサイエンティスト(見習い)として働く事が決まりました。今日六本木の某社から正式に内定を頂きましたが、間違いなくTwitterの…

ラーメン屋の名前からラーメン屋の食べログスコアを推定出来ると思って頑張ったがやっぱり無理だった話

「うわっこのラーメン屋不味そう」「変な名前だしやめとこ」 みたいな感覚、誰しもあると思います。(僕だけ…?) と言うわけで、ハヤシくんはやしくんさん (@tree0_0tree) | Twitter全面協力の元日本中のラーメン屋のデータを集めラーメン屋の名前から食べロ…

"PyMC3" x "DNN" x "ADVI"で学習させて重みを可視化したら綺麗だったと言う話

こんにちは。 先日今話題沸騰中の ライブラリ Edward でVariational InferenceでBayesian DNNを学習させてみたと言う記事を書きました:mathetake.hatenablog.com 今回の記事は、Edwardの対抗馬(?)の一つであるPyMC3 を使ってDNNの分類器をADVIでミニバッチ…

アヒル本のモデルをいくつかPyMCで実装しました. 詰まったところ.

今話題のアヒル本StanとRでベイズ統計モデリング (Wonderful R)作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (8件) を見る の後半の方にあるモデルをいくつかPyMC3で実装しました:github.co…

EdwardでBayesian DNN+Variational Inferenceをやってみた話

こんにちは。 今(僕の中で)話題沸騰中のベイズ統計用PythonライブラリEdwardGitHub - blei-lab/edward: A library for probabilistic modeling, inference, and criticism. Deep generative models, variational inference. Runs on TensorFlow. を使って …

つくってあそぼう!ヒッグス粒子発見器 -開発編-

こんにちは。今回は、前回の記事mathetake.hatenablog.comで前処理して得られたデータセットを元に、実際に分類機を作っていこうと思います。

つくってあそぼう!ヒッグス粒子発見器 -データ前処理編-

こんにちは。皆さん、ヒッグス粒子をご存知でしょうか。 ヒッグス粒子 - Wikipedia 2013年に、スイスにあるCERNの加速器実験で発見した、と発表されたばかりの新しい粒子です。*1なんでも、”質量はどこから生まれるのか”みたいな問いに答えを与えるよう…

【TFLearn】非線形ネットワーク VS 線形ネットワーク【データ解析入門】

明けましておめでとうございます。今年もなんちゃらです。 今年はこのブログでも理論だけではなくて実験に関することもやっていけたらなあ、と思っている次第であります。その実験第一弾にふさわしい、素晴らしい記事、と行きたいところですが凄くショボい内…

Reproducing Kernel Hilbert Spaceの数理とMercerの定理

こんにちは。 この記事は、皆さんサポートベクトルマシン(SVM)でお馴染みであろうReproducing Kernel Hilbert Space (再生核ヒルベルト空間) : (以下RKHS)に関するただの個人的なメモです。 動機は、非常に重用なMercerの定理の証明がウェブ上で簡単に見つか…

ガウス過程の定義と存在を測度論の言葉を使って、出て来る言葉の定義を全て与えて、ごまかさないで、しっかりと、数学的に説明してみようと思ったけど、ただの機械学習のための測度論的確率論超絶速習コースになってしまいました。

こんにちは。 今回は、このブログを読んでいる機械学習界隈の人なら必ず一度は聞いたことがあるであろう ガウス過程(Gaussian Process)についてです。かの有名な悪名高いPRMLにも頻繁に登場しますし、機械学習の本や論文にはしょっちゅう出て来る存在だと思…

「量子コンピュータが人工知能を加速する」とそれに関連するメモ.

こんにちは。珍しく今回は数式は出てきません。 この記事は自分用のクリスマスプレゼントとして買った、量子コンピュータが人工知能を加速する作者: 西森秀稔,大関真之出版社/メーカー: 日経BP社発売日: 2016/12/09メディア: 単行本この商品を含むブログを見…

損失関数はそれほど複雑な関数ではないのかも?と言う話

前回の記事mathetake.hatenablog.com にある論文(2-2-9)[1605.07110] Deep Learning without Poor Local Minimaについてのお話です*1。 Abstractを読んだ瞬間に、こんな重要な論文をどうして今まで知らなかったのかと言うぐらい興奮しました。少し長いですが…

Deep Learningの理論的論文リスト

§1はじめに Deep Learningってどのくらい理論的に解明されているのか?ってやっぱり気になりますよね。それに関して、次のQuoraのスレッドに非常に有益なコメントがあります。When will we see a theoretical background and mathematical foundation for de…

Taking the Human Out of the Loop -ベイズ最適化のすゝめ-

こんにちは。タイトルは次の論文から拝借しました;Taking the Human Out of the Loop: A Review of Bayesian Optimization - IEEE Xplore Document という訳で今話題沸騰中(????????)のBayesian Optimization(ベイズ最適化)についてまとめたいと思い…

ベイズ統計の数理について−WAICとその数学−

お久しぶりの投稿です。最近修論やらなにやらで機械学習も統計もあまりモチベーションがなかったんですが、復活してきたので書きます。書きます。 今回の記事は、Sumio Watanabe大先生が確立した特異モデルまでをも包括した*1 歴史上唯一のベイズ統計の理論…

Universal Approximation Theoremと深層学習の有効さ

皆さんUniversal Approximation Theorem Universal approximation theorem - Wikipedia をご存知でしょうか。 もしこれを知らないで深層学習や人工ニューラルネットワーク(ANN)を使っている(実装している)としたら、それは無免許運転のようなものでしょう。 …

”ANNの内部状態はその出力関数から一意的に決まるのか”と言う問題の驚くべき解答

こんにちは。タイトルの意味ですが、 人工ニューラルネットワークの 1. 隠れ層の数2.各層のニューロンの数3.重み4.バイアスこの4つは出力関数だけを見れば決まるのか?と言うものです。実はこの問題、特異点の解消の観点から、非常に重要(少なくとも従…

Dimension Detection with Local Homologyと言う手法

情報幾何学だけでは狭いので、一歩引いていろんな論文を読み漁っていたら次のようなものに出会った:[1405.3534] Dimension Detection with Local Homology 人間が機械学習させたいデータのなす全体の集合は、基本的に高次元のユークリッド空間の中で多様体…

何故DeepNeuralNetworkの学習は難しいのか:特異点と対称性の視点から: Chapter 2

こんにちは。 前回はmathetake.hatenablog.com 統計学の視点から、正則モデルそして特異モデルの定義について述べ、特異モデルの対称性と特異点、そして古典的漸近理論が通用しなくなると言う性質について述べました。 今回は、引き続いてDeep Neural Networ…

何故DeepNeuralNetworkの学習は難しいのか:特異点と対称性の視点から: Chapter 1

こんにちは。今回はInformation Geometryの話ではありません。笑 ネット上、そして市販されている書籍、どこを覗いてもDeep Neural Network (以下DNN)の学習やその各種パラメータ調節は難しい、と言う事実は語っていても どうして難しいのか まで踏み込んで…

Information Geometry 〜その3〜

前回は、mathetake.hatenablog.com ・Divergenceと呼ばれる特別な性質を持つ関数と・Torsion-Free Mutually Dualistic Structure(TFMDS)との密接な関係を説明しました。それは各Divergence に対して、TFMDS が一意に誘導されると言うものでした。 さて、そこ…

Information Geometry 〜その2〜

前回の記事でmathetake.hatenablog.com どうして密度推定で””微分幾何学””を考えるのかを解説しました。そこで、統計多様体上ではフィッシャー情報計量が自然にリーマン計量とみなすことが出来ることを述べました。一方で、α-接続と言う共変微分が上に定義さ…

Information Geometry 〜その1〜

こんにちは。久しぶりの投稿です。最近は、DNNや機械学習のモデル選択や、その学習プロセスに対してあまりに理論的理解が乏しい事を痛感し、そこに一歩踏み出そうと思って試行錯誤してたわけですが、、。 例えば先日紹介した、EBGANについてですが、あれはデ…

ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKの実装

前回の記事で紹介した、[1609.03126] Energy-based Generative Adversarial Networkこの論文のモデルをChainerの練習も兼ねて実装しましたので、そのコードを公開します。訓練データは80x80の画像を読み込むように書きました。 gistd03bdc9b6cf0ebd9bb1d6918…

ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKなるもの

ここ数日はGenerative Adversarial Networkモデル(通称GAN) [1406.2661] Generative Adversarial NetworksDeep Convolutional Generative Adversarial Networkモデル(通称DCGAN) [1511.06434] Unsupervised Representation Learning with Deep Convolutional…