読者です 読者をやめる 読者になる 読者になる

Obey Your MATHEMATICS.

機械学習関連の純粋数学や実験など

情報幾何学

”ANNの内部状態はその出力関数から一意的に決まるのか”と言う問題の驚くべき解答

こんにちは。タイトルの意味ですが、 人工ニューラルネットワークの 1. 隠れ層の数2.各層のニューロンの数3.重み4.バイアスこの4つは出力関数だけを見れば決まるのか?と言うものです。実はこの問題、特異点の解消の観点から、非常に重要(少なくとも従…

Information Geometry 〜その3〜

前回は、mathetake.hatenablog.com ・Divergenceと呼ばれる特別な性質を持つ関数と・Torsion-Free Mutually Dualistic Structure(TFMDS)との密接な関係を説明しました。それは各Divergence に対して、TFMDS が一意に誘導されると言うものでした。 さて、そこ…

Information Geometry 〜その2〜

前回の記事でmathetake.hatenablog.com どうして密度推定で””微分幾何学””を考えるのかを解説しました。そこで、統計多様体上ではフィッシャー情報計量が自然にリーマン計量とみなすことが出来ることを述べました。一方で、α-接続と言う共変微分が上に定義さ…

Information Geometry 〜その1〜

こんにちは。久しぶりの投稿です。最近は、DNNや機械学習のモデル選択や、その学習プロセスに対してあまりに理論的理解が乏しい事を痛感し、そこに一歩踏み出そうと思って試行錯誤してたわけですが、、。 例えば先日紹介した、EBGANについてですが、あれはデ…