tak0kadaの何でもノート

発声練習、生存確認用。

医学関連は 医学ノート

統計

多次元正規分布の導出

※分布の計算は院試に出ません

ディリクレ過程の定義

確率空間〜確率過程〜ディリクレ過程(とディリクレ混合分布との関連)までの現状の雑な理解をメモしておく。なお当方は集合論、測度論未履修でありかなりいい加減である。

KLダイバージェンス、JSダイバージェンス

# Kallback-Leiblerダイバージェンス def kld(p, q): p = np.array(p) q = np.array(q) return np.sum(p * np.log(p/q)) # Jensen-Shannonダイバージェンス def jsd(p, q): p = np.array(p) q = np.array(q) m = 0.5 * (p + q) return 0.5 * (kld(p, m) + kl…

「Imitation, Genetic Lineages, and Time Influenced the Morphological Evolution of the Violin」を読んだ

細胞の形の分析に取り組んでいるわけだが、バイオリンの形に関する分析の論文があったので読んでみた。以下は手法と解釈についてのメモ。数学的に厳密な理解までは手が届いていない。

「ロスマンの疫学」第1~3章を読んだ

一人で勉強するのは辛いものだが、後輩が疫学に興味を持っているということなので、ロスマンの疫学の勉強会をすることにした。章末問題があるが、問題と解答が英語だが公開されているので毎回確認していく(が、以下の答えは自分勝手に書いたものなので気にな…

「データ解析の実務プロセス入門」を読んだ

データ解析の実務プロセス入門 | 森北出版株式会社を読んだ。 この本は統計手法についての解説はほとんど含んでいない本で、「数学屋」ではなく「統計屋」のための参考書だと感じた。内容としてはデータ解析の利点、限界の解説や、実際の業務のプロセス全て…

Wright–Fisher モデルについて

遺伝的浮動とは ある集団内で特定の遺伝子の占める割合が偶然に変動する現象。 Wright-Fisherモデル 世代ごとに個体がが総入れ替え、遺伝子は親世代の遺伝子プールからの無作為抽出とみなすモデル。

法数学セミナー by Charles Brenner

去年のメモがなぜか(後半のcontinuous methodについて調べものをしてからupしようみたいな意図で放置されていたのだろうが...)発掘されたので公開。 κメソッドやDNA-VIEWで有名なCharles Brennerのセミナーが法医学教室の主催で開かれたので参加してきた。専…

p値ハッキングについての論文を読んだ

PLOS Biology: The Extent and Consequences of P-Hacking in Scienceを読んだ。 世の中にはp値が小さい(つまり統計的に有意)なデータが尊ばれる傾向がある。そうすると発表される結果は有意なものばかりだし、悪ければ詐称かもしれない。間違った結果を集め…

「統計的学習の基礎」第2章を読んだ - その1

第2章は教師あり学習の概要。予測と決定理論を区別して理解する。 TDOO: コードの追加

ベイズ推定とは

「ベイズ推定とはベイズ主義に基づいて言えば、観測された事象$D$に基づいて推定したい仮説$H$を確率的に求めることを言う。」 ベイズの定理 この確率の更新について元になっているのがベイズの定理と呼ばれているもので $$ P(H_{i}|D) = \dfrac{P(D|H_{i})P…

「統計的学習の基礎」第1章を読んだ

これから水曜日の5時15分から統計基礎勉強会に参加する。題材は「統計的学習の基礎」で、機械学習、データマイニングの教科書らしい。このページをまとめページとして利用する。 目次 サポートページ(英語)

「確率と確率過程」を読んだ

ディリクレ過程が分かればLDAなど言語学で使われているモデルが理解できそうなので確率過程を勉強したい。オーム社の確率と確率過程を読んでいる。どうやらマルコフ過程(MCMCで使うやつ)やランダムウォークも理解できそうで去年やっていたことが少し理解でき…

「Probabilistic Programming and Bayesian Methods for Hackers」を読んだ - (5章)

第5章は損失関数について。損失関数の計算に真の値を使わずにどう計算するのか気になっていたが事後分布を使うと知って納得。

「Probabilistic Programming and Bayesian Methods for Hackers」を読んだ - (4章)

4章は大数の法則と大数の法則にまつわる注意点について。

「Probabilistic Programming and Bayesian Methods for Hackers」を読んだ - (3章)

第3章はMCMCの原理について。

「Probabilistic Programming and Bayesian Methods for Hackers」を読んだ - (0 ~ 2章)

MCMCの勉強のためにProbabilistic Programming and Bayesian Methods for Hackersを読んだ。翻訳は終わっていないが、日本語版もある。

指数分布とガンマ分布について

私の今後は?潜伏期・再発 - ryamadaの遺伝学・遺伝統計学メモでガンマ分布を扱っていた。ガンマ分布について調べていると指数分布にも関係があるようだったのでメモ。

種類数の予測(その3) - 「thinkbayes」第15章

この記事には数式の間違いがあるので注意 その1、その2の続き。前回は母集団の推定分布$\hat{F_{K}}$に対して$F_{K}$がどのくらいの位置にいるかを調べた。今回はこの値(p)が、母集団がどのような分布のときにどれくらい誤差を生じるのかを調べたい。

統計検定3級の教科書を読んだ

統計の分野で使われる考え方を押さえていく。3級は高校生レベルだが一応確認しておきたかったので日本統計学会公認の教科書を読んだ。

何かよく分からない検定と生存時間解析(その1)

友人が論文で使われている統計の意味が分からんと言っていたので首を突っ込んだ。論文はこちら。 雑なまとめ 目的 先天性の心房中隔欠損(ASD)の患者でカテーテルによる閉鎖と外科手術とで効果と長期的な安全性を比較する。 結果 718人の先天性ASD患者で調べ…

種類数の予測(その2) - 「thinkbayes」第15章

この記事には数式の間違いがあるので注意 その1では与えられたデータから分布を予測したが、今回はシミュレーションを通して母集団に与えるパラメータが推定精度にどのような影響を与えるか調べたい。

種類数の予測(その1) - 「thinkbayes」第15章

この記事には数式の間違いがあるので注意 thinkbayesの第15章では「belly buttom bacteria」の数を予測する問題を取り扱っている。テキストではシミュレーションによって予測していたが、解析的に解けることが分かったのでメモ。

ラプラス変換を勉強した

ラプラス変換 ラプラス変換は微分方程式などで積分を掛け算、割り算の形に書き換えて解くための方法。 $$ F(s) = \mathcal{L}(f(t)) \equiv \int_{0}^{\infty} f(t)e^{-st}dt $$

ディリクレ分布をRとpythonで描いてみる

ディリクレ分布 ベータ分布と同じく式の中にベータ関数が含まれていて、多次元ベータ分布と呼ばれている。ディリクレ分布の表示に使う分布は多次元のベータ関数になる。

2項分布、ベータ分布をRとpythonで描いてみる

2項分布 R $$ P(X=k) = \begin{pmatrix} n\\ k\\ \end{pmatrix} p^{k}(1-p)^{n-k} $$

2変数の関連 - 「マンガでわかる統計学」第6章

数量データ、カテゴリーデータの関連度を計算する。母集団ではなく、標本についての統計量。 数量データ カテゴリーデータ 数量データ 単相関係数 相関比 カテゴリデータ 相関比 クラメールの連関係数 と書いてある。単相関係数が[-1, 1]、相関比、クラメー…

積み上げ棒グラフ - 「マンガでわかる統計学」第3章

カテゴリーデータを扱う。カテゴリーデータを可視化するときにも棒グラフは使える。 うどん ラーメン そうめん そば 40% 30% 20% 10% を表示したかったが、現状python3に移行できていないのでラベルはa,b,c,dにする。

ヒストグラムのビンの決め方 - 「マンガでわかる統計学」第2章

一般的な統計手法をあまり知らないのは問題なので、「Think Bayes」で挫けたついでに基本のきから積み上げていくこととする。 第2章でヒストグラムについて扱っている。ビンの幅によってかなり恣意的に情報の見た目を弄ることができるので決め方にも一定の規…

オッズとベイズの定理 - 「Think Bayes」第5章

今まで確率を表すのには[0, 1]の範囲の数を使ってきたが、オッズはこれの違った方法の表現。競馬とかでよく聞く表現である。 \[ \begin{align} p(H|D) &= p(D|H)p(H)/p(D)\\ p(\bar{H}|D) &= p(D|\bar{H})p(\bar{H})/p(D) \end{align} \] を片々割って、 \[ …