ymgmr pages

はじめに 『新しい量子化学: 電子構造の理論入門 (上)』のメモです。1.2・1.3節の内容(直交関数・固有関数・演算子・変分法)についてです。 1.2 直交関数・固有関数・演算子 Dirac のデルタ関数 演習問題1.14・1.18を解く際に使います。 $$ a(0) = \int dx'a(x')\delta(x') \tag{1.123} $$2つの関数のスカラー積 関数 $a(x)$ について、$a(x) \equiv |a\rangle$ および $a^*(x) \equiv \langle a|$のように書くことで、2つの関数のスカラー積を次のように定義できます。 $$ \int dx \space a^*(x)b(x) = \langle a | b \rangle \tag{1.128} $$1.3 変分法 1.3.1 変分原理 規格化された波動関数 $|\tilde{\Phi}\rangle$ が与えられたときはミルトニアンの期待値は真の基底状態のエネルギーの上界となります。 $$ \langle\tilde{\Phi}|\mathcal{H}|\tilde{\Phi}\rangle \ge \mathcal{E}_0 \tag{1.149} $$1.3.2 線型変分法 固有値問題 $\mathcal{H}|\tilde{\Phi}\rangle = \mathcal{E}|\tilde{\Phi}\rangle$ に対してあらかじめ規格直交関数の組 $\{|\Psi_i\rangle\} (i=1,\space \cdots, \space N)$ が与えられているときに、それらの基底における演算子 $\mathcal{H}$ の表現行列 $(\bold{H})_{ij} = \langle \Psi_i | \mathcal{H} | \Psi_j \rangle$ を作り、その固有値問題を解く方法です。 ...

はじめに 『新しい量子化学: 電子構造の理論入門 (上)』1.1節の内容である線形代数についてのメモです。 1.1.4 N次元複素ベクトル空間 N次元ベクトル空間の正規直交基底を $|i\rang$ とします。 ブラケット ブラ $\langle a|$ とケット $|b\rangle$ の内積は $$ \langle a|b \rangle = \bm{a}^\dagger\bm{b} = \sum_{i=1}^Na_i^*b_i $$ として表されます。 エルミート演算子 自己共役である ($\mathcal{O}^\dagger=\mathcal{O}$) 演算子のことをエルミート演算子と呼びます。エルミート演算子の表現行列では $$ \langle a | \mathcal{O} | b \rangle = \langle a | \mathcal{O}^\dagger | b \rangle = \langle b | \mathcal{O} | a \rangle^* $$ の関係が成り立ちます。 演習問題の答案 間違いも含まれていると思いますが、演習問題1.1 - 1.13の答案を以下に載せています。 https://drive.google.com/file/d/1vaV0qOvTFahLTOSi4iBkw2ffyWvpkf6C/view?usp=sharing

はじめに $f\sim\mathcal{GP}(0,k)$ から得られる観測を1点ずつ加えて事後分布を $n$ 回逐次更新した結果と、$n$ 点のデータ集合 $\mathcal{D}_n$ をまとめて条件付けて一度に計算した事後分布が同一であることを示します。 設定 次の設定を仮定します。 $f \sim \mathcal{GP}(0, k)$: 目的関数 $f$ は平均 $0$、カーネル関数 $k(x, x')$ のガウス過程に従う $\mathcal{X}$: 有限集合である入力空間 $x_t$: 入力空間 $\mathcal{X}$ の中で獲得関数を最大化する点 ($t > 1$) $y_t = f(x_t) + \varepsilon_t$: 入力点 $x_t$ に対する観測 $\varepsilon_t \sim \mathrm{i.i.d.}\ \mathcal{N}(0, \sigma^2)$: 観測ノイズ $\mathcal{D}_t = \{(x_i, y_i)\}_{i=1}^{t}$: $t$ ステップまでに得られたデータ集合 記号 証明では次の記号を用います。 $k(x, x')$: カーネル関数 $\bm{k}_n(x) = [k(x, x_1),\ k(x, x_2),\ \dots,\ k(x, x_n)]^\top$ $\bm{K}_n$: カーネル行列($(i, j)$ 成分が $k(x_i, x_j)$ である $n \times n$ 行列) $\tilde{\bm{K}}_n = \bm{K}_n + \sigma^2 \bm{I}_n$ 逐次更新の場合 観測1回目 ($t=1$) 入力空間 $\mathcal{X}$ の中で一様分布に従って $x_1$ を選択します。関数 $f$ は $\mathcal{GP}(0, k)$ に従うので ...

はじめに 「Introduction to Flow Matching and Diffusion Models」(MIT IAP 2026) のコース資料を基にフローマッチングと拡散モデルについて勉強した際の日本語メモです。 生成モデルとSDE データ分布からのサンプリング = “生成” $$ z_\text{new} \sim p_\text{data} $$データ分布 $p_\text{data}$ の確率密度は未知 $$ p_\text{data}: \mathbb{R}^d \rightarrow \mathbb{R}_{\geq 0}, \\ z \mapsto p_\text{data}(z) $$条件付き生成 = 条件付き確率分布からのサンプリング 条件ベクトル $y$ を用いて $$ z_\text{new} \sim p_\text{data}(\cdot|y) $$ピカール・リンデレフの定理 ベクトル場 $u_t = u_t(x)$ について $u$ が $x$ について連続微分可能であるなら初期値条件 $X_0=x_0$ を満たす常微分方程式 $$ \frac{\text{d}}{\text{dt}}X_t = u_t(X_t) $$の解は一意に存在する。 ベクトル場 空間中の1点 $\bold{r}$ を指定すると $\bold{r}$ の関数としてベクトルが1つ決まるような関数。 例 $u_t(x) = -\theta x$ のときを考えると常微分方程式 $\frac{\text{d}}{\text{dt}}X_t = u_t(X_t)$ の解は、$X_t = Ce^{-\theta t}$ となる。初期条件 $X_0=x_0$ より $C=x_0$ だから $X_t = x_0e^{-\theta t}$ ...

NeurIPS 2024 に採択された論文 “Gradient Guidance for Diffusion Models: An Optimization Perspective” (Guo et al. 2024) を読んでみたので紹介します。 拡散モデルにおいて Classifier Guidance / Classifier-free Guidance などを用いたガイダンス手法が広く用いられているなか、この論文はユーザーが定義した任意の目的関数 $f$ を最大化するようにガイダンスを行うための手法について検討しています。 この論文では単純な勾配 $\nabla f$ を用いた勾配法による最適化では生成物が崩壊してしまうことを示し、“Look-ahead Loss” という損失を定義し、生成されたデータによるスコア関数のファインチューニングを繰り返しながら最小化するようなガイダンス手法を提案しています。 1. 背景と課題 拡散モデルにおいて、拡散過程を $\mathrm{d}\mathbf{x} = f( t)\mathbf{x}\mathrm{d}t + g(t)\mathrm{d}\mathbf{w}$ と表す場合の逆拡散過程は次のような確率微分方程式(SDE)で表されます。 ($\mathrm{d}t$: 無限小ステップ, $\bar{\mathbf{w}}$: 時刻 $T \rightarrow 0$ まで逆向きにたどった際の標準ウィーナー過程) $$\mathrm{d}\mathbf{x} = [f(t)\mathbf{x}-g(t)^2\nabla_\mathbf{x}\log p_t(\mathbf{x})]\mathrm{d}t + g(t) \mathrm{d}\bar{\mathbf{w}}$$論文では拡散過程・逆拡散過程を以下のように表記しています。 $$\mathrm{d}{X}_t = -\frac12 q(t){X}_t\mathrm{d}t + \sqrt{q(t)}\mathrm{d}{W}_t\tag{1}$$ $$\mathrm{d}X_t^{\leftarrow} = \left[ \frac{1}{2}X_t^{\leftarrow} + \nabla \log p_{T-t}(X_t^{\leftarrow}) \right] \mathrm{d}t + \mathrm{d}\overline{W}_t \tag{2}$$ここで、ベイズの定理より条件付きスコアが以下のように展開できることを考えます。 ...