持续同调文章阅读

原文：Mathieu Carriere, Frédéric Chazal, Marc Glisse, Yuichi Ike, Hariprasad Kannan. Optimizing persistent homology based functions. ICML 2021 - 38th International Conference on Machine Learning, Jul 2021,Virtual conference, United States. pp.1294-1303.

这篇文章给持续同调有关的一类函数加到loss里的可微性提供了理论保证。

Section1:Filtrations and persistence diagrams

Simplicial complexes and filtrations

定义1.1(filtration): 给定一个单纯复形$K$和$\mathbb{R}$的一个子集$R$，称$K$的一个$filtration$是一个由$K$的子复形构成的单调升列$(K_r{)}_{r\in R}$，且满足${\cup }_{r\in R}{K}_r=K$。
定义1.2(filtering index): 对每个复形$\sigma \in K$，可以对应地定义其$filtering$ $index$为： Φ σ = i n f { r ∈ R : σ ∈ K r } \Phi_\sigma=inf\{r\in R:\sigma \in K_r\} Φσ​=inf{r∈R:σ∈Kr​}。
  它可以等价地用${\mathbb{R}}^{|K|}$中的$|K|$维向量$\Phi =({\Phi }_{\sigma }{)}_{\sigma \in K}$表示，并且满足以下条件：若$\sigma ,\tau \in K$，且$\sigma \subset \tau$，则${\Phi }_{\sigma }\le {\Phi }_{\tau }$。
定义1.3(parametrized family of filtrations): 令$K$是一个单纯复形，$A$是一个集合。称映射$\Phi :A\to {\mathbb{R}}^{|K|}$是$parametrizedfamilyoffiltrations$，若对任何$x\in A,\sigma ,\tau \in K$且满足$\sigma \subset \tau$，皆有${\Phi }_{\sigma }(x)\le {\Phi }_{\tau }(x)$。

Persistence computation from filtrations

这部分的主要结果是引入了以下定义：
定义1.4(regular part(resp. essential part)): 一个持续图表$D$中那些具有有限坐标分量(resp. 无限坐标分量)的点构成的子集被称为$D$的$regularpart(resp.essentialpart)$，记成$D_{reg}(resp.D_{ess})$。
此定义前，作者还引入了算法说明如何确定这些点的配对情况。

Section2:Differentiability of functions of persistence

Background on o-minimal geometry

这部分介绍了o-minimal structure的定义，并说明了一大类集族都具有o-minimal structure。
定义2.1(o-minimal structure)： 设 { S n } n ∈ N \{S_n\}_{n\in\mathbb{N}} {Sn​}n∈N​是实数域$\mathbb{R}$上的一个集族，其中每个$S_n$是${\mathbb{R}}^n$中一些子集构成的集合。称 { S n } n ∈ N \{S_n\}_{n\in\mathbb{N}} {Sn​}n∈N​是一个$o-minimalstructure$，若它满足以下五条：
（1）$S_1$恰好是由点（point）和间隔（interval）关于有限并运算构成的集合；
（2）$R^n$的所有代数子集（algebraic subsets）在$S_n$中；
（3）$S_n$是$R^n$的布尔子代数（ Boolean subalgebra）；
（4）若$A\in S_n$且$B\in S_m$，则$A\times B\in S_{n\times m}$；
（5）若$\pi :{\mathbb{R}}^{n+1}\to {\mathbb{R}}^n$是到前$n$个坐标分量的线性投影，且$A\in S^{n+1}$，则$\pi (A)\in S^n$。
定义2.2(definable set): 对$n\in \mathbb{N}$，$S_n$中的元素$A$称为o-minimal structure中的$definableset$（可定义集）。
定义2.3(definable): 对一个可定义集$A\in {\mathbb{R}}^n$，一个映射$f:A\to {\mathbb{R}}^m$称为是$definable$（可定义的），若$f$的图像是${\mathbb{R}}^{n+m}$中的可定义集。
特别地，${\mathbb{R}}^n$中半代数子集族具有o-minimal structure。

Persistence diagrams of definable parametrized families of filtrations

这部分介绍的persistence map在后面会用到。记$Fil{t}_K$是由定义了$K$的某个filtration的${\mathbb{R}}^{|K|}$中的向量构成的集合，persistence map $Pers:Fil{t}_K\to {\mathbb{R}}^{|K|}$由${\mathbb{R}}^{|K|}$中坐标的置换构成。

Examples of definable families of filtrations

Definable families of filtrations的定义较为抽象，以下作者列举了几个例子，这里记录第一个。
例(Vietoris-Rips filtrations): 给定$n$个点$x_1,x_2,\cdots ,x_n\in {\mathbb{R}}^d$，考虑$\Phi :A=({\mathbb{R}}^d{)}^n\to {\mathbb{R}}^{|{\Delta }_n|}={\mathbb{R}}^{2^n-1}$，其中${\Delta }_n$是由所有$n-1$维的面（faces）构成的单纯复形。对$x=(x_1,x_2,\cdots ,x_n)\in A$和 σ ⊂ { 1 , 2 , ⋯   , n } \sigma\subset\{1,2,\cdots,n\} σ⊂{1,2,⋯,n}，定义${\Phi }_{\sigma }(x)=\underset{i,j\in \sigma }{\max }||x_i-x_j||$，能够形成$Vietoris-Ripsfiltrations$。
两点解释：
（1）$|{\Delta }_n|=2^n-1$是由于$C_n^0+\cdots +C_n^{n-1}=2^n-1$。
（2）对$x\in A$，如果$\sigma \subset \tau$，则显然有${\Phi }_{\sigma }(x)=\underset{i,j\in \sigma }{\max }||x_i-x_j||\le \underset{i,j\in \tau }{\max }||x_i-x_j||={\Phi }_{\tau }(x)$。

Section3:Minimization of functions of persistence

Stochastic gradient descent

这部分给出了本文关于收敛性最重要的定理。首先是一些准备工作。
定义3.1(a function of persistence): 称函数$E:{\mathbb{R}}^{|K|}=({\mathbb{R}}^2{)}^p\times {\mathbb{R}}^q\to \mathbb{R}$是$afunctionofpersistence$，若对任何$(p_1,\cdots ,p_p,e_1,\cdots ,e_q)\in ({\mathbb{R}}^2{)}^p\times {\mathbb{R}}^q$、集合 { 1 , 2 , ⋯   , p } \{1,2,\cdots,p\} {1,2,⋯,p}的置换$\alpha$以及集合 { 1 , 2 , ⋯   , q } \{1,2,\cdots,q\} {1,2,⋯,q}的置换$\beta$，皆有$$E(p_{\alpha (1)},\cdots ,p_{\alpha (p)},e_{\beta (1)},\cdots ,e_{\beta (q)})=E(p_1,\cdots ,p_p,e_1,\cdots ,e_q)$$考虑复合$\mathcal{L}=E\cdot Pers\cdot \Phi$，我们极小化$\mathcal{L}$。迭代算法：$$x_{k+1}=x_k-{\alpha }_k(y_k+{\zeta }_k),y_k\in \partial \mathcal{L}(x_k)$$ 其中$({\alpha }_k{)}_k$是学习率，$({\zeta }_k{)}_k$是随机变量序列。接着，我们提三个较弱的假设条件：
（1）对任何$k$，${\alpha }_k\ge 0,{\sum }_{k=1}^{+\infty }{\alpha }_k=\infty ,{\sum }_{k=1}^{+\infty }{\alpha }_k^2<\infty$；
（2）$\underset{k}{\sup }||x_k||<\infty ,a.s.$；
（3）记 { F k = σ ( x j , y j , ζ j , j < k ) } \{\mathcal{F}_k=\sigma(x_j,y_j,\zeta_j,j<k)\} {Fk​=σ(xj​,yj​,ζj​,j<k)}为$\sigma -$代数流，则存在一个在有限集合上有界的函数$p:{\mathbb{R}}^d\to \mathbb{R}$使得对任何$k$，有$\mathbb{E}[{\zeta }_k|{\mathcal{F}}_k]=0,\mathbb{E}[||{\zeta }_k|{|}^2|{\mathcal{F}}_k]<p(x_k),a.s.$。
（注：条件（3）是说：以过去为条件，能得到均值为0方差有限的结果。）
定理： 令$K$是一个单纯复形，$A\subset {\mathbb{R}}^d$，$\Phi :A\to {\mathbb{R}}^{|K|}$是$K$的一个parametrized family of filtrations，并在o-minimal structure上可定义。令$E：{\mathbb{R}}^{|K|}\to \mathbb{R}$是一个definable function of persistence，使得$\mathcal{L}=E\cdot Pers\cdot \Phi$是局部Lipschitz的。则在以上三条假设下，通过迭代得到的序列$(x_k{)}_k$是$\mathcal{L}$的极值点并且序列$(\mathcal{L}(X_k){)}_k$收敛。

Examples of definable locally Lipschitz functions of persistence

作者给了三个例子，这些例子都是常用的，这里只写第一个。例子道出了$E$的含义：将拓扑损失加到神经网络时，我们经常比较网络预测的持续图表和真实的持续图表之间的差异，就是用$E$来度量的。
例(Total persistence)： 给定一个持续图表$D$，将它以${\mathbb{R}}^{2p+q}$中向量表示：$D=((b_1,d_1),\cdots ,(b_p,d_p),e_1,\cdots ,e_q)$，定义$E(D)={\sum }_{i=1}^p|d_i-b_i|$，则$E$是一个半代数，从而在任意o-minimal structure可定义。显然，$E$也是Lipschitz的。

Acknowledgement: 感谢师姐对其中一些疑惑的解答。