统计约束纹理合成的最优块分配

# 统计约束纹理合成的最优块分配 ## 1 纹理合成方法概述 在纹理合成中，为了最小化非凸泛函问题（1），我们从随机图像开始，分别对图像 $u$ 和分配 $\sigma$ 进行交替最小化。这一方法基于局部最小化能得到理想结果的假设，并且在实践中得到了验证。 ### 1.1 块聚合步骤 当子网格上块之间的分配 $\sigma$ 固定时，优化合成图像 $u$ 可归结为求解以下问题： $$\arg\min_{u} \sum_{x\in\Omega^{\downarrow}} \|u \circ P(x) - u_0 \circ P \circ \sigma(x)\|_{1,2}$$ 这是一个可分离的凸优化问题，每个像素 $x$ 的颜色 $u(x)$ 可通过以下公式计算： $$\arg\min_{u(x)} \sum_{y\in P^{\downarrow}(x)} \|u(x) - u_0(\sigma(y) + x - y)\|_2$$ 其中，$P^{\downarrow}(x) = \{x + t, t \in \{-\frac{w}{2}, -\frac{w}{4}, 0, \frac{w}{4}\}^2\}$，表示与像素 $x$ 重叠的块的像素位置。我们使用 Douglas - Rachford 分裂算法并行解决 $N$ 个这样的问题。 ### 1.2 最优块分配步骤 当输出图像 $u$ 固定时，最优分配 $\sigma$ 是以下问题的解： $$\arg\min_{\sigma\in\Sigma_{N^{\downarrow}}} \sum_{x\in\Omega^{\downarrow}} \|u \circ P(x) - u_0 \circ P \circ \sigma(x)\|_{1,2}$$ 这个问题可以转化为线性和分配问题，并可以用多种方法求解。在实际应用中，对于小的分配问题（图像像素数 $N = 256^2$ 以内），我们使用匈牙利算法；对于合成更大的图像或减少计算时间，可以考虑使用拍卖算法的并行实现或基于 Sliced - Wasserstein 距离的近似分配方法。 ### 1.3 多尺度方案和初始化 为了捕捉输入特征之间的大尺度相关性，我们采用从粗到细的合成策略，计算输入图像的高斯金字塔 $\{u_s\}_{s = 0}^{S - 1}$。输出的最粗尺度 $s = S - 1$ 可以用任意图像初始化，在实践中，我们使用随机白噪声图像。对于后续尺度，图像 $u$ 首先通过双线性插值进行上采样。具体算法如下： ```plaintext Input: Example texture u0 Parameters: Number of scales: S = 3, patch width: w = 8 px, Parameters: Iterations per scale: {Is}S−1 s=0 = {10, 50, 50} Initialization: {us}S−1 s=0 ← Gaussian pyramid of u0 Initialization: u ← Random image with same size as uS−1 for s = S - 1 to 0 do for i = 1 to Is do σ ← Optimal assignment of patches of u to patches of us u ← Patch aggregati ```