在这项研究中,我们提出了一种多尺度神经纹理合成方法,在此过程中,优化的同时还匹配了高斯金字塔的每一层的纹理[Adelson 等人于1984年提出]。艺术家再也不需要在图像分辨率和纹理保真度之间做权衡,并且可以在多个尺度上对纹理进行合成。对于神经纹理合成,这个问题已经通过利用优化过程的副作用得以解决[Gatys 等人于2016年提出]。但尽管多尺度金字塔方法在纹理合成中具有悠久的历史[Han等人于2008年、Lefebvre和Hoppe 于2005、Portilla和Simoncelli 于2000提出],据我所知,这可是第一个在神经文理合成的背景下使用这些方法的作品。
doi = {10.1145/3145749.3149449}
我的猫,Meowbot
--if-shift IF_SHIFT How many pixel-shift should inter-frame loss
scale") (default: 4)
floyd run --gpu "python3 synthesize.py -s bark.jpg --data-dir /vgg_weights --output-dir /output" --data wxswxs/vgg-weights/1:vgg_weights
查看所有其他标志的运行
主观函数
[--seed {random,symmetric}] [--data-dir DATA_DIR]
@inproceedings{Snelgrove:2017:ROD:3145749.3149449,
在FloydHub中运行
如果你想引用这项研究的话,请详读下面的内容:
--output-prefix OUTPUT_PREFIX, -op OUTPUT_PREFIX
model_data)
然后尝试:
这项研究显示了使用多尺度表示与神经纹理合成相结合的能力。 Gatys等人的研究可以看作是单尺度octave S = 1研究工作的特例。因此,建立在他们方法上的大量研究也将适用于我们。
(default: 500)
usage: synthesize.py [-h] [--output-width OUTPUT_WIDTH]
但这项新的研究具有一定的局限性,即在通用图像中实用性,因为这种技术仅限于生成只有一个尺度的低分辨率纹理。
}
[--output-prefix OUTPUT_PREFIX] [--save-every SAVE_EVERY]
虽然在论文中由于空间有限没有加以大量阐述,但对用于大量图像的格拉姆矩阵在每个尺度上求平均值。
approximate? (default: 5.0)
Where to save the generated outputs (default: outputs)
Pixel width of generated image (default: 512)
在该命令创建的“输出”目录中查找输出文件。
「机器人圈」正式更名为「雷克世界」,后台回复「雷克世界」查看更多详情。
address = {New York, NY, USA},
图片来自于SIGGRAPH Asia 2017的论文
(default: valid)
讨论
--source-scale SOURCE_SCALE, -ss SOURCE_SCALE
--output-dir OUTPUT_DIR
optional arguments:
通过使用高斯金字塔,并使用金字塔中每个空间尺度的中间VGG层的Gramian提取Gatys式的“风格”描述符,我们可以在多个图像尺度上创建更高分辨率的图像,不一定与 Gatys层的感受野(receptive field)对齐。
title = {High-Resolution Multi-Scale Neural Texture Synthesis},
风格迁移(Style Transfer)是深度学习众多应用中非常有趣的一种。这不,Xavier Snelgrove在其博客上发表一篇文章就吸引了谷歌大牛Franois Chollet的注意,该论文发表在SIGGRAPH(计算机图形图像特别兴趣小组) Asia 2017会议上。「雷克世界」将其编译如下:
1)
--if-order IF_ORDER How many frames should we 'tie' together? (default:
多尺度神经纹理合成
有关论文详情及相关代码下文详述概述。
更多样本图片
series = {SA '17},
given (default: average)
位于多伦多巷道的涂鸦
「雷克世界」编译:嗯~阿童木呀、多啦A亮
Where to find the VGG weight files (default:
组合多个格拉姆矩阵
--output-height OUTPUT_HEIGHT, -oh OUTPUT_HEIGHT
最后,将我们的研究与其他方法结合,以便在图像中构建更大的结构,例如通过寻找对称性(Berger和Memisevic 于2016年提出;Sendik和Cohen-Or于2017年提出)这也是非常有趣的。
booktitle = {SIGGRAPH ASIA 2017 Technical Briefs},
我们引入了一种新颖的多尺度方法,用于使用经过图像分类任务训练的卷积神经网络来合成高分辨率的自然纹理。以前的突破性进展是基于观察到网络中间层特征之间的相关性是强大的纹理表示,然而,网络神经元的固定感受野限制了可以合成的纹理特征的最大尺寸。
Inter-frame loss weight (default: 1.0)
在本地运行(它在GPU上运行,这样可能会很慢)
python3 synthesize.py -h
--padding-mode {valid,same}, -p {valid,same}
How much to scale the source image by (default: None)
How many images to generate simultaneously (default:
acmid = {3005379},
[--padding-mode {valid,same}] [--join-mode {average,max}]
author = {Snelgrove, Xavier},
Scale source to this width. Mutually exclusive with
SAVE_EVERY iterations (default: 10)
快速入门
-s - Path to source texture image
《艺术风格的神经算法》(Gatys、Ecker 和 Bethge于2015年著作)(https://arxiv.org/abs/1508.06576)是一篇具有开创性意义的论文,特征激活函数的“格拉姆矩阵(Gram matrix)”被用以表示纹理,总的来说,论文中有一个研究——特征的协方差矩阵 “‘条纹’特征协同‘绿色’特征一起出现的频率是多少”。这项工作引发了一个爆炸性的研究,即可以使用基于卷积神经网络的纹理和图像的表示来合成新的纹理和图像。
因此,给定一个高分辨率的源图像,为了获得最佳结果,艺术家就必须缩小图像,直到图像的特征像素尺度与网络的适当语义层相匹配。这限制了渲染图像的分辨率,并会进一步分解为具有多尺度纹理的源图像。艺术家必须选择在以牺牲其他事物的前提下获取纹理尺度。
--count COUNT, -c COUNT
[--output-height OUTPUT_HEIGHT] [--octaves OCTAVES]