图像语义编辑。例如将眼睛与嘴巴放大,对马的胖瘦调整
去除人脸马赛克。眼中有码,心中无码”是境界,“图上有码,脑补解码”就是PULSE算法了。 PULSE 算法目前只支持人脸的马赛克“去除”,因为训练数据都是人脸。
视频运动放大。视频运动放大技术是一种从视频到视频的滤波处理,可以使我们能够看到在视频中肉眼看不到的小的运动,例如振动飞机机翼的动作,或者在风的影响下摇摆的建筑物等。
P图神器。通过简单涂鸦,就可以调整图中人物的眉毛、鼻梁、脸型、嘴型眼睛大小,当然头发也是可以生成的(光头变成浓密秀发~),另外还可以生成耳饰。
拍照做题。输入一张包含数学计算题的图片,输出识别出的数学计算式以及计算结果。 请查看系统文档说明来运行程序。注意,这是一个半开源的项目,目前上传的版本只能处理简单的一维加减乘除算术表达式(如果想要识别更加复杂的表达式,可以参考数学公式识别的论文)。可以参考的代码是前面字符识别部分以及整个算法处理框架。
视觉迁移模型。谷歌发文介绍了其BigTransfer(BiT),称其为目前最先进的预训练模型,在分类问题中仅需要每个类少量几个样本即可达到极其优秀的性能。事实上,在ImageNet预训练的ResNet50系列模型是当前的工业标准,用于提取图像特征。在谷歌在论文 BigTransfer (BiT) 中分享的模型则可以轻松打败ResNet50,尽管数据量很少。
语义软分割。语义软分割(Semantic Soft Segments),旨在精确表示图像不同区域间的软过渡. 类似于磁力套索(magnetic lasso) 和魔术棒(magic wand) 的功能. 普通语义分割将每个像素分配到一个类,语义软分割中则每个像素有可能分配到多个类,且目标之间的过渡区域平滑,这对于图像编辑是非常重要的。以往这需要专业的PS人员处理,而通过软语义分割,将这个过程实现自动化。