外国绘画大师画风系列(布朗大学的机器人能一笔一划临摹出蒙娜丽莎)
外国绘画大师画风系列(布朗大学的机器人能一笔一划临摹出蒙娜丽莎)像人一样写字画画但研究人员也提到,目前机器人还存在不足,比如还做不到像左撇子一样从右往左进行书写。Atsunobu Kotani是布朗大学的本科生,他在老师的帮助下创建了一种深度学习算法,使机器人能够相当准确地确定使用哪种笔画,以及以何种顺序生成手写单词和手绘图像。机器人最初使用日文进行训练,随后可以用算法“自学”,自行确定笔画顺序和位置,临摹出它未见过的语言中的单词,写出包括中文、英文、印地语、韩语、希腊语、乌尔都语的文字,复制字母和笔画的精确度可达93%。机器人还可以复写一些简单的线条草图,完成了例如对蒙娜丽莎草图的临摹。在不远的未来,机器人就能在职场上帮我们记笔记、画流程图,成为我们的得力助手。
大数据文摘出品
作者:宋欣仪
书面语言是人类区别于其他生物的重要特点,有的生物可以和人类一样彼此交谈,但是只有人类可以写下有自己风格的字符:精巧的汉字,复杂的花体字母,每个人的笔迹都是独一无二的。
但现在,布朗大学研究人员研制的新型机器人的已经可以做到凭借一己之力学会像人类一样写字和画图。
Atsunobu Kotani是布朗大学的本科生,他在老师的帮助下创建了一种深度学习算法,使机器人能够相当准确地确定使用哪种笔画,以及以何种顺序生成手写单词和手绘图像。
机器人最初使用日文进行训练,随后可以用算法“自学”,自行确定笔画顺序和位置,临摹出它未见过的语言中的单词,写出包括中文、英文、印地语、韩语、希腊语、乌尔都语的文字,复制字母和笔画的精确度可达93%。
机器人还可以复写一些简单的线条草图,完成了例如对蒙娜丽莎草图的临摹。在不远的未来,机器人就能在职场上帮我们记笔记、画流程图,成为我们的得力助手。
但研究人员也提到,目前机器人还存在不足,比如还做不到像左撇子一样从右往左进行书写。
像人一样写字画画
书写是一种看似简单,实际上是精心设计的复杂动作组合过程。当写一个单词时,你必须知道在哪里落下笔,握着它画一条线,之后提起笔,结束这条线。接着在什么时候拿起你的笔,再画一条线。
模仿他人的笔迹需要学习每一个字符当中的笔触、线条宽度、书写习惯、字体倾斜程度等等因素,才能成功复制其书写。
就像机器人学习在人类看来简单的两条腿走路花了很久的时间一样,让机器人学会使用类似于人们写作方式来书写是一个非常难以实现的目标。机器不能以和人类一样的方式观察文字。比如,当人看到字母“A”时,是看到三条不同的线条,所以很容易知道要用三个笔画重现它。但是机器只能看到一组像素,而Kotani的算法可以帮助将这些像素转换为笔画,从而让机器可以像人类一样顺利写出字母。
Kotani提出的用于分析字母的深度学习网络,可以再现书写字母所需的一系列笔画,然后告诉机器人完成每个笔画要做的动作。
因为只是临摹,无须理解字符背后的实际含义,所以机器人可以写出任何语言,例如它能够用十种不同语言编写“hello”,这些语言背后使用的是完全不同的字符集。同样的方法也可以应用于任何类型的线条图,如简单的草图。这种算法可以帮助机器人在未来更好地与人们互动。
机器的学习系统包含两个不同的模型,一个是“全局”模型,它允许机器人将文字作为一个整体查看图像,以帮助它确定特定单词或角色的可能起点位置,以及如何移动到下一个单词。另一个是“本地”模型,可以帮助机器人完成当前如何处理手中的笔,即进行正确的移动,放置等。
自学成才:一笔一笔画出蒙娜丽莎
为了训练机器人,研究人员提供了一个日语字符语料库,并提供了有关字符的组合笔画应如何书写的信息。之后它自行学习创建了一个模型,该模型可以查看字符的像素并预测开始每一个字符笔画的位置,然后给出在绘制笔画时需要移动的位置信息。
这使得机器人能够写出以前从未见过的语言,这种自学能力也让研究人员也十分意外。
研究人员分别在白板上通过印地语,泰米尔语和意第绪语等各种语言写下“你好”,试图混淆机器人。结果机器人做到了通过机器视觉对每种不同的语言文字进行观察,然后分别编写单词副本,即使它之前只会写日语。除了印刷体之外,机器人还进行了英文草书的书写,结果一样出色。
机器人还可以辨别6岁孩童写下的稚嫩文字,在一群幼儿园的儿童参观实验室时,机器人轻松地模仿了这些孩子的笔迹。
图像也可以临摹,Kotani在白板上画下一副蒙娜丽莎的粗略草图之后,机器人也进行了惟妙惟肖的复写。而且和喷墨打印机不同,这台机器人画画并不是一行一行地画出来,而是可以模仿人类画画的笔触一笔一画地临摹。
但因为研究人员训练机器人用的是现代日语,书写顺序是从左到右进行,之后推广到的英语也是以相同的方向写的。所以目前机器人进行从右到左的书写还不够熟练。
尽管如此,它仍然是语言互连的一个很好证明,许多不同的脚本来自同一个人(机器人)手中。另外这也是朝着开辟人与机器之间新的沟通方式迈出的重要一步,以后人与机器也许可以通过手写文字进行交流。
“欠条”“协议”从此真假难辨?
有人说,“笔迹是人类大脑的写作”,笔迹是一个人的性格,智力水平和思维逻辑的具体反映。
比如说,有人认为如果书写时字母的一横都从左向右地往上斜,表明书写者是个乐观主义者;相反,如果字间隔或行间隔较大,说明书写者是一个悲观主义者。
其实通过GAN(生成对抗网络),AI之前就能够做到复制人的笔记,只要提前输入书写数据,让AI进行学习,随后就可以利用生成算法来模拟生成一部分假数据。之后再把两个数据交由判别算法进行辨别,这个机器类似人类笔迹鉴定专家,直到机器也判断不出真假时训练就完成了。
2017年,GeekPwn 黑客破解大赛中,一位来自中国金融认证中心的选手就曾使用AI机械臂成功复制中国科幻作家陈楸帆提供的笔迹,写下一张难辨真假的“欠条”。
写字机器人对人笔迹的仿真程度由此成为公众关注的焦点,笔迹在日常生活中广为使用,一旦不法分子可以成功将其仿造,将可能导致盗刷银行卡、签署文件造假等一系列的安全问题。
关于模仿字迹的机器人还有一些让人啼笑皆非的应用,根据哈尔滨新闻网报道,哈尔滨一名初三女生用800多元压岁钱买了一台写字机器人,用两天时间完成了语文作业的抄写,且字迹工整,没有修改痕迹。该行为随后被母亲张女士发现,张女士在一个写有“写字机器人”的包装盒中,发现了该“抄写神器”的使用说明书。说明书显示,该机器可以模仿各种笔迹进行文字的抄写,还可以画手抄报等。
最初张女士并不相信该“金属架子”可以如此逼真地模仿人的笔迹,直到该机器在纸上模仿其女儿的笔迹抄写课文时,张女士才相信作业是机器人代劳,“这玩意儿太坑人了,如果不仔细看,还真难分辨真伪。”
相关报道
https://www.wired.com/story/robot-writing/?utm_source=twitter&utm_medium=social&utm_campaign=wired&utm_brand=wired&utm_social-type=owned
https://blog.hackster.io/this-robot-can-write-like-a-human-does-ab0d14d6c165
https://www.thepaper.cn/newsDetail_forward_2998361