这引人联想的机械右手！玩转魔方，灵活不输人类，OpenAI：前所未有

边策 鱼羊 发自 凹非寺
量子位 报道 | 公家号 QbitAI

OpenAI官方为这只AI机械手感动了： [原创文章：www.ii77.com]

“机械人的空前未有之境，就算人类也难以做到。”

[原文来自：www.ii77.com]

说的啥新进展？单手玩魔方。

比拟之下，人类新手能稳稳拿住魔方都不轻易：

并且不光玩得转魔方，绑缚Play也不在话下。

没人敷陈它该怎么调配手指，还需要战胜人类强行使的各类绊子，但AI机械手能够随时调整络续进修，最后最短时间内完成魔方翻转。

这就是OpenAI用强化进修最新练习出的AI系统。

而且，照样单手把持。

视频一经放出，敏捷蹿红推特，揽下6000+点赞，网友惊呼：

AI玩魔方都玩得比我好了！

这事儿不简洁

且不说量子位如许的手残党，单手恢复魔方，对于通俗人类而言也并不简洁。

不信的话，随便拿起身边一个直径6厘米的块状物体，单手转起来。小心拿稳了，砸到脚还挺疼的（别问我怎么知道的）。

而对机械手来说，问题就更复杂了。

机械手远没有人手如许天真，抓取力度掌握也挑战不小。

就算是“媲美”人手，能使用的场景或泛化迁徙能力，也道阻且长。

好比这位MIT工程师，就吃过大亏：

△生活大爆炸

而更大的挑战，是实际世界中复杂的物理参数。

在玩魔方这个义务傍边，机械手跟魔方之间的摩擦力、弹性和其他动力学身分都很难测量，更别说精美建模了。

而且，在模拟仿真情况中练习出来的AI，面临复杂多变的真实物理世界，是否能连结鲁棒，也是一个大问题。

好比说带个橡胶手套，摩擦力就变了：

两个手指被绑住，难度也会与模拟练习时大大分歧：

甚至或者会跑出来一只长颈鹿，试图叼走魔方：

如斯各种，使得sim2real（从模拟情况到实际情况）变得非常难题，仅凭曩昔的域随机化（Domain Randomization）算法（见注）已经不足以解决。

注：域随机化（Domain Randomization）由OpenAI提出，可以建立具有随机属性的各类模拟情况，并练习可在任何情况中工作的模型。
论文地址：https://arxiv.org/abs/1710.06537

所以机械手玩转魔方，真真是一次力与美的连系、灵与器的共舞。

而OpenAI的焦点窍门，在于进一步斥地了一种新的算法，称为主动域随机化（ADR）。

当然，机械手的组织也来头不小。

先看神奇之手的硬件构造

OpenAI的机械手，装载一个伟大的支架中。

在这个支架里，包含一个PhaseSpace活动捕获系统、一个RGB相机。机械手的每个指尖上都有一个LED灯，系统就是经由这一组灯来捕获机械手的动作。

操作魔方的机械人手来自影子机械人公司（Shadow Robot Company），基于旗下 Dextrous E系列机械手打造。

这原本是一家想做双足机械人的公司，因为发现本身的水平远不及本田已经造出的机械人，于是弃脚从手，转而去斥地机械手，并造出了世界上第一台拟真机械手。

△ 影子机械人公司斥地的机械人

具体构造上，Dextrous有20个可驱动的关节：中指和无名指各有3个驱动关节和1个非驱动关节，小指和拇指有5个驱动关节，以及一个有2个驱动关节的腕部。

为了“玩转魔方”，OpenAI和影子机械人公司，还合作提高了机械手组件的坚硬性和靠得住性。增加了手的握力，并减小了肌腱应力，而且调整了关节之间的交联，最大水平地减小了扭矩的限制。

与人类“十指连心”雷同，他们除了在机械手上安装了位置和力传感器，还在指尖上安装了超活络的触摸传感器，以达到接近人手的结果。

实验顶用到的魔方也不是通俗的魔方。

不少米粉或许也会感觉眼熟，它是小米的计客超等魔方（GiiKER cube），内部有可感应偏向的蓝牙与活动传感器。

计客超等魔方具有90度的面角差别率，但OpenAI团队对其进行了点窜，将精度提高到了大约5度。

再看软件算法功力：从模拟到实际

固然我们看到拧魔方是在实际的机械手上发生的，但实际上这一过程首要发生在模拟软件中，然后将AI从模拟中进修到的器材转移到了实际世界中。

OpenAI在机械手上用到了两大法宝：

一个是曾经打败Dota 2世界冠军团队的AI系统OpenAI Five；

另一个是主动域随机化（ADR，Automatic Domain Randomization）。

ADR会络续在仿真中生成越来越难题的情况，使系统解脱正确模型对实际的束缚，从而使模拟情况中的神经收集可以迁徙到真实世界。

这里提到的情况中的随机化是什么呢？

个中包罗模拟器考虑到的物理特征（如几许外形、摩擦和重力），以及模拟器未能考虑到的一些物理效应。

好比魔方的巨细，就是随机化参数之一。

△ADR在魔方巨细上的应用

此外，还有照明前提之类的视觉元素、相机位置和角度、物体的材料和外观、配景纹理甚至是衬着图像的后处理结果。

研究人员透露，这项研究的主要意义在于：一旦弄清楚若何在仿真中练习这些模型，就能够有效地获取无限数据，然后将模型迁徙到机械人上，在实际世界中行使它们。

既然是用强化进修，必然会涉及到奖励机制，OpenAI团队在这个实验中界说了三个：

1. 系统当前状况与方针状况之间的差别；
   

2. 杀青方针时赐与奖励；

3. 每当手中魔方掉落时就受到责罚。

为了系统测试每次翻转魔方成功时间，OpenAI还测量了神经收集在分歧扰动下的究竟，好比重置收集的内存、重置力或断开关节等等。

并且这种“练习”以虚拟仿真为主，可以在受控的情况中平均进行1万多次试验。

最初，跟着神经收集成功实现更多翻转，成功的时间会络续缩短，神经收集学会了适应。

从究竟上来看，机械手成功翻转魔方的时间，会越来越短。

尽量添加新干扰、情况有转变，机械手也会调整策略，从新进修后敏捷达到最佳基准。

所以这支神奇之手，如今事实达到啥水平？

最最最难情形下——一方面是需要扭转26次魔刚刚能完成，另一方面到场最大外部扰动，机械手成功率20%。

但若是是扭转15次就能完成魔方复原的“平均情形”，机械手成功率就能不乱在60%。

值得一提的是，这也是人类在该偏向上的新测验、新记载，打开了新前景。

腾讯AI也挑战过魔方

OpenAI挑战魔方，倒不是突发奇想。

从客岁起头，他们就已经在推进前序工作，其时斥地过一个灵便的机械手系统，叫做Dactyl。

不外那时OpenAI用它“盘”木块，尺寸比如今的魔方小一些，并且也没有迁移部件。

只要敷陈机械手方针，不必敷陈它具体把持步伐，它就能给你把木块转到指定的偏向上，并且这套系统也是是在模拟器里练习出来的强化进修算法。

除了OpenAI，还有来自中国的玩家。

最知名的是腾讯。本年岁首，腾讯AI与香港中文大学合作，进行了一项模拟实验。

实验有点雷同OpenAI的“软件”部门：在虚拟情况中，用一只机械手解决魔方问题。

在腾讯厥后揭橥的论文究竟里：1400次试验过程中平均成功率达到了90.3％，而对AI模型再练习3万次，成功率会提高到95.2％。

而如今OpenAI更进一步。

在不牺牲正确性和鲁棒性的情形下，成功地将模拟实验转移到了实际世界的机械手上。

比方来说，就是腾讯AI在这件事上焦点练了口诀和心法，而OpenAI如今把拳脚也练完了，软硬连系，下一步会更有想象空间。

OpenAI本身也坦承，这只神奇之手，会鞭策通用机械人。

花钱费电：64个V100

一起头也介绍过，这项研究究竟一发布，就引起收集热议。

如许一只天真又机智的机械手，首先让网友纷纷联想到了终结者。

有网友说：

它让我感应鹅妹子嘤/瑟瑟股栗的，是它用一种让人感受既熟悉又完全生疏的体式，在执行人类运动。

不外，比起这些，OpenAI此次的练习投入，更是每一秒都在让经费熊熊燃烧。

他们使用了64个V100和920台32核CPU的主机，而且一连练习了好几个月，如许的练习成本，就够让人瑟瑟股栗的了。

若是有人高兴，那也是英伟达老板黄教主。

所以你又怎么看这项酷酷的新进展？

迎接说说你的设法。

传送门

官方博客：
https://openai.com/blog/solving-rubiks-cube/

论文地址：
https://d4mucfpksywv.cloudfront.net/papers/solving-rubiks-cube.pdf

腾讯与港中大相关研究：
https://arxiv.org/pdf/1907.11388.pd

— 完 —

运动介绍 | 品玩2019科技立异者大会

2019年10月25日，PingWest品玩2019科技立异者大会 - 杭州站。阿里钉钉、阿里平头哥、蘑菇街、云浪生、驭势科技、VIPKID等都手艺大咖都未来到现场，分享财富实战案例。免费票限时预订中，点击小法式即可报名。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI手艺和产物新动态

喜欢就点「悦目」吧 !