布朗大学研究人员开发的新软件系统将手机变成增强现实门户，使用户能够将虚拟积木，家具和其他物体放置在现实背景中，并用他们的手来操纵这些物体，就像它们确实在那儿一样。
开发人员希望这种称为Portal-ble的新系统可以成为艺术家，设计师，游戏开发人员和其他人尝试增强现实(AR)的工具。该团队将在本月下旬在新奥尔良举行的ACM用户界面软件和技术研讨会(UIST 2019)上介绍这项工作。Andriod的源代码可在研究人员的网站上免费下载，而iPhone代码将很快推出。
布朗计算机科学助理教授杰夫·黄(Jeff Huang)和他的学生一起开发了该系统，他说：“ AR将成为一种很棒的交互新模式。”“我们希望制造出使AR便携式的产品，以便人们可以在任何地方使用而无需笨重的耳机。我们还希望人们能够用手自然地与虚拟世界进行交互。”
黄说，Portal-ble“动手”交互的想法源于对Pokemon GO等AR应用程序的不满。AR应用程序使用智能手机将虚拟对象(例如Pokemon角色)放置到真实场景中，但与这些对象进行交互需要用户在屏幕上滑动。
黄说：“刷卡并不是一种令人满意的互动方式。”“在现实世界中，我们用手触摸对象。我们打开门把手，捡起东西并扔东西。因此，我们认为用手操作虚拟对象比刷卡要强大得多。这就是Portal-ble的不同之处。”
该平台利用安装在手机背面的小型红外传感器。该传感器跟踪人的手相对于虚拟物体的位置，使用户能够捡起，旋转，堆叠或放下物体。它还使人们可以用双手虚拟地“绘制”到真实的背景上。作为演示，Huang和他的学生使用该系统在Brown's College Hill校园的绿色花园中绘制了一个虚拟花园。
Huang说，这项工作的主要技术贡献是开发合适的适应性和反馈工具，使人们能够与虚拟对象进行直观的交互。
Huang说：“事实证明，如果您尝试应用现实世界的物理原理，那么拾取虚拟对象确实非常困难。”“人们试图抓住错误的地方，或者他们用手指穿过这些物体。因此，我们必须观察人们如何尝试与这些物体进行交互，然后使我们的系统能够适应这些趋势。”
为此，Huang招募了他正在教的一堂课中的学生来提出他们可能在AR世界中想要完成的任务-例如，堆叠一组块。然后，学生要求其他人尝试使用Portal-ble执行这些任务，同时记录人们可以做什么和不能做什么。然后，他们可以调整系统的物理结构和用户界面，以使交互更加成功。
Huang说：“这有点像人们在Photoshop中画线时发生的情况。”“人们画的线从来都不是完美的，但是程序可以使它们平滑并使其完全笔直。这就是我们试图用这些虚拟对象进行的调整。”
该团队还添加了感官反馈-物体和手机振动的视觉重点-使交互更容易。黄说，他对手机的振动帮助用户互动感到有些惊讶。用户在握住手机时会感觉到振动，而不是实际上正在抓住虚拟物体的手感觉到振动。Huang表示，振动反馈仍然可以帮助用户更成功地与物体进行交互。
在后续研究中，用户报告说，系统使用的适应性和反馈使任务明显更容易，更省时，更令人满意。
Huang和他的学生计划继续与Portal-ble合作-扩展其对象库，改进交互并开发新活动。他们还希望简化系统，使其完全在手机上运行。当前，红外传感器需要红外传感器和外部计算棒以提供额外的处理能力。
Huang希望人们下载免费的源代码并自己尝试。
他说：“我们真的只是想把它放在那里，看看人们如何处理它。”“该代码位于我们的网站上，供人们下载，编辑和构建。看人们如何使用它会很有趣。”
观看Portal-ble的视频：https://youtu.be/ZYMjhKMpNXk
该研究论文的合著者是钱静，马佳菊，李向宇，本杰明·阿塔尔，赖浩明，詹姆斯·汤普金和约翰·休斯。这项工作得到了美国国家科学基金会(IIS-1552663)的支持和皮克斯的礼物。