威尼斯在线平台为什么手势会是下一个设计爆点

日期:2019-11-10编辑作者:威尼斯在线平台

原标题:为什么手势会是下一个设计爆点?

近日,美国专利商标局公布了一系列来自苹果公司的69项新授权专利。在这份特定的报告中,介绍了苹果申请的3D人机接口发明,它能够实现用户的手势识别与交互,进而对Mac电脑的功能进行控制。

译者篇首语:

这背后是被苹果收购的以色列PrimeSense公司,它是苹果公司TrueDepth摄像头和点阵投影器(Dot projector)背后的技术支持提供商。

从语音识别、语义理解等基础技术的日臻成熟,到各大厂商纷纷发布各自的智能语音产品和语音操作平台,语音交互正在成为主流交互方式之一。但是语音交互也存在私密性差、易干扰他人等局限性,因此语音交互需要与其他交互方式进行配合组成多模交互才能发挥最大效用。而在众多其他交互方式中,手势交互符合人类自然心智模型,且已具备成熟的技术基础,无论是单独使用还是与其他交互方式组成多模交互,都能发挥良好作用,极有可能成为下一个设计引爆点。

在全球范围内,“老牌”的Leap Motion和“新生”的Untouch、uSens、微动、京龙睿信、车萝卜、光晕Halo以及极鱼科技等多家手势识别公司算是中国代表公司。

本篇文章中,麻省理工学院媒体实验室讲师David Rose结合他在全球创新设计公司IDEO的项目经历,分享了手势设计思路与方法、对手势交互的洞察以及手势交互的优势。本文基于他《Why Gesture is the Next Big Thing in Design》一文进行编译,在不改变作者原意的情况下,做了删减和编排。

从最早的消费类电子市场到如今的汽车市场,手势识别让用户能感受到“碟中谍”系列中阿汤哥在车内对空气挥手就能操作信息的场景。

导读:

威尼斯在线平台 1

01 手势交互会是下一个设计爆点

而从目前的技术发展来看,实际上自动驾驶汽车中间很重要的一环就是体验,VR技术、AR技术,所有这些技术都是用来增强用户体验的。目前,利用摄像头进行手势识别已经成为部分高端车型的配置功能。

02 如何设计手势交互模型

奥迪、奔驰、宝马、大众、福特等知名主机厂都在旗下的量产或概念汽车产品上加入了手势识别技术,但这些产品的识别率及使用流畅程度并不完美。此外,包括伟世通、德尔福以及微软、谷歌、三星等Tier1和IT公司也有发布类似产品方案。

03 手势的特点

在那些主打手势控制的车中,宝马7系无疑是一个典型代表。它可以识别6种预设手势操作,实现音量、导航、通话和空调等的设置。大众高尔夫的系统可以通过手势滑动控制菜单选项、电台、滚动播放列表和浏览媒体库,可操作选项会出现光晕提示,同时还有可视化交互反馈。

04 手势交互的优势

而在2015年初,奥迪带来了处于开发阶段的手势识别技术展示产品。有了它,后排乘客就可以通过手势来控制后排娱乐系统的各项功能。

  • 以下为正文 -

根据硬件实现方式的不同,目前行业内所采用的手势识别大约有三种:结构光(Structure Light)、光飞时间(Time of Flight)以及多角成像(Multi-camera)。其中,宝马、大众等厂商采用的ToF,英特尔的结构光技术,以及谷歌的毫米波雷达技术。

自2010年Siri(译者注:苹果语音助手)问世以来,人们越来越热衷于语音交互界面。当我们需要调节室内温度时,我们会找Alexa(译者注:亚马逊公司的智能语音助手)。当我们想播放电影时,我们会通过遥控器进行语音搜索。据报道,截至2017年底,美国家庭中已拥有大约3300万台语音智能设备。

同时,手势识别在实际落地上,也正在与中控、智能后视镜、HUD等硬件进行集成。而早前,谷歌更是宣称,无人驾驶汽车已经可以探测“数百种情况”,能自我识别交警举起的停车标志以及骑自行车的人所做的手势。

但是,语音交互存在明显的局限性。语音交互很慢,当旁人在场时会使人难为情,而且必须使用令人尴尬的唤醒词,如“Okay,Google”或“Hey,Siri”。

同时,手势识别与语音识别的集成交互,也在成为趋势。目前,国内包括思必驰、云知声等语音技术公司均有投资相关的手势识别厂商。

不过值得庆幸的是,对着空气说话,不再是我们唯一或最好的选择。

此外,目前国内多家自主品牌的下一代互联智能车载系统中,都已经将手势识别作为其中一项功能进行集成。从目前的车型规划来看,2019年发布车型有望出现手势识别的第一波高峰。

01 手势交互会是下一个设计爆点

去年奇瑞汽车举办了一场小型内部技术成果发布会,发布了一系列AR+语音控制+手势识别等人工智能技术。按照目前透露的技术路线图,这些技术有望在2018年左右陆续在奇瑞产品上量产应用。

苹果公司的新款手机所采用的摄像头(译者注:此处应指iPhone X的3D摄像头“TrueDepth”),可以感知三维空间,能记录每个像素的深度信息;而诸如Nest IQ(译者注:谷歌子公司Nest推出的智能家用监控摄像头)、Amazon's Echo Look(译者注:亚马逊推出的一款搭载Alexa语音助手的相机,可根据用户的指令来完成拍照等动作)这样的家庭设备,也配备有摄像头。神经网络可以学习这些信息,并利用更多的训练集来提升学习效果。结合神经网络,这些新型相机可以在场景中创建人物的点云(译者注:计算机视觉领域术语,指三维空间参考系下表示目标表面特性的海量点集合)或深度图(译者注:计算机视觉领域术语,指有深度信息的图片,可以表示出物体的到镜头的距离),描绘他们的运动姿势,以及运动形态。经过训练,神经网络能识别特定的人,对他们的活动进行分类,并从远处对他们的手势进行回应。神经网络和摄像头技术的进步,共同为手势设计和基于手势的交互模型开辟了新纪元。

而将于近日上市的宝马全新5系插电混动版配备了全新“五维人机交互界面”,包含了自然语音识别、手势控制、触控屏幕、iDrive系统和热敏按键。

这些新的选择带来了一个问题:在现有的交互模式中 ,触觉(触摸),声音(语音)和视觉(手势),哪一种更好?它们各自更适用于哪些场景?为什么?

Untouch(未动科技

现有用例指向了一个答案。当你在潜水、滑水、活在航母甲板上指挥交通时,听觉通道不可用,手势或触摸操作就变得重要了起来。

去年7月,Untouch正式发布4款3D视觉交互产品:3D手势识别产品——黎曼平台,3D人脸识别产品——欧拉平台,SLAM产品——笛卡尔平台,及场景重建产品——高斯平台。

在手术室内,外科医生的手是无菌的,所以她无法手动操作放射扫描仪,只能用语音和手势。如果你正在指挥管弦乐队或正在进行军事突袭,你无法喊出指令,因此,我们别无选择,必须使用手势。

全球著名的ToF深度传感器厂商PMD也宣布,选择Untouch的黎曼平台作为中间件为客户提供非接触式的交互方案,双方深度合作,推出了完整的手势识别软硬件一体方案。

在进行手势交流设计时,从查理卓别林到板球,有各种各样的资源可以启发我们。

未动科技的核心竞争优势一个是构建了智能视觉交互技术的基础性平台,另一个数以PB计的深度数据积累,二者结合保证了未动科技国内领先的嵌入式智能视觉交互技术。

(译者注:视频中展示了各种各样的手势,按出现顺序依次为:公共空间(台阶上的行为艺术、公园中的情侣)中的手势,挥动旗帜的士兵、气象播报员、隔空手势控制计算机桌面、卓别林在狮笼中的动作、舞台剧表演中的手势、指挥家的手势、手语中的手势、猜字游戏中的手势、板球中手势、音符的手势表达、瑜伽中的手势、校园中见面问候的手势、日本茶道中的手势、演唱中的手势、日常聊天中的手势、街舞表演中演员及台下观众的手势、科幻电影中的手势、哈利波特电影中的魔法手势、小丑的手势、太极中的手势、Butoh舞(日本一种另类舞蹈)中的手势,其它舞台表演中的非手势形态,星际迷航电影中外星人的手势等。)

目前,未动科技推出了车载智能视觉交互产品。该产品基于未动科技自主研发的国内顶尖的3D手势识别与3D人脸识别技术,实现车内智能座舱的非接触式手势控制、身份认证与驾驶员状态监控,从而提供一种安全愉悦的车载人机交互体验。

02 如何设计手势交互模型

未动科技正在加强和拓展与Tier1的合作关系,从而把视觉交互技术应用到更多的新车型中。

为了进一步了解手势的用途,我们剑桥工作室的团队利用了一个类似iPhone X上搭载的摄像机,进行了一系列的实验,来探索什么情况下使用手势可能是最佳选择。

uSens

首先,设计师们两人一组,给每组一个想法,然后让他们通过四只手的姿势来表达这个想法。

2016年,uSens便与戴姆勒中国IT创新实验室一起展示了最新合作成果。这个车载手势交互应用了uSens的26自由度手势追踪以及6自由度头部追踪技术,体验者不仅可以在ARVR场景中观察3D汽车模型的内外部细节,而且可以进行交互。

威尼斯在线平台 2

uSens和Leap Motion采用的是相似的原理,都是使用复数的红外相机来识别人手的运动。公司把这款自研的搭载红外相机的手势识别模组称为Fingo。

IDEO设计师两人一组用手势表达想法

uSens在2017年2月正式公开发售其手部追踪解决方案——Fingo。Fingo集成软硬件为一体,硬件上通过两个红外摄像头及三个红外辅助灯追踪手部动作,软件上基于计算机视觉及深度学习等算法,实现对双手骨骼的识别,大部分常用手势均可实现精准低延迟识别。

然后,两人相互讲故事。利用计算机视觉技术记录他们讲述的故事,并实时跟踪他们在讲述时手势,以研究什么时候我们会自然地通过手势来增强情感或者解释某个概念。

随后,uSens发布新版Fingo SDK,在手势算法底层进行了改进,新增一系列双手交互动作,如握拳、手心写字、十指交叉等,在同类产品中,率先实现对大面积遮挡的双手交叠类手部动作的识别,并可实现对十个手指的细微运动追踪。

跟踪手势如何帮助讲述生活中的故事

微动Vidoo

本文由威尼斯在线平台发布于威尼斯在线平台,转载请注明出处:威尼斯在线平台为什么手势会是下一个设计爆点

关键词:

都藏着地球母亲的排泄物,美国绘制一张全球空

原标题:眼见为实!你吸入的每一口空气中,都藏着地球母亲的排泄物   美国是世界超级大国,拥有着数量惊人...

详细>>

羊城盛事,全自体肋软骨移植新技术

论坛现场可谓医美版的“不肯去观音院论剑”,高手过招,必然要挖出“真技巧”。33院司长均是老牌子国内外“教科...

详细>>

赞赏支持科普,欢迎转发

原标题:新一代AI顾泽苍:自组织概率模型SDL主导的机器学习(公号回复“顾泽苍AI”下载PDF资料,欢迎转发、赞赏支持...

详细>>

阿诺医药与中国医学中国科学技术大学学药物切

伪造到CRO更合乎完成研究开发中规范流程的片段,但研究开发进程充满种种不可预感性,相当多环节须求回看、重新...

详细>>