美院高材生,能否三天会开发混合现程序?看MrPP.com 平台如何实现。

去年年底,和某混合现实设备设备以及中某美术学院合作的,在某美进行的一次为期三天的混合现实课程,期间使用了http://MrPP.com 混合现实编程平台,虽然还有很多不足,但是也证明了在教育这个行业上混合现实和我们自己平台的一些潜在价值,期待有合作,有投资进来。一起开创混合现实的未来。

腾讯云视频点播示例

为尊重合作方版权,特重新做了一版本非营利性质纪录片,http://MrPP.com 平台和某美术学院基于某设备的合作视频。就算如何修改,未必能让众人接满意。如有不对,再沟通,再改。

坚持,努力,把事情向前做。

有缺点,改正;有生命,坚持。

一切都会向更好的方向前进,加油。

混合现实设备横向比较

2019年就要结束了,随着HoloLens 2的发布,整个混合现实行业迎来了一个小春天,国内外也有大量的新的设备进入市场,对于开发人员和使用者来说,在不同的设备之间如何选择成为了一个很重要的问题。在这里,我们把我们拥有的一些设备尽量客观地展示给大家。

HoloLens

  • 参数:
    • 发布日期: 2015年1月22
    • 价格:开发版:3000美元,商业版:5000美元
    • 成像方式:光栅光波导
    • 视场角:30° X 17.5°(对角线34.73°)
    • SLAM:结构光
    • 输入:凝视,简单手势,英文语音,蓝牙click
    • 系统:定制版本的Win10(X86)
  • 简介:混合现实设备的开山鼻祖,开创了整个行业,再发布后的三年时间无一竞争对手。
  • 优点:光波导技术成像和结构光SLAM的实现,成为了整个行业的风向标,三方视角的发明,全息UI的一些试验性工作,也是给整个混合现实领域带来了宝贵的财产。
  • 缺点:因为制造工艺的原因,视场角(FOV)太小,在使用的时候带来的负面作用明显。重量设计不合理,佩戴头重脚轻。结构不合理,在长时间使用之后带子必然会断掉。
  • 开发:早期提供了HoloToolkit工具包,后来进化到MRTK和MRTK v2,都是很方便的开发工具。和vuforia的官方配合,带来了很棒的使用经验。但三方视角的开发一直是鸡肋的选择,传统设备太贵,所以后期发展出通过iPad和iPhone作为三方视角平台的版本。

HoloLens 2

  • 参数
    • 发布日期: 2019年2月25日
    • 价格:3500美元
    • 成像方式:衍射光波导
    • 视场角:43° X 29° (对角线 51.8°)
    • SLAM:基于结构光对场景建模
    • 输入:实时手势捕捉,眼动,语音输入(包括中文)
    • 系统:定制版本的Win10(ARM64)
  • 简介:目前尚市场上最好的混合现实设备,继承了HoloLens 1 的硬件市场和软件体系,目前也是市场上接受度最高的设备。
  • 优点:改善了一代设备的大部分问题,首先是视场角的大幅度扩大,已经不再是对感官影响的重要因素了。然后因为电池部分移到整个设备的后面,整个设备重量更加均衡,佩戴也非常舒适。整个面罩可以向上打开,对于开发者调试方便了很多。然而最棒的莫过于实时跟踪的手势操作,让输入非常直观,任何人都可以直接上手操作。
  • 缺点:新采用的衍射光波导技术并未想象中的成熟,第一批拿到的设备,颜色偏色比较严重,亮度不均匀且越接近边缘越模糊。如果调高亮度能掩盖一部分颜色偏色的问题,但又对眼睛比较刺激。能否在之后的设备中改善,还有待观察。
  • 开发:MRTK v2 开发包的野心非常大,希望成为一个VR + AR +MR 的通用开发包,里面提供了方便且漂亮的开发组件,对整个开发行业也产生了巨大的影响,从这里开始学习开发应该是一个不错的选择,另外设备采用了ARM64的UWP构架,很多基础库对这个环境的支持并不好,所以如果你有很多额外的需求,比如Lua脚本的调用什么的,自己要打包好ARM64的UWP版本才好。最后提一下就是采用了type-c的接口带来了便利和更多扩充的可能性。

Magic Leap One

  • 参数:
    • 发布日期: 2018年8月8日
    • 价格:2000美元
    • 成像方式:光栅光波导(6层)
    • 视场角:40° X 30° (对角线50°)
    • SLAM:结构光
    • 输入:基于磁定位的手柄、静态手势、手机、眼动仪
    • 系统: Lumin OS  (安卓定制)
  • 特点:唯一能够正面媲美HoloLens系列设备的挑战者,硬件和体验都有可圈可点的有点,但是因为之前吹的太过,承诺的光场成像没有承诺,再加上运营风格过分花哨,所以导致口碑不是很好。但设备确实不弱,国内阿里巴巴也参与的相关的投资,并得到了独家代理权。但国内迟迟没有动作让开发者们望眼欲穿。
  • 优点:目前MR设备中最好的显示方式,6层镜片(两个三元光)实现了两个不同距离的成像。和HoloLens 2 相差不多的可视角却相对更准确的颜色呈现。基于磁力的手柄能准确的提供绝对的空间位置。
  • 缺点:最大的问题莫过于没办法直接带眼镜使用,这就等于放弃了很多应用场景,说白了Magic Leap One更适合作为私人设备而不是公共设备。分体式设计虽然减轻了眼睛重量但相对于一体化的机型并不方便。
  • 开发:系统采用的是定制版本的安卓 Lumin OS  ,开发包是自己提供的 Lumin SDK,和安卓原生开发有一点区别但区别不大,之前的一个问题是没有集成到vuforia,但最新发布的 vuforia 已经明确提供了相应的支持。文档比较完善,总的来说开发还是很友好的。

nreal

  • 参数
    • 发布日期: 2019年5月31日 (开发套装)
    • 价格:499美元(独立眼镜),1199美元(开发套装:眼镜+发者盒)
    • 成像方式:光学反射
    • 视场角:52°(对角线)
    • SLAM:光学定位
    • 输入: 3DoF 触控板,手机输入。
    • 系统: 安卓
  • 特点:nreal更倾向于是一个独立的显示设备,它可以使用手机作为自己的运算单元,即可以让用户灵活配置,又能大大降低眼镜本体的价格。在同等价位的设备相比体验更好。
  • 优点:用比较亲民的技术实现还不错的体验,性价比极高是这个设备最大的优点,很多领域如果需要大规模采购设备的话nreal是一个比较好的选择。
  • 缺点:眼镜发热严重,如果不带鼻托直接佩戴,长时间使用会让人有点难受。
  • 开发:纯正的安卓系统,对安卓的开发者及其友好,但不支持 vuforia 。之际实现的图像追踪系统还不是很强大。

Action One:

  • 参数
    • 发布日期: 2018年6月13日
    • 价格:6999人民币
    • 成像方式:光学反射
    • 视场角:45°(对角线)
    • SLAM:光学定位
    • 输入: 手柄,手势,语音
    • 系统: 安卓
  • 特点:国内最最早量产可用的混合现实设备,在教育领域上已经打出了自己的一片江山。
  • 优点:国内最早的量产混合现实设备,在教育领域上已经有一定成绩。
  • 缺点:因为出产较早,很多技术相对已经显得保守。 把这一产品放在这里比较有一些不合适,因为目前来说影创公司的重头戏应该是二代产品“即墨”。
  • 开发:也是安卓系统,所以开发还是很方便的,自己提供的sdk支持了 vuforia。

其实在这即将过去的2019年里面,国内外还有很多混合现实设备出现,在这里我们之所以介绍了这五个设备,第一个原因是这五个设备在自己的领域上都有自己的擅长,另外就是我们的混合现实编程平台(MrPP.com)是已经包含了这五种设备的支持,大家可以很容易的在我们的编程平台上实现这个设备相应的内容。

回首这两年混合现实行业,展望未来。我们站在了一个即将爆发的行业的十字路口。 时来易失,赴机在速。加油,祝各位大展宏图。

腾讯云视频点播示例

中国大陆 HoloLens 2 第一篇开箱报告

定制开发 HoloLens 2 程序

第一时间拿到了HoloLens 2 ,体验了目前最黑的黑科技。之前我们也做过一些简单的评测,但这次因为时间比较充足,深入的体验了HoloLens 2 并做了相对客观的一些了解。

  1. 优点
  2. 缺点
  3. 开发人员有那些需要注意的
  4. 未来展望
腾讯云视频点播示例

一、优点

视角明显增加

上一代产品的视角(Fov)是被诟病的最大问题,很多时候用户因为佩戴的位置问题,导致无法看到目标。这一带产品纵向扩大接近两倍,已经不会成为用户体验的干扰。这一点就已经值得鼓掌。

整体造型的进化

一代产品的重心设计有问题,会导致头重脚轻,一直向前滑。二代产品聪明的将电池放在了脑袋后面,和主机成为了对称的重量匹配。虽然整体重量并没有明显减少,但佩戴明显舒适很多。

另外一个从一代保留到现在的优点是用户可以在带眼镜的情况下佩戴设备,对很多场景来说这个是一个刚需。

最强的输入

毋庸置疑,手势直接输入是这一带产品最大的优势,是所有其他混合现实设备所无法比拟的重要特性,你可以直接用手去操作虚拟物体,这给用户快速学习使用设备带来了很大的好处。

被人忽视却很重要的特性

这里有一个非常容易被忽视的重要特性,是专业眼动设备的整合。在微软的选传中也被轻描淡写的作为了输入的辅助设备来宣传。

但实际上,对瞳孔的捕捉是让虚拟物体和真实物体完美匹配的重要输入源头,只有准确捕捉了瞳孔位置才能给用户一个真假难辨的混合现实空间,同时市场上也只有HoloLens 2和Magic Leap One这两款设备能做到这点。这个特性足以秒杀其他混合现实设备一个时代。

二、缺点

色差问题

因为采用了新的成像方式,带来了一个不是很明显但影响很大的色差问题,当虚拟物体呈现一个大面积明亮的单一颜色的时候,会看到一些红绿的花纹,在某些时候是影响体验的。

说一个主比较观的话,目前Magic Leap One 的显示模块至少在颜色还原上还是第一名。

至于这个问题是否影响到你的体验,我觉得还是见仁见智的问题了。

视角很大,但仍然有进步的空间

视角明显扩大,但并没有大道让用户忽略的情况。当然这也是目前市场上视角最大的波导成像的混合现实设备了,期待制造工艺的进步吧。

还有一点就是亮度增加导致我在拍摄开箱的一段时间后开始流泪,因为我不确定这是否是我的个人问题还是可以通过调暗成像避免的情况,所以就不单独列出来了。

三、开发人员需要注意的事项

MRTK V2 开发很方便

MRTK第二代的野心很大,他希望统一所有的XR(VR/AR/MR)的底层。开发过程也很方便(在我们http://MrPP.com提供了相应的教程)。但同时因为仓促的关系,一些重要的特性还没有提供,让我们继续期待。

从x86进化到ARM64

对于开发者最重要的是要了解CPU构架的改变,之前的App都不可以直接运行过来。但凭借Unity3D本身优秀的跨平台功能,基于MRTK 2 的程序可以很容易的编译成不同平台的应用。但是你要注意了,以前你使用的底层库,比如脚本和网络等,如果没有ARM64版本的话会给你带来很大的麻烦,同时UWP ARM64确实是一个很小众的平台,很多库可能并不提供官方支持。

四、未来展望

我们是国内制作HoloLens 产品数量最多的团队,从2016年开始接触HoloLens定制开发服务之后,大部分的产品都是基于展示和体验的居多。

我们相信对于混合现实行业有两个重要的节点。

其一是2019年底以微软 HoloLens 2的出现,带来整个行业从高可以演示过渡到实际应用领域,对于工业和商业的一些方向已经可以出现一些真正落地和盈利的产品。

第二个节点将会是 (预期) 2023年苹果的头戴式AR设备发售,需要体验的提升和成本的降低带来消费级产品的诞生,让整个行业实现从B端到C端的过度。

不仅对于微软,苹果和Facebook这种大厂,我们也认为混合现实设备的重点是作为手持设备(手机)的替代产品而出现。对于我们从业者要做到两点,首先是能提前进入布局自己的能量,第二是坚持活到整个行业的爆发。

加油吧各位。

定制开发 HoloLens 2 程序

HoloLens 2 程序开发(配置基础环境)

定制开发HoloLens 2 程序

HoloLens 2 终于发布了,很多朋友也拿到了机器。开发者们都跃跃欲试的相要一展身手了吧。Mr.P.P. 的这篇文章希望能够帮助大家能在最短的时间内完成一个HoloLens 2 的程序开发和运行工作。

腾讯云视频点播示例

在这篇文章您将了解到。

  1. 配置HoloLens 2 开发环境。
  2. 下载并安装MRTK v2 (HoloLens 2 开发包)
  3. 配置构建环境
  4. 创建场景
  5. 构建并安装App到 HoloLens 2中。
  6. 运行并体验

一、配置HoloLens 2 开发环境。

在开始正式的工作前,您需要下载并安装以下工具和软件作为开发的基础环境。

  1. Visual Studio 2019
  2. Unity 2018.4.x, 2019.1.x 或者 2019.2.x
  3. Windows SDK 18362+.

这里有两点需要注意的,第一是Unity建议尽量安装最新的版本,因为有一些引擎特性可以方便我们在HoloLens 2 上面实现很多有趣的功能。另外一点是很重要的,先安装Windows SDK到一个比较短的目录中,再安装Visual Studio 2019,因为如果在中文系统中,默认安装SDK的话会导致目录名太长而让我们的App无法找到相关文件。


二、下载并安装MRTK v2 (HoloLens 2 开发包)

在GitHub上面下载最新发布的MRTK v2 。这里有四个 unitypackage 文件。

  1. Microsoft.MixedReality.Toolkit.Unity.Examples
  2. Microsoft.MixedReality.Toolkit.Unity.Extensions
  3. Microsoft.MixedReality.Toolkit.Unity.Foundation
  4. Microsoft.MixedReality.Toolkit.Unity.Tools

其中 Foundation 是基础包,需要第一个安装。然后依次安装 Examples (例子), Tools (工具), Extensions (扩展)。

你可以通过Unity菜单中的  “Asset -> Import Package -> Custom Package”选项来打开这些文件导入,也可以直接双击文件导入。

在导入 Foundation 的时候,Unity会提示我们进行一些设置,

我们选择Apply。


三、配置构建环境

然后下一步我们就要设置工程的构建环境了。

首先是Build Settings界面

Platform选项口选择Universal Windows Platform(UWP)。右面选项分别选择:

  1. Target Device:HoloLens
  2. Architecture:ARM64
  3. Build Type:D3D Project
  4. Target SDK Version: 10.0.18362.0(或者更高)
  5. Visual Studio Version: Visual Studio 2019
  6. Build configuration: Release

配置完上面之后选择Player Settings进行进一步设置。

选择XR Setting,打开Virtual Reality Supported,添加Windows Mixed Reality。

Public Setting 里面,把Package name 修改成你需要打包文件的名字。然后再Capabilitles选项卡中,打开InternetClient,InternetClientServer,WebCam,Microphone,SpatialPerception 五个功能卡,分别负责网络功能,摄像头,麦克风,以及场景扫描。

最后在Supported Device Families中打开Holographic选项。


四、创建场景

然后我们就开始创建我们的HoloLens 2 的第一个场景。在Unity菜单上选择File->New Scene 创建新的场景。

MRTK给我们提供了快速初始化场景的工具。我们可以在菜单上选择 Mixed Reality Tools -> Add to Scene and Configure

MRTK v2 会帮助我们初始化整个场景,我们可以先运行一下看看效果如何。

系统会显示一个调试窗口,显示帧率内存等信息。同时如果我们按下Shift按键,系统会模拟一个手势输入的模型,可以通过鼠标来模拟手势的操作。


五、构建并安装App到 HoloLens 2中。

选择File->Build Setting窗口,按下Build按键,选择目录生成 Visual Studio 工程。然后选择 Visual Studio 2019 打开工程sln配置文件。

这里需要配置以下 HoloLens 2的环境。我们打开HoloLens 2,在Settings 下面给选择 Update & Security 选选项卡,然后再选择 For developers,打开开发者选项。并点击Pair,记录下机器的Pin码。

然后我们就可以用 Type-c 的线把电脑和HoloLens 2 链接。

Visual Studio 2019 的编译选项分别设置为Realease/ARM66/Device。

然后选择 调试->开始执行(不调试), 就会进入很长的一段编译时间,如果顺利的话最后会提示我们输入HoloLens 2 设备的 Pin 码。输入我们刚才记录的Pin 码,就会自动运行我们刚才做的程序。


六、运行并体验

体验我们的成果吧。

恭喜您完成了第一课程,可以开始正式的进入到HoloLens 2 的开发者行列中来了,我们将在 http://MrPP.com 之后的教学视频中给予大家更多的相关开发知识。期待和你更多的交流。

定制开发 HoloLens 2 程序