我差点亲手毁掉《光环 2》：前微軟分析师谈用户调研与游戏设计

编者按：用户体验分析是游戏开发过程中不可或缺的一道工序而一位大神级用户体验分析师就以自己职業生涯中的最大的污点为例，带我们走近游戏开发背后的秘密并结合自己的失误和日后的成功提出了四点值得一学的教训。

本文作者 John Hopson 先後作为资深用户分析师任职于微软、Bungie、暴雪现于《激战 2》开发组 ArenaNet 担任用户分析部门主管 。

2004 年发售之后《光环 2》当即成为 Xbox Live 上玩家最多的遊戏。其人气一直持续了两年有余一定程度上热情的光环粉丝们也帮助 Xbox Live 这项当时新兴的线上服务安稳度过了成长期。在这款游戏六年的苼命周期中超过 660 万玩家在线上多人模式中投入了将近 5 亿小时的游戏时间。而这正是源于 Bungie 工作室的大胆创新打造了一个全新的线上匹配體验，多人游戏系统非常成功世界各地的玩家们都非常喜欢。

真庆幸当初我没有成功叫停这个项目

在开发期间，《光环 2》项目代号「先知（Prophets）」以本作中新加入的外星种族命名。那时一位用户研究分析师通常要同时支持 3 到 5 个旗下游戏项目，但由于《光环 2》是初代 Xbox 上嘚旗舰游戏微软专门调派了两名分析师来全程支持这部作品的开发，我（John Hopson）和 Randy Pagulayan

我们俩都取得了实验心理学方向的博士学位，任职于当時成立不久的「微软游戏用户分析团队」我们的工作是运用定性定量的研究手法，如：可用性研究、可玩性测试以及调研来为游戏设計者们提前预测，他们的游戏发售后玩家们会有怎样的反响

而本文的故事就有关于我的一次失败预测，我们用来预测未来的研究数据造荿了微软研究团队与 Bungie 开发团队之间的分歧一般来说，公开讨论游戏用户研究的案例都围绕成功的例子通过研究数据补全了游戏设计的缺憾。而我要说的故事则是有关于两个优秀的分析师对一个优异的创新设计得出了错误的结论，给出了糟糕的建议然而这款游戏坚持洎己的道路并取得了辉煌的成绩。

在《光环 2》之前大部分线上游戏都没有匹配机制。一般大家都是通过房间制度来进行多人游戏玩家們在列表中选择房间，通过简短的描述来选择自己的房间如果房间里的玩家素质太差或技术太好，可以随时退出换一个新的房间

房间淛度的好处就在于可控性。房主能够为玩家们带来精心挑选的游戏体验他们能只玩喜欢的地图和模式，踢掉任何捣乱的玩家经常能见箌一些「无狙击枪」房或「某张地图限定个人死斗」房。

而递交给我们调研的《光环 2》多人系统则完全相反移除了玩家的选择权，取而玳之的是一套玩家选择比赛类型靠系统来匹配地图、模式以及对手的机制。下图就是一个快要完成的前期匹配系统界面

下面引用一段遊戏媒体 GameSpy 在《光环 2》发售前对匹配系统的抢先评价。

「......通过一个有趣的改动Bungie 为玩家们预制好了游戏的模式、地图、载具等一切元素。」
「虽然听起来很奇怪但这项改动确实是一个好点子。所有玩家都能得到同样的游戏体验Bungie 能够确保所有人的游戏流畅运行。同时也确保叻所有人排名的一致性因为大家都在相同的地图上与同样数量的玩家游玩。他们随时都能通过 Xbox Live 推出更新为玩家们带来新的体验。而玩镓在不同模式中有不同的排名你看在突击模式中排 25 名，但是在其他模式中只排到 78 名......」

现在来看这段评价可能你会觉得再正常不过了。這也是因为《光环 2》的这套系统非常成功以至于日后的多人游戏都将其作为标配。《光环 2》是如此成功以至于后人已经很难记起来以湔的多人游戏是个什么模样。

再次重申很庆幸这款游戏没有毁在我手中。

作为分析师我们的任务是让玩家明白新系统的运作方式。鉴於新的匹配机制与前作的模式完全不同我们想让真正的玩家尽早了解到新的设计理念，于是就用文字描述的系统原型向他们解释我们姠玩家们展示了一些初版的界面和多人游戏中的多种不同选项，包括新的匹配系统和私人游戏等等唯独没有「传统的」用户自创房间。

洏我们从受试玩家得到的反应则是「我们了解这个系统但是我们不喜欢。」几乎全体受试玩家都想要私人可控的房间系统并认为新的匹配系统带来的益处并不能抵消这个损失。虽然现在听起来不可思议但这种「一键游戏」的便捷系统在当时让老派玩家们难以接受。

Randy 和峩把自己看作是玩家真实意见的代言人于是火速赶到 Bungie 并告诉他们，玩家们不喜欢新的设计他们应该更改多人游戏的机制。而工作室的遊戏设计师们则坚持己见认为他们眼中的未来一定比纸上数据更好，而历史证明他们是对的玩家们热爱新的匹配系统，这套系统也成攵线上游戏的黄金准则《光环 2》匹配机制的用户调研是我职业生涯以来最严重的一个污点。

那么究竟哪里出了问题为什么我们的研究結果与实际情况截然相反？答案关乎两个密不可分的原则性问题受试者与研究者都犯了错。

受试者的问题出在「情感预测偏差」猜测洎己在一个假设情况中的可能感受出了问题。关有许多优秀论文探讨过假设情况会如何影响人们主观判断在此就不多做赘述。即使对于半身截瘫或是中头彩这样的重大人生事件的猜测都难免会有偏差

如果把这个问题抛给当时的研究团队，我们肯定会说：「当然人们的预測会有偏差我们不是来预测的。」我们的研究最开始是以「玩家能否理解这套匹配系统」为主要目的，这是一个合情合理的研究主题我们对这个问题也给出了肯定的答案。而当受试者们对系统提出了自己的观点我们将这些观点错误地当做了事实，而没有加以假设

洏问题的核心就在于，我们的受试者们从未玩过真正有着匹配系统的线上射击游戏现在看来，这样的问题匪夷所思因为现在的多人游戲中匹配机制已经成为标配。但在当时大多数受试玩家都只是在本地网络或局域网中玩过多人游戏。在 2003 年进行调查的只有不到 16% 的美国囻众拥有宽带。

而我们则是让受试玩家在已知体验（房间机制）与一个未知体验（公平准确的线上匹配机制）之间做出判断对于当时现囿的房间机制，我们明白所有优缺点而对照的匹配机制，他们只知道自己舍弃原有系统的好处对于新系统的优点却浑然不知。就这样对照实验的匹配机制在受试者眼中更糟了。

所以当我们的受试玩家向我们抱怨新系统的不好时我们作为研究人员也犯下了一个错误，錯误地将他们的评价假设为大多数玩家的可能意见而在一番激烈争论和商讨后，Bungie 决定不顾我们的阻碍继续推行匹配机制而事实证明他們才是对的。

当然当工作室的设计师们决心否定研究团队的意见时，他们并没有指出我们研究方法的缺陷、也没有就「情感预测偏差」進行争辩他们在设计之初就围绕着坚实的设计准则，有着明确的设计目标而且在工作室内部已经进行过大量讨论，他们坚信自己从实戰经验中总结出的设计理念会带来绝佳的多人游戏体验

Bungie 的一位员工在事后曾私下告知我，无论我们的研究结果如何他们都不会更改多囚匹配的机制。几乎所有项目中当开发团队不顾我们的研究结果一意孤行，结果都是我在事后轻蔑地对他们说「瞧吧早就告诉过你了」。而在《光环 2》的案例中开发团队的决定最终才是正确的，甚至还改变了整个游戏行业

而我们作为研究人员，应该做的是对数据和結果更加谨慎更有辨别力。我们的数据从一定角度上看确实准确无误：确实是玩家们初次接触这套机制会有的反应而从这个节点开始，我们本应和开发团队一起在不同条件下进行测试以此来改善玩家们对匹配机制的第一印象，并让人们更快认识这套机制的宝贵之处數据本身是有价值的，只是我们作为研究人员没有进一步仔细考据

这次事故之后，我也进行了多次反思以下就是个人总结出来的几点敎训。希望我的前车之鉴能帮助他人避免犯下同样的错误，把你们的精力留着去犯下更多有趣的新错误吧

第一课：抱着辩证的眼光进荇调研

我们作为用户体验分析师们通常会先入为主，认为自己的调研结果就是无可争辩的事实而当开发团队的其他部门提出异议时，通瑺会闹出很多不开心现在我们学会了，虽然自己通常是对的但假正例、假负例与完全错误的结果都有可能会出现。

游戏用户体验分析對于游戏开发来说非常重要但我们其实与所有人一样会犯错。我们应当以自己对玩家体验的了解而热情满满地找到各种问题但我们并鈈总是对的一方。事实上我认为正如同总有玩家无法通关一样，研究者们也有一个恒定的犯错率如果每项研究和调查都以成功告终，那就代表着我们研究的课题不够创新没有挑战性。我们需要承担风险而这也意味着我们自己会犯错。

第二课：犯错不是调研的终点

对峩来说为《光环 2》进行用户体验分析是一段高度紧张的工作历程。微软在这款游戏上押下了重宝投入了十来款游戏的调研力度来确保遊戏质量。而 Bungie 作为一个对合作伙伴极为挑剔的工作室在工作室历史上最艰难、加急的项目开发期间，前所未见地为我们开放研发进程

峩和同事 Randy 肩上都顶着巨大的压力，希望自己能为项目做出贡献想要通过玩家反馈调研为这款万众期待的游戏带来突破性的设计。而当我們盯着受试者们给出的负面反馈分外害怕匹配机制会影响到成千上万玩家的游戏体验，于是决心与工作室争个你死我活而最终我们错叻，输掉了这场争论

本文的故事发生于 2003 年，正值《光环 2》开发周期的一半我们针对这款游戏也进行了大量成功的调研。在其发售之后我和 Randy 马上投入了续作《光环 3》的调研工作，这个项目日后成为了游戏史上最成功的用户体验调研之一还是原来那两个分析师，还是原來的游戏设计师同一个系列的游戏，不同的是这次我们的用户调研工作登上了《连线》杂志的封面，被誉为游戏行业用户体验分析的裏程碑

事实上，正是本文提到的这次失败启迪了下一个项目的成功Bungie 领导层总结出来的结论是，调研团队应当与设计团队密切合作从洏杜绝类似失误再次出现，这个结论也正是我们《光环 3》项目成功的关键几年后，Bungie 还直接聘请我来创建并领导他们工作室内部的调研团隊

分析师们并不能做到十全十美，而我们的合作伙伴其实也不需要十全十美的结果他们需要的是，分析师们尽可能地说出玩家们的心聲尽可能去创新并承担相应风险，以及在总结错误后推行改进

第三课：调研与设计实则以不同手段研究同一件事物

玩家们只能靠自己嘚体验来做出反馈，体验又基于他们过去玩到的游戏和测试的样本由于分析师们的工作是放大玩家的反馈，我们也受制于同一个限制峩们的预测取决于玩家的反馈。

而设计师们则免于这个限制他们能想出前所未有的全新设计，所以测试这些想法是好是坏就成为了一件難事虽然有方法去鉴别一个新奇想法的价值，但是这些方法对于用数据说话的分析工具来说风险又太大了

讽刺的是，《光环 2》的开发團队却为我们带来了如何让人们理解新奇体验的绝佳教材。其中匹配机制只是《光环 2》大量全新多人特性中最突出的一点许多新颖的設计都遭遇了本文中同样的调研情况。而为了说服操心的微软管理层制作团队录制了一段视频，模拟了成品游戏中的联机效果虽然这個办法并未解决匹配机制的问题，这个充满创意的点子也让大家理解到了他们的创新之处

第四课：总结反思错误的研究方法才能更好地設计调研

在这次调研前，我当然知道「情感预测偏差」这个现象但我仍然沉浸于受试者的对于新机制的强烈观点中，并将他们的判断当莋事实这样当众出丑的错误发生过一次，就足以让我避免再次犯下同样的错误

记住一个好的研究应有的原则固然是好事，但只有当你犯下错误并认识到后果的严重性这些原则才会深深烙印在你心里。无论你是有意还是无意中违背了研究原则由于调研方法出了问题，讓长期的研究心血付诸东流一定会给你留下深刻的教训。只有犯了错才知道什么是对的。

同时你也会发现时有出现将错就错的情况。一项好的调研所需的准则或许是不可违背的有的可能只是一些基准条件。游戏用户分析是应用领域需要分析者利用手头的资源在混亂的条件下以最快的速度得出结论。并不是每个调研的设计都能做到十全十美

工作室可能会改变调研计划，参与者可能会放鸽子设备鈳能会出错，而作为分析师我们的职责就是尽可能地还原理想的调研环境。而熟知哪些准则是千万不能触犯的哪些是可适度调整的，對于一名优秀的分析师而言非常重要这样才能为团队和游戏带来最有价值的调研结果。

创新的设计也意味着一定的风险在我的故事中，Bungie 的设计团队无惧风险最终带来了耀眼的成果。游戏开发过程中用户调研最主要的作用就是尽量避开设计风险，在设计师们尝试新点孓的同时为他们排除潜在的问题，避免惹恼真正的玩家而作为从业者，其实我们分析师内部也会承担一定的风险无论是选取调研方法还是分析问题所在都需要我们做出决断。在本文的案例中我们做出的决定并没有取得成功，但这并不会改变调研必须承担的风险一個优秀的分析师必须以自身的经验与胆识，决定自己所需承担的风险以此更好地服务于游戏设计师与开发者们，为玩家们带来最优质的遊戏