云游戏的默认做法,长期是让服务器以固定的最高质量渲染,再交给编码器去压缩,玩家网络好不好,是编码器和传输层的事。最近两年公开的几项研究,开始质疑这个分工:既然画面最终要被压缩,渲染端花的力气,有多少能真正被玩家看到?这篇观察不宣布任何产品结论,只整理研究趋势,写下九游会的判断,并列出还没有答案的问题。
观察一:渲染质量不再被当成独立的变量
据 arXiv 论文 Stimpack,其思路是当画面经有损压缩传输后,过高的渲染质量未必能提升用户感知质量。论文的做法是用回归模型,由渲染质量与网络侧的压缩参数(QP)去预测视频质量评价指标 VMAF,进而在不明显损害感知画质的前提下,选择更低成本的渲染档位。论文还观察到,不同渲染质量预设的单帧渲染耗时差异可达约3.6倍,这说明渲染档位是一个真正有杠杆的变量。摘要称,与基线相比可提升最多24%的服务质量,或在相同资源下服务两倍用户,这些都是论文实验设定下的结果,不能当作通用效果。
需要强调,Stimpack关注的是服务器渲染成本与用户感知质量的平衡,并没有讨论能耗。把它读成“节能论文”是一种误读,我们在引用时也只取它的方法思路:渲染与压缩不应该各自为政,要放在同一个模型里估计。
观察二:为了不让画质来回摆动,稳定性成了设计目标
动态调整渲染质量有个现实问题:调得太频繁,画面会时好时坏,比稳定的低画质更让人不适。Stimpack采用指数退避的方式稳定渲染质量,避免来回震荡。这类设计说明,自适应系统的难点并不只是“降到多少”,还有“什么时候降、什么时候升、升降之间留多少缓冲”。我们的看法是,稳定性应该和画质、延迟一样,被写进体验指标,而不是留给工程实现去碰运气。
观察三:VR云游戏把质量分配到了区域
另一条路径来自VR云游戏。据 EyeNexus 论文摘要,它结合实时注视点与带宽数据来调整注视点渲染区域,摘要称延迟最多降低70.9%,感知画质最多提升24.6%,用户研究中可玩性与画质最多提升48%。这里同样都是“最高”而不是“平均”,并且该研究关注的是延迟、画质与码率,而不是能耗。它的价值在于给出了一个方向:质量不必在整个画面上均匀分配,玩家看得最清楚的区域可以拿到更多预算,边缘则可以更粗糙。
注视点渲染依赖眼动数据,这在隐私上比单纯读取带宽更敏感。任何把眼动信息用于云端渲染的系统,都需要回答数据是否离开终端、保存多久、玩家是否可以关闭。这一点在论文摘要里没有展开,属于落地时必须补上的部分。
对玩家和平台意味着什么?
把三条观察放在一起,变化其实很朴素:过去是“先渲染到最好,再想办法塞进网络”,现在是“先知道网络能带走多少,再决定渲染到什么程度”。对玩家而言,理想的结果是看不出区别:网络好时画面依旧精细,网络差时画面依旧可读,而不是突然出现大片马赛克。对平台而言,这意味着GPU时间变成一种可以按需分配的资源,而不再是每路会话固定占用的成本。但这种转变也带来新的责任:平台需要证明,被省掉的部分确实是玩家看不到的部分。这份证明不能只靠算法自评,还要有独立的画质测量和真实用户的反馈。
还有一个容易被忽视的差别是场景。论文里的测试多为受控环境,网络条件可以复现;家庭网络则充满不可预测的波动,同一时刻可能有人在下载、有人在视频会议。研究结论迁移到这样的环境,效果往往会打折,这不是研究的缺陷,而是测试条件与现实之间的天然距离。
九游会的判断
综合上面几项研究,我们有两点判断。
第一,云游戏节能的前提是“体验不变”,而不是“一律降低”。渲染质量、分辨率、帧率、码率都可以作为可调旋钮,但每次调整都必须回答一个问题:玩家最终看到的画面有没有明显变差。这也是九游会在《九游会官网为什么把“玩家体验”放在云游戏节能模型的第一位》里强调的顺序:先定体验下限,再谈减少无效计算。具体到网络变差时云端GPU如何调整,可以参考《网速变差以后,为什么云端GPU还在拼命渲染4K》。
第二,研究的指标和产品的指标不是一回事。论文中的“服务质量”“用户容量”“延迟”,都是在特定测试环境下的数字;一个面向玩家的产品还要面对真实的家庭网络、老旧终端、不同游戏类型。九游会App目前处在方案设计阶段,我们不会把论文里的最高数值当作自己的预期,也不会把没有测过的能耗降幅写进任何材料。
还没有答案的问题
- 感知质量模型换了游戏类型还准吗?VMAF等指标对快速运动、界面文字、暗场景的评价,未必与玩家的主观感受一致。
- 渲染成本降低后,节省的GPU时间会不会真正转化为更低的电耗,还是被用来多接了几路会话?这取决于调度策略,需要端到端的测量。
- 注视点等个人信号能否本地处理,不上传,同时保持效果?
- 玩家对“自动降档”的接受度如何?当系统在后台改变画质,玩家是否需要被告知原因,又该以怎样的方式告知?
这几个问题里,最后一个最容易被工程团队忽略:算法只能证明画质指标没有明显下降,却不能替玩家决定他能不能接受。让玩家看得见、改得了,是这类系统真正走出实验室的前提。九游会会继续跟踪相关研究,并把有公开来源的进展,与自己的方案设想分开记录。