La complessità di testare la realtà virtuale

Come forse potrete intuire, gli strumenti per quantificare l'esperienza in realtà virtuale sono ancora immaturi. I test che abbiamo svolto su un hardware di pre-produzione non funzionano più sul Rift finale. I benchmark che dovevano essere pronti al debutto sono ancora negli stadi finali di convalida. E quando si tratta delle linee guida di Oculus, ci è stato detto che gran parte del processo di valutazione coinvolge semplicemente l'uso del visore.

Ovviamente abbiamo provato a fondo il visore, ma presentarci con un semplice giudizio soggettivo può sembrare insufficiente.

Parlare con AMD e Nvidia ha aumentato i problemi; un'azienda afferma che Fraps è il meglio che abbiamo per misurare le prestazioni, mentre l'altra ha espresso apprensione nel dare fiducia a qualsiasi tipo di rilevazione. Quanto è buono un risultato se non si può spiegarlo a fondo?

Non è la prima volta che l'accuratezza di Fraps viene messa in dubbio. Anni fa, molto prima che si pensasse alla disponibilità di un visore, AMD era alle prese con il rendering incostante dei frame, un problema noto come stuttering. Per farla breve l'azienda spiegò come Fraps collezionava i dati e come si potessero fraintendere i risultati. Dato che il software lavora tra gioco e Windows, l'intercettazione delle chiamate Present prima che raggiungano diversi stadi Direct3D nella pipeline display non si aggiunge al risultato Fraps.

C'è una complessità persino maggiore nella realtà virtuale. Per quanto riguarda il Rift, il frame di ogni occhio passa attraverso Asynchronous Timewarp (ATW) prima di essere visualizzato. Nel caso in cui un frame manchi la scadenza di 11,11 ms (corrispondente a un refresh a 90 Hz), ATW riusa il frame precedente con l'informazione di posizione del visore aggiornata, impendendo l'emergere di judder.

Siamo corto di fatti per dare conferme, a questo punto - Oculus è elusiva e i rappresentanti di AMD e Nvidia non ne sembrano sicuri - ma sospettiamo che un frame perso appaia in Fraps, mentre il runtime di Oculus è in grado di mascherare il suo effetto durante il gameplay reale. Dopo aver speso un sacco di tempo a testare e giocare, è ciò che sembra avvenire.

Perciò, in un mondo dove Fraps è il nostro unico strumento per capire le prestazioni, dobbiamo fare un avvertimento enorme prima di presentarvi i nostri benchmark. C'è un po' di correlazione tra i nostri risultati Fraps e il gaming con il Rift, ma leggete le analisi di accompagnamento prima di trarre delle conclusioni. In molti casi anche i grafici che appaiono problematici, in realtà, non lo sono.

I nostri test sono ulteriormente complicati dalle modifiche dinamiche di qualità che i giochi useranno sempre di più per mantenere il ritmo di un frame ogni 11,11 ms. Al fine di correggere la distorsione spaziale imposta dalle lenti, bisogna renderizzare più pixel rispetto alla risoluzione effettiva del display - il target comune è 1,4 volte. Se un motore di gioco determina che sta per mancare il frame rate obiettivo, 1,4 volte potrebbe scendere a 1,3 o 1,2, sacrificando parte della qualità (ci è stato detto che può essere quasi impercettibile) per mantenere un'esperienza immersiva. La differenza nella qualità aggiunge qualcosa di sconosciuto alle nostre analisi, almeno fintanto che qualcuno non crei uno strumento che possa misurare tale informazione. Oltre a questi cambiamenti costanti alla qualità, il senior graphics programmer di Valve Software Alex Vlachos dice anche che l'anti-aliasing può essere modificato al volo, o può essere applicata la radial density masking per mantenere le prestazioni.

Bisogna capire inoltre che frame rate e frame time non riflettono tutti gli aspetti delle prestazioni del visore. Latenza e persistenza giocano un ruolo rilevante nel comfort e nell'effetto dell'esperienza VR, e non possiamo semplicemente ottenere tali misure dal Rift con gli strumenti a disposizione oggi.

Quello che possiamo fare è presentare i numeri basati su Fraps che abbiamo ottenuto e fare del nostro meglio per correlarli alla nostra esperienza di gioco reale. Attendiamo una build in anteprima per la stampa di VRMark che faciliti i test. Anche VRScore di Basemark è imminente. Quel test offrirà alcuni benchmark identici a VRMark più la rilevazione della latenza per occhio sinistro e destro, rilevazione dei frame persi e frame duplicati. Quando diventeranno disponibili le versioni finali e approvate di questi primi test vi riporteremo i risultati. Quindi senza perdere altro tempo, parliamo di hardware.

Come abbiamo testato Oculus Rift

Oculus ci è stato consegnato insieme a un PC VR-ready con specifiche decisamente mainstream che abbiamo usato per giocare, insieme a uno dei nostri sistemi di test più veloci per le misure prestazionali. Il PC consisteva in un processore Core i7-5960X, 16 GB di memoria G.Skill DDR4, motherboard MSI X99S Xpower AC e un SSD Crucial MX200 da 500 GB.

Dati i requisiti di calcolo della VR ci sono solo alcune schede video da provare. Volevamo testare Oculus con una Radeon R9 290 e una GeForce GTX 970, le schede consigliate, una manciata di schede sopra le specifiche e almeno una scheda al di sotto. Abbiamo testato diverse schede video di MSI, a cui abbiamo aggiunto una Radeon R9 Fury X, una GeForce GTX 980 Ti e una GeForce GTX 970 che avevamo già in laboratorio.

Scheda	MSI R9 380 Gaming 4G	MSI R9 390X Gaming 8G	MSI GTX 960 Gaming 2G	MSI GTX 980 Gaming 4G
GPU	Antigua Pro	Grenada XT	GM206	GM204
Stream processor	1792	2816	1024	2048
TMU	112	176	64	128
ROPs	32	64	32	64
Freq. GPU	1000MHz	1100MHz	1241MHz	1216MHz
Freq. memoria	5800MT/s	6100MT/s	7010MT/s	7010MT/s

MSI ci ha inviato anche due R9 390X e due GTX 980 per testare CrossFire e SLI. Successivamente ci è stato detto che nessuno dei giochi di lancio dell'Oculus supporta il rendering multi-GPU. Quando le applicazioni inizieranno a usare AMD Affinity Multi-GPU e Nvidia VR SLI, useremo quelle schede per valutare l'incremento prestazionale - secondo Vlachos, circa il 30 - 35 %.

Per i test abbiamo scelto quattro giochi dalla lista di Oculus. Tutti offrono un numero limitato di opzioni qualitative, che abbiamo impostato al massimo in tre casi. E tutti i test sono imperfetti in quanto è incredibilmente difficile ripetere la stessa sequenza durante le varie sessioni.

A metà dei nostri test Nvidia ci ha inviato un nuovo driver 364.64 che abbiamo installato. Nvidia ci ha garantito che è rappresentativo delle prestazioni e della qualità d'immagine disponibile al lancio. AMD ci ha informato dell'arrivo di un nuovo Radeon Software Crimson Edition 16.3.2 supportato dall'SDK Oculus 1.3. La notizia è arrivata diversi giorni dopo il completamento dei test, avevamo già inviato il Rift a un altro laboratorio. Quindi i risultati sono quelli della versione 16.3.1. Abbiamo chiesto ad AMD dettagli sui cambiamenti operati con la versione 16.3.2 ma non abbiamo ricevuto risposta.

Benchmark
EVE: Valkyrie	Highest detail settings, basic training run-through, Fraps-based recording
Chronos	Epic graphics options (Rendering Quality, Shadow Quality, Rendering Resolution), Tale of the Scouring sequence, Fraps-based recording
Radial-G	Highest detail settings, Dead Zone Alpha race, Fraps-based recording
Lucky's Tale	Medium detail settings, first level run-through to first door, Fraps-based recording