Configurazione di prova, FCAT e benchmark

Configurazione di prova, FCAT e benchmark

Il nostro lavoro con Frame Capture Analysis Tools di Nvidia, di cui vi abbiamo parlato in questo articolo, ha prodotto interessanti informazioni e continua a influenzare il modo in cui testeremo d'ora in avanti le configurazioni multi-GPU. Poichè si tratta di un modus operandi che diverge da quello precedente che contemplava Fraps, questa recensione include più dei dati generati da FCAT.

Abbiamo anche preso alcuni videogiocatori, mettendoli davanti a otto titoli differenti e, ovviamente, alla Radeon HD 7990 e alla GeForce GTX 690 – senza però che loro sapessero con cosa stessero giocando. Il nostro obiettivo è ottenere un insieme completo di dati prestazionali da FCAT e poi fare un confronto con la realtà, e cioè che le impressioni di alcuni appassionati. Desideriamo sapere se questa nuova enfasi sulla latenza tra frame consecutivi serve a definire la vera esperienza di gioco.

Allo stesso tempo, riconosciamo che i nuovi dati generati siano molto più sofisticati della semplice media degli FPS che in precedenza permetteva di confrontare due o più schede l'una con l'altra. Fortunatamente, continuiamo a riportare anche i risultati medi, insieme all'andamento del frame rate nel corso del tempo. La novità è la variabilità nel tempo di rendering di un frame.

Di cosa si tratta? Perché non rappresentiamo semplicemente il tempo di rendering dei frame, come fanno diversi altri siti? Crediamo che il dato grezzo, cioè in sé e per sé, riguardante il tempo di frame includa troppe variabili per consentirci di tracciare una giusta conclusione. Quaranta millisecondi per renderizzare un frame sembrerebbero apparentemente eccessivi. È indicativo di una riproduzione non fluida? Forse sì, forse no. Facciamo due esempi, per spiegarci. Come apparirebbe il frame rate di un gioco se un frame da 40 ms fosse anticipato e seguito da immagini che richiedono lo stesso tempo per essere renderizzate? Potreste ritrovarvi con un frame rate costante 25 FPS, senza notare evidenti rallentamenti.

Consideriamo poi lo stesso frame da 40 ms in un mare di frame da 16,7 ms. In questo caso, potrebbe emergere un micro-scatto di quale tipo. Insomma, se si vuole far emergere la presenza o meno di vero stuttering in un gioco, bisogna avere più dati possibile. È inoltre necessario considerare i frame che precedono e seguono quelli che apparentemente richiedono più tempo per essere renderizzati. Per questo siamo arrivati a riporre l'attenzione su ciò che definiamo "variabilità del tempo di rendering del frame".

Fondamentalmente osserviamo ogni fotogramma per giungere a una conclusione generale. Tornando al caso del primo esempio, con un frame da 40 ms circondato da altri frame da 40 ms otteniamo una variabilità pari a zero. Nel nostro secondo esempio, il frame da 40 ms, circondato da frame 16,7 ms, potrebbe essere segnalato come una variazione di 23,3 ms.

In laboratorio continuiamo a lavorare su questo tema, ma da quanto abbiamo avuto modo di vedere, i giocatori notano cambiamenti nel tempo di rendering del frame anche di 15 ms. Perciò, questo è un dato che terremo in stretta considerazione. Se la variabilità nel tempo di rendering di un frame è inferiore ai 15 ms, probabilmente non si noterà lo stuttering. Se la variabilità media si avvicina ai 15 ms, con picchi che superano quel numero, un giocatore potrebbe iniziare a notare problemi di stuttering. La formula Excel che stiamo usando per il tempo di rendering dei frame è la seguente.

=ABS(B20-(TRIMMEAN(B2:B38, 0.3)))   //la formula descrive la variabilità del tempo di rendering dei frame per il ventesimo frame in una cattura, elencato nella cella B20.

Entrando più nello specifico, la formula si concentra sui valori dei tempi di rendering frame iniziando 18 celle davanti e 18 celle dietro il "frame obiettivo", e poi ne fa le medie – escludendo il 30% dei valori anomali in modo che media non sia influenzata da risultati troppo stravaganti. Questa media del tempo di frame è poi sottratta al tempo di frame corrente. Il risultato viene riproposto come un assoluto, o valore positivo.

La speranza è quella di vedere una variabilità del tempo di rendering dei frame pari a zero. In realtà, però, c'è sempre un po' di incostanza. Quindi, diamo uno sguardo allo spettro e riportiamo la media e i valori al settantacinquesimo e novantacinquesimo percentile. Si tratta insomma di un procedimento complicato. Emergeranno dettagli interessanti da quasi 1,5 TB di video che abbiamo catturati dalla Radeon HD 7990, da due Radeon HD 7970 in CrossFire, dalla Nvidia GeForce GTX 690, dalla GeForce GTX Titan e da due GeForce GTX 680 in SLI. Tutti i test sono stati fatti a 2560x1440 pixel con otto videogiochi diversi per rappresentare le prestazioni di ciascuna scheda.