Desde Atomic Maximum Power Computing, se decidieron a comprobar una seria acusación que vienen haciendo los de Nvidia desde que lanzaron sus GPU Fermi hace 5 meses, afirmando que AMD hace trampa en los benchmarks, aumentando el performance a costa de perjudicar la calidad gráfica, por lo que en su “guía del reviewer” (entregada con cada VGA de “prueba” entregada a las webs informáticas) recomienda desactivar el Catalyst AI a fin de que las comparativas sean más “justas”.
PUBLICIDAD
Los de Nvidia aseguran que el Catalyst AI usa una técnica llamada: “FP16 Demotion” la cual según ellos, incrementa el rendimiento hasta en 12%, pero perjudicando la calidad gráfica en los GPUs de AMD en 6 juegos Directx 9: Dawn of War 2, Empire Total War, Need for Speed Shift, Oblivion, Serious Sam II y Far Cry 1. Aseguran también que es un hecho admitido por AMD, e instan a los reviewers a que desactiven dicha función desde el Catalyst Control Center a fin de que hagan una comparación justa entre sus Geforce 400 y las Radeon HD 5000 de AMD; también proporcionan unos ejecutables para los juegos Need for Speed y Dawn of War 2, con la función activada y desactivada a fin de que comprueben sus alegaciones.
¿Qué es FP16 Demotion?
FP16 es uno de los métodos de cálculo de punto flotante de la función HDR (High Dinamic Range) de DirectX 9.0 (los otros modos son: FP10, FP24 y FP32), FP16 es el más usado en los juegos DirectX 9, con DirectX 10 se introdujeron 2 nuevos formatos HDR: RGBE y R11G11B10; FP16 Demotion consiste en cambiar la forma como se calculan los efectos de iluminación HDR, usando el formato R11G11B10 (11 bits para los colores rojo y verde, y 10 bits para el negro, un ) en vez del formato HDR FP16, ahorrando potencia de cálculo y memoria ocupada.
Los de Atomic contactaron a AMD y Nvidia; aquí sus respuestas:
Respuesta de AMD
Nos llama la atención que nuestro competidor nos acuse de hacer trampa, alegando que introducimos optimizaciones en nuestro Catalyst a fin de mejorar nuestros resultados de referencia, y que afirme que hemos admitido que optimizamos nuestros controladores para mejorar los resultados de los benchmarks. Sus acusaciones carecen de fundamento: Sin embargo las encararemos de frente y les daremos los hechos para que ustedes decidan.
La supuesta “optimización” consiste en el uso selectivo del formato HDR R11G11B10 en circunstancias donde la cantidad de memoria usada por el formato HDR FP16 afectaría la experiencia de juego. En los propios documentos de Nvidia (página 11), ellos afirman que el formato R11G11B10 ofrece el mismo rango dinámico que FP16, pero usando la mitad de almacenamiento (VRAM), pareciera que nuestro competidor comparte la convicción de que el formato R11G11B10 es una alternativa aceptable. Además antes de implementar este cambio de formato, hemos realizado rigurosas pruebas de calidad de imagen, aplicándola únicamente si la diferencia es imperceptible.
El formato R11G11B10 es similar al formato HDR usado en la XBOX 360 (GPU ATI Xenos), plataforma para la cual se diseñaron muchos de los títulos mencionados por Nvidia. El sólo ver la lista de juegos en los que nuestros competidores nos acusan de hacer trampa, puede servir de indicativo de que esto no se hizo con propósito de salir favorecidos en los benchmarks.
Para concluir, los animo a pensarlo 2 veces antes de desactivar el Catalyst AI. Si lo hacen se desactivarán muchas otras características que harían que una comparativa no tenga sentido. En dicha situación, también se deberían desactivar las optimizaciones en los drivers de nvidia, algo que ellos hicieron muy difícil al no proveer una opción para desactivarlas en su panel de control.
El formato R11G11B10 únicamente se aplica a juegos DirectX 9 muy específicos, como los presentes en la lista de Nvidia; no se aplica a juegos DirectX 10 y 11 ya que dicho formato es parte de dichas API y cualquier desarrollador puede tomar ventaja de ello, cosa que no ocurre con DirectX 9, pues esta función no es parte del API. Esto es similar al trabajo que hacemos para implementar MSAA en juegos que no poseen soporte para ello.
Respuesta de Nvidia
Creo que hay un malentendido con la forma como funcionan nuestros perfiles. El texto completo en nuestra guía debió ser: “La política oficial de optimización de drivers es nunca introducir una optimización de rendimiento vía la detección del ejecutable del juego que altere la calidad de imagen, por muy sutil que sea la diferencia.
Esto no quiere decir que nuestros perfiles no detecten el ejecutable. Sólo que no estamos dispuestos a alterar la calidad de imagen de la aplicación.
Estoy seguro que está familiarizado con muchas de las mejoras de performance en juegos y otras aplicaciones que nuestros drivers han proporcionado en los últimos años.
FP16 Demotion es realizada por los controladores de AMD por algún tiempo; lo que hace es degradar los objetivos a renderear con el formato FP16 a R11G11B10 el cual ocupa la mitad del tamaño y es menos preciso. Provoca cambios en la calidad de imagen, y altera la carga de trabajo para propósitos de benchmarks.
Debido al FP16 Demotion que realiza Catalyst AI, le pedimos desactivar dicha función para tener verdaderas comparaciones de igual a igual.
Pruebas
Para probar cuál de las 2 tiene la razón, realizaron pruebas de calidad de imagen usando una Radeon HD 5700 (Catalyst 10.8) y una GTS 450 (Geforce/ION 260.52), probando todos los juegos implicados con los ejecutables proporcionados por Nvidia (AMDDemotionHack_OFF.exe y AMDDemotionHack_ON.exe) en ambas VGA, siendo Far Cry 1 el único título donde se notaron diferencias apreciables, tanto de rendimiento (11%) como de calidad (efectos de agua algo menos realistas), en los demás títulos las diferencias no fueron apreciables y apenas se ganaba rendimiento usando dicha función. Los de Atomic concluyen que prácticamente no hay diferencias visuales al usar dicha técnica con los GPU de ambas empresas (con excepción de Far Cry 1).
Far Cry con FP16 Demotion desactivada
Far Cry con FP16 Demotion activada
Conclusiones
En otras palabras ambas empresas introducen técnicas de optimización que reducen ligeramente (la mayoría de veces inapreciable) la calidad de imagen a fin de mejorar el rendimiento de los juegos, la diferencia está en que AMD permite deshabilitarlas, mientras que Nvidia no.
Esta acusación de Nvidia pareciera ser una represalia por las acusaciones que le hizo AMD sobre el juego Batman Arkham Asylum (tema muy polémico en su momento), y sobre PhysX; extrañamente a 1 año de ello, se lanzará la edición especial: Batman Arkham Asylum Game of the Year Edition, la cual curiosamente si permitirá usar MSAA en los GPU de AMD (con dicha opción activada, las GPU de AMD ganan un 15% de rendimiento al usar el antialiasing incorporado en el juego frente a forzarlo en el Catalyst Control center).
Benchmark mostrando las ganancias en el desempeño al usar MSAA en Batman Arkham Asylum
Link: ATI ‘cheating’ benchmarks and degrading game quality, says NVIDIA (Atomic Maximum Power Computing)
Link: FP16 Demotion: A Trick Used by ATI to Boost Benchmark Score Says NVIDIA (Geeks3D)
Link: Batman Game of the Year edition supports in-game Anti-Aliasing (MSAA) for Radeons (AlienBabelTech)