Trabajo final: D(y)EC


Nombre: Rocío García Cabrera

Curso: 3º ITI Sistemas

Dirección de correo: [email protected]

Grupo de prácticas: Lunes de 8 a 10


Evaluación de tarjetas gráficas con un objetivo determinado

A la hora de comparar las tarjetas gráficas se puede hacer uso de benchmarks o del número de frames o marcos por segundo (FPS) que ofrece un determinado videojuego y de las características concretas de cada tarjeta. Los FPS son el número de "pantallas" que se ofrecen en un segundo en la pantalla y que simulan la animación o movimiento en un videojuego de manera que si el número de FPS es muy escaso dará la apariencia de dar "tirones".

Descripción del sistema
Se especificará con el análisis de resultados (paso 9), ya que se han elegido varios

Paso 1: Objetivos.
Evaluar varias tarjetas gráficas ejecutándoles un benchmark para comprobar cuál puede ser mejor para un videojuego. El benchmark elegido para dicha evaluación es Performance Test versión 7.0, cuyo enlace de descarga es el siguiente

Paso 2: Hacer una lista de los servicios que ofrece el sistema y sus posibles resultados.
Ver los datos obtenidos por el benchmark y que éste no vaya a saltos (si es así es porque la tarjeta gráfica es mala y no soporta la carga del benchmark)

Paso 3: Definir las métricas.
De los parámetros que se miden en el Performance Test hemos elegido los siguientes:

Miles de vectores por segundo en: Vectores complejos por segundo en Gráficos 2D - Vectores complejos (2D3)
Operaciones por segundo en: Filtros por segundo en Gráficos 2D - Filtros de imagen (2D6)
Imágenes por segundo en Gráficos 2D - Renderizado de imagen (2D7)
Frames por segundo en: Entre paréntesis va la nomenclatura que se utliza para cada parámetro en las tablas y gráficos que se van a realizar

Paso 4: Listar los parámetros que puedan afectar a las prestaciones.
Haremos las pruebas con el ordenador recién arrancado y ejecutando solamente el benchmark para que los factores que puedan afectar a las prestaciones sean mínimos.

Paso 5: Factores a estudiar.
Los datos obtenidos durante la ejecución del benchmark

Paso 6: Seleccionar las técnicas de evaluación.
Para evaluar el rendimiento de la tarjeta gráfica vamos a utilizar un benchmark: Performance Test

Paso 7: Seleccionar la carga de trabajo.
La carga de trabajo va a ser el propio benchmark.

Paso 8: Diseñar los experimentos.
Instalamos el benchmark en Windows XP. Ejecutamos el benchmark en el ordenador con el mismo en estado base (ningún proceso que afecte a las mediciones abierto). Esperamos a que termine y guardamos las medidas obtenidas.

Paso 9: Analizar e interpretar los datos.
Como no teníamos un ordenador que dispusiera de varias tarjetas gráficas, hemos optado por probar varios ordenadores con tarjetas gráficas distintas, todos ellos con arquitectura Intel y bajo el mismo sistema operativo: Windows XP

Características de los sistemas:
Se ha escogido la herramienta Everest para obtener las características del sistema, por ser versátil y cómoda (y compatible con Windows). Su enlace de descarga es el siguiente
  1. Sistema 1 (SIST1): Informe de Everest del ordenador y la tarjeta gráfica
  2. Sistema 2 (SIST2): Informe de Everest del ordenador y la tarjeta gráfica
  3. Sistema 3 (SIST3): Informe de Everest del ordenador y la tarjeta gráfica
  4. Sistema 4 (SIST4): Informe de Everest del ordenador y la tarjeta gráfica
  5. Sistema 5 (SIST5): Informe de Everest del ordenador y la tarjeta gráfica
  6. Sistema 6 (SIST6): Informe de Everest del ordenador y la tarjeta gráfica
Del extenso informe que se podía generar con Everest, se ha escogido solamente la opción Computadora => Resumen, y de la pestaña Monitor => Vídeo de Windows y GPU

En la siguiente tabla podemos ver los resultados obtenidos por cada sistema. Se le han asignado alias a los parámetros a evaluar por tener nombres muy largos y engorrosos (ver paso 4)

SISTEMA 1 SISTEMA 2 SISTEMA 3 SISTEMA 4 SISTEMA 5 SISTEMA 6
2D1 3.4 7.2 2.99 1.27 4.5 1.35
2D2 1.1 2.3 0.45 0.29 0.9 0.29
2D3 52.4 96.9 176.9 101.0 86.8 90.1
2D4 31.9 116.0 178.8 123.2 46.7117.2
2D5 44.5 133.1 264.3 145.3 138.3 129.2
2D6 62.2 289.1 278.9 311.6 164.8 314.4
2D7 174.2 215.7 339.0 148.3 51.6 148.4
3D1 72.1 197.6 159.6 313.6 233.1 322.7
3D2 17.8 27.9 62.1 109.9 46.0 110.2
3D3 3.4 5.0 23.0 28.8 10.1 29.0


Paso 10: Presentar los resultados.

Las gráficas obtenidas para 2D y 3D a partir de la tabla anterior son las siguientes:



Podemos observar que en los dos primeros parámetros los valores son muy pequeños. Y que no hay una tarjeta gráfica que destaque por encima del resto en todos los parámetros. Sí podemos deducir del gráfico que la tarjeta gráfica del sistema 3 puede considerarse una de las mejores, porque tiene varios picos, como las de los sistemas 4 y 6, pero también estas tienen valores más bajos. En lo que se refiere a gráficas malas, cabe destacar la gráfica del sistema 5, y sobre todo la del sistema 1.



Podemos observar que aquí la tarjeta gráfica del sistema 1 es la peor, junto con la del sistema 3. Y las dos tarjetas gráficas que tienen mejor comportamiento en 3D son las de los sistemas 4 y 6, con resultados muy similares.

Como podemos ver en la siguiente tabla y en las siguientes gráficas, para comparar los sistemas, voy a usar como sistema base el sistema 4. No porque sea el mejor, sino por elegir uno al azar. Para hacer las comparaciones, dividimos los resultados obtenidos de cada sistema por los resultados obtenidos en el sistema base, y calculamos la media geométrica para hacer la comparación general entre ellos respecto al sistema base. Si los valores obtenidos están por debajo de 1 son mejores, y si no son peores. Así podré hacer una elección de la mejor tarjeta gráfica más acertada

SISTEMA 1 SISTEMA 2 SISTEMA 3 SISTEMA 4 SISTEMA 5 SISTEMA 6
2D1 2.677 5.669 2.354 1 3.543 1.063
2D2 3.793 7.931 1.552 1 3.103 1.000
2D3 0.519 0.959 1.751 1 0.859 0.892
2D4 0.259 0.942 1.451 1 0.3790.951
2D5 0.306 0.916 1.819 1 0.952 0.889
2D6 0.200 0.928 0.895 1 0.529 1.009
2D7 1.175 1.454 2.286 1 0.348 1.001
3D1 0.230 0.630 0.509 1 0.743 1.029
3D2 0.162 0.254 0.565 1 0.419 1.003
3D3 0.118 0.174 0.799 1 0.351 1.007
MEDIA GEOMÉTRICA 0.461 1.034 1.230 1 0.765 0.983



Podemos observar que, como habíamos deducido antes, el sistema 1 es el peor de todos, ya que tiene un valor inferior a 1, y es el mínimo. También está por debajo del 1 el sistema 5. Como contrapartida, el sistema 3 es el que obtiene mejores resultados, seguido del sistema 2. Y el sistema 6 obtiene un valor muy próximo al sistema base, aunque está ligeramente por debajo. Así que, para un rendimiento óptimo a nivel general, nuestra elección podría ser la tarjeta gráfica del sistema 3 o del sistema 2, según los datos obtenidos



Podemos observar que la gráfica del sistema 5 es la más mala, seguida de la del sistema 6, que tiene un comportamiento estable y muy similar al sistema base. Las gráficas que obtienen mejores resultados son las del sistema 3 y del sistema 2, teniendo esta última dos valores muy altos en los dos primeros parámetros



Podemos observar que la gráfica del sistema 6 es la que tiene mejor comportamiento en 3D, y es la única que supera (por poco) a nuestro sistema base. Y que las gráficas de los sistemas 1 y 2 son las que peores resultados dan. Conclusión: respecto a 3D, las gráficas del sistema base y del sistema 6 son las mejores


ANEXO

Tras el análisis teórico - práctico hecho con benchmarks sobre las tarjetas gráficas, vamos a realizar una demostración práctica de los resultados que hemos obtenido. Para ello, vamos a utilizar el segundo método de evaluación de tarjetas: los videojuegos. Elegimos dos sistemas con claras diferencias en los resultados obtenidos durante la comparación con benchmarks, y previa instalación del programa FRAPS, evaluaremos las tarjetas con dos videojuegos.

Los videojuegos elegidos son "Age of Empires II" con entorno 2D y "Warcraft III" con un poco de 3D para realizar esta prueba. Y los sistemas elegidos, los extremos según la comparativa en 3D: el sistema 1 y el sistema 4 (las características técnicas de los mismos se pueden ver más arriba, paso 9)

El objetivo no es analizar las tarjetas gráficas con juegos de última generación, más que nada porque lo mismo ni se puede instalar en alguno de los sistemas elegidos. Lo que interesa en este caso es comprobar si las diferencias obtenidas con el benchmark se corroboran en el videojuego

Para ello deberemos arrancar FRAPS y luego iniciaremos estos videojuegos. Sobre cada sistema realizaremos la misma acción para medir la misma situación y tomaremos 3 medidas pulsando F11 en la misma situación de juego en ambos sistemas.

Se van a medir los frames por segundo (FPS). Un frame es un fotograma dentro de una sucesión de imágenes dentro de una animación. En el caso que estamos tratando, la ejecución de juegos, se refiere al “número de veces que la tarjeta gráfica le manda cambiar los pixeles a la pantalla en un segundo”.

Por lo tanto los pasos a seguir son:
  1. Instalar FRAPS (se puede descarga del enlace siguiente )
  2. Instalar los videojuegos o demos en su defecto
  3. Arrancar el programa FRAPS y configurarlo
  4. Iniciar un videojuego
  5. Iniciar la partida y durante el transcurso pulsar 3 veces F11 en la misma situación de juego, ambos sistemas trabajarán sobre el mismo mapa y condiciones
  6. Realizar pasos 4 y 5 con el otro videojuego
Se considerará mejor sistema aquel que realiza más frames por segundo (podemos deducir de entrada, que con total seguridad el sistema 2 obtendrá mejores resultados)

Las características de los videojuegos son las siguientes:

Age of Empires II
Año de publicación: 2001
Tipo de cámara: Perspectiva Isométrica fija 2D
Motor gráfico: Genie Engine
A tener en cuenta: Pueden llegar a juntarse gran cantidad de unidades en pantalla. Cada una de ellas es tratada de forma individual tanto gráfica como por la inteligencia artificial. Permite combate tanto naval como terrestre.



Warcraft III: Reign of chaos
Año de publicación: 2002
Tipo de cámara: Perspectiva Isométrica con 3D incorporado
Motor gráfico: Blizzard's own 3D Engine
A tener en cuenta: Puede ser monojugador y multijugador (Battle.net). Para el modo multijugador se necesita una conexión a internet de 28.8 Kbps..



La configuración del Age of Empires II es la siguiente:
  • Resolución: 1280 x 800
  • Profundidad de Color: 32 bits
  • Pantalla Completa
  • Detalle gráfico: alto

    • La configuración del Warcraft III es la siguiente:
  • Resolucion: 800 x 600
  • Profundidad de Color: 16 bits
  • Pantalla Completa
  • Modelo: medio
  • Animación: alto
  • Textura: medio
  • Partícula: alto
  • Luces: alto
  • Sombras: sí
  • Oclusión: sí

    • Para cada videojuego se han realizado diversas mediciones. Esto es debido a que el videojuego no siempre muestra la misma carga gráfica durante toda su ejecución. No conlleva la misma complejidad de representación un mapa exterior que uno interior, o un mapa plagado de enemigos que otro donde solo está el personaje(s) del jugador. Cada medición tiene por objetivo descubrir cuál de los “entornos” del videojuego son los que tienen mayor complejidad, y por lo tanto, son más susceptibles de verse afectados por ralentizaciones, es decir, van a ser más “críticos” a la hora de jugarlos con fluidez.

    Los resultados obtenidos con FRAPS sobre los dos sistemas con los videojuegos mencionados son los siguientes:

    Sistema 1: Age of Empires II (SIST1 - AOE)
    Frames: Time: Min: Max: Avg:
    Medición 1 1744 2363 590 876 738.045
    Medición 2 37818 72248 0 1001 523.447
    Medición 3 4457 120000 0 80437.142

    Sistema 2: Age of Empires II (SIST2 - AOE)
    Frames: Time: Min: Max: Avg:
    Medición 1 46727 60000 98 958778.783
    Medición 2 45227 60000 105 972753.783
    Medición 3 36426 6000070 965 607.100

    Sistema 1: Warcraft III (SIST1 - W)
    Frames: Time: Min: Max: Avg:
    Medición 1 717 34832 0 47 20.585
    Medición 2 917 43543 2 5721.060
    Medición 3 779 44579 0 4817.475

    Sistema 2: Warcraft III (SIST2 - W)
    Frames: Time: Min: Max: Avg:
    Medición 1 3579 60000 59 6059.650
    Medición 2 3561 6000051 61 59.350
    Medición 3 3545 60000 52 61 59.083


    Se ha indicado entre paréntesis la nomenclatura utilizada en la tabla - resumen y el gráfico que aparecerán más tarde

    Presentar los resultados.
    Para decidir qué sistema es mejor, nos centraremos en comparar cuál de dichos sistema se comporta mejor con dichos “entornos” conflictivos. Es decir, para cada videojuego nos quedaremos con aquella medición que presenta unos menores frames por segundo. Otra alternativa sería la de realizar una media de las mediciones, pero esto puede producir la “ilusión” de que el videojuego se comporta mejor o peor de lo que en verdad lo hace. Un elevado número de frames siempre es bien recibido, pero cuando los frames bajan en alguna fase del videojuego, se producen ralentizaciones que pueden resultar excesivamente molestos, llegando a hacer “injugable” dicha parte

    La tabla - resumen que tendríamos sería la siguiente:

    Frames: Min: Media: Max:
    SIST1 AOE 1744 590 738.045876
    SIST2 AOE 36426 70 607.1 965
    SIST1 W 717 0 20.585 47
    SIST2 W 3545 52 59.083 61


    La gráfica obtenida a partir de la tabla anterior es la siguiente



    Se puede ver que el máximo es mayor en ambos videojuegos en el sistema 2. Y que la media es mayor en el sistema 2 en el Warcraft III, mientras que es mayor en el sistema 1 con el Age of Empires II. Aunque esto demuestra que el sistema 2 es mejor, los resultados de esta gráfica son un poco "engañosos", porque en las tablas en las que realizábamos un muestreo más amplio de los FPS en los dos sistemas, el número de FPS era mayor en el sistema 2 con ambos videojuegos. Incluso en la tabla - resumen el número de FPS del sistema 2 es mayor.

    Conclusiones:
    Hemos demostrado que el sistema 2 con la prueba de videojuegos (y el sistema 3 con la prueba de benchmarks) es el mejor en lo que a tarjeta gráfica se refiere. Así que escogeríamos la tarjeta de este sistema si quisiéramos una buena tarjeta para jugar, que era el objetivo de este trabajo

    A la vista de los resultados se ve que la diferencia vista en el benchmark se ha mantenido con el videojuego por lo que se puede asegurar que tan válido es probar una tarjeta gráfica con benchmarks que con videojuegos + FRAPS

    Nota. En la carpeta comprimida se encuentran todos los gráficos obtenidos, los informes de Everest, los archivos generados para la evaluación con Performance Test y los archivos generados con la evaluación de FRAPS para los videojuegos.
    Hosted by www.Geocities.ws

    1