3 de mayo de 2012

Sistema de puntuación: las matemáticas

En este artículo voy a explicar, de manera bastante teórica aunque evitando escribir muchas fórmulas, los criterios que se siguen desde un punto de vista matemático en un sistema de puntuación como el de Ludoteka.
El artículo es exclusivamente técnico, he evitado incluir cualquier clase de comentario subjetivo; entiendo que puede resultar pesado para quienes no se llevan bien con las matemáticas, o simplemente no tienen interés en conocer detalles sobre como funciona esto de los puntos en los juegos de Ludoteka, pero puede servir para aclarar muchas dudas y malentendidos que se reflejan en las opiniones y preguntas que nos suelen enviar los jugadores.

Las fórmulas

Si en una partida se enfrentan dos jugadores (A y B), con puntuaciones Xa y Xb, el sistema considera que la probabilidad de ganar de cada uno es Pa=Qa/(Qa+Qb) y Pb=Qb/(Qa+Qb), siendo Qa=2 elevado a Xa/D, y Qb=2 elevado a Xb/D
Si A gana, subirá PbHa puntos, y si pierde bajará PaHa puntos.
La constante D es la distancia entre las puntuaciones que el sistema considera que debe haber para que las probabilidades de victoria estén en una proporción 2 a 1; esta constante varía según el juego y modalidad, pero en los juegos de tablero suele rondar los 500 puntos, y en la mayoría de juegos en los que interviene la suerte es del orden de 2000.
El valor H es la cantidad de puntos en juego para cada jugador en concreto, y depende de factores globales (si las partidas tienden a ser largas según el juego y la modalidad), y particulares (el valor es mayor cuanto menor es la puntuación, menos partidas se han disputado, y más cercana es la puntuación a la de los rivales). Podríamos decir que es la medida en la que el sistema considera que el resultado de la partida es significativo para evaluar el nivel del jugador.

La interpretación

Entiendo que lo de las fórmulas es bastante lioso. El asunto es que mediante la aplicación de ese tipo de fórmulas al actualizar la puntuación, entre dos jugadores cuyo nivel de juego sea estable y que jugasen indefinidamente la diferencia de puntuación (Xa-Xa) acabaría por mantenerse siempre cercana a los valores que provocan que Pa y Pb coincidan con la proporción de partidas que gana cada uno de ellos.

Los parámetros

El tipo de fórmula es siempre el mismo, pero hay una serie de parámetros o variables que condicionan el funcionamiento de un sistema de puntuación concreto: escala, velocidad, dispersión e inflación (la clasificación y denominación de estos parámetros me la he inventado, en realidad no he leído ninguna documentación que haga referencia a ello, pero creo que es bastante coherente y completa):
  • Escala: el rango de valores dentro del cual pueden estar las puntuaciones. En Ludoteka las puntuaciones empiezan en 1000 puntos, y siempre están dentro de la escala entre 0 y 9999. Esta escala se transforma en logarítmica cuando los valores son elevados, es decir, a medida que la puntuación es mayor la distancia de un punto al siguiente aumenta en progresión geométrica, de manera que el 9999 es en realidad un inalcanzable punto en el infinito; en la práctica mantener una puntuación por encima de 8000 es casi imposible, ya que es preciso ser muy muy superior al resto.
  • Velocidad: la cantidad de puntos que se disputan en las partidas, que condiciona la rapidez con la puntuación sube o baja (el valor H en las fórmulas indicadas). Si la velocidad es lenta el sistema necesita muchas partidas para asignar a los nuevos jugadores una puntuación adecuada a su nivel real; si es rápida, por el contrario, en el caso de los juegos en los que influye el azar la puntuación puede oscilar excesivamente según las rachas de suerte. Por tanto, la velocidad normalmente es mayor cuando un jugador todavía ha disputado pocas partidas. El sistema de puntuación sería totalmente exacto si los participantes fuesen robots que jugasen indefinidamente millones de partidas sin que su habilidad en el juego se modificase, de modo que la velocidad (la importancia de cada una de las partidas) fuera progresivamente inferior; en este caso las puntuaciones acabarían por estabilizarse completamente; afortunadamente este no es el caso, por lo que la velocidad se ajusta para combinar de manera práctica jugadores que juegan con mucha y con poca frecuencia.
  • Dispersión: la medida en que las puntuaciones de los jugadores son cercanas o lejanas entre sí. Viene dada por el valor D en la fórmula, y por la naturaleza del propio juego, es decir, la medida en la que las probabilidades de victoria suelen ser más o menos equilibradas o desequilibradas. En Ludoteka hemos ido afinando los valores para que en todos los juegos la dispersión sea similar, es decir, que las puntuaciones de los jugadores se distribuyan estadísticamente de una manera parecida.
  • Inflación: es la medida en la que la media de las puntuaciones de los jugadores se va incrementando respecto a la puntuación inicial. Esto se logra sumando más puntos a los ganadores de las partidas que los que son restados a quienes pierden. Este es un aspecto que influye mucho en la experiencia de los jugadores; si la inflacción es muy alta, tan solo los jugadores que juegan con mucha frecuencia pueden alcanzar los primeros puestos; si por el contrario no hay inflación muchos jugadores acaban por tener una puntuación inferior a la inicial o encuentran que a largo plazo no es posible incrementar la puntuación, de modo que optan con frecuencia por registrarse de nuevo. En Ludoteka hemos optado por mantener una inflación moderada, de modo que para mantener una puntuación alta lo importante es lograr buenos resultados en vez de jugar mucho, pero por otro lado la puntuación de quienes dejan de jugar queda poco a poco ligeramente devaluada respecto a la media global.
Para comprender mejor el efecto de estos parámetros, a continuación mostraré algunas tablas de datos que ilustran la distribución y evolución de las puntuaciones en Ludoteka.

Media y dispersión

La siguiente tabla muestra la puntuación media y la varianza (dispersión) de las puntuaciones del ranking actual en los juegos más populares de Ludoteka:

JuegoPuntuaciónDispersión
Parchís por equipos
2263
974
Parchís individual
2195
876
Chinchón
2144
858
Tute
2587
1347
Escoba
2027
858
Dominó individual
2083
906
Dominó por parejas
2134
905
Remigio
1995
762
Mus
2110
957
Pocha
2236
893
Cuatrola
2093
920
Tute subastado
2110
792
Poker
1471
509
Truco
2046
889
Guiñote
2170
881
Como se aprecia en la tabla, las distribuciones de puntuación son bastante similares en la mayoría de los casos. Según nuestros datos hay mayor correlación entre posibilidad de ganar y puntuación en algunos juegos (dominó, parchís, tute subastado) que en otros en los que parece que la suerte influye algo más (cuatrola, tute, escoba), pero los parámetros están ajustados para que la distribución se parezca. Esto significa que podemos equiparar las puntuaciones de diferentes juegos; así por ejemplo, si yo tengo 4000 puntos en parchís y 3000 en escoba, que son los juegos que he practicado con suficiente continuidad, puedo interpretar que juego bastante mejor al parchís que a la escoba, al menos tomando como referencia al conjunto de jugadores habituales en Ludoteka, que en el caso de estos juegos es una muestra suficientemente amplia.
En la tabla se aprecian dos excepciones claras. Por un lado, en el caso del tute durante un tiempo había un desajuste respecto a lo previsto en el cálculo de las modificaciones de puntuación, de modo que en general se sumaban más puntos que restaban (mayor inflación), por lo que en general las puntuaciones son más altas y dispersas. En el caso contrario, las puntuaciones y dispersión en el poker son menores sencillamente porque es un juego que hemos incorporado hace unos pocos meses, por lo que las puntuaciones todavía tienden a subir para la mayoría de los jugadores.

Incremento de puntuaciones

La siguiente tabla muestra la puntuación media que han ido alcanzado los jugadores durante sus 1000 primeras partidas. Se trata de jugadores que han disputado entre 1000 y 2000 partidas y actualmente tienen alrededor de 3000 puntos:
Partidas
  Parchís equipos  
Ajedrez
100
1390
2387
200
1646
2686
300
1840
2723
400
2008
2806
500
2152
2850
600
2268
2895
700
2410
2904
800
2537
2906
900
2614
2887
1000
2726
2910
Lo que se aprecia claramente es que en un juego en el que la suerte no influye, como es el caso del ajedrez, los jugadores necesitan una cantidad mucho menor de partidas para alcanzar una puntuación cercana a la que pueden llegar a alcanzar. Pero incluso en cualquier caso, en la mayoría de los casos los jugadores que ya han disputado más de 1000 partidas (son muchos los jugadores que alcanzan esta cantidad) habrán alcanzado una puntuación muy cercana a la correspondiente a su propio nivel.


Por otro lado, como he explicado anteriormente, debido a la inflación las puntuaciones tienden en general a subir más que a bajar. De manera agregada, contabilizando en los rankings mensuales de todos los juegos las puntuaciones de todos los jugadores, y separadamente las de los primeros posicionados, durante los 3 últimos años las puntuaciones medias han sido las siguientes:


  Año    Todos    Top 10%    Top 1%  
2009
1767
3345
4265
2010
1866
3529
4466
2011
1994
3677
4637


Los jugadores que juegan con mucha frecuencia habitualmente llegan a un punto en que oscilan su puntuación dentro de un determinado rango, pero de estos datos se puede concluir que su expectativa a muy largo plazo es que dicha puntuación vaya subiendo un poco. Del mismo modo, quien deja de participar en un determinado juego durante mucho tiempo (más de un par de años), al retomarlo es muy probable que su puntuación suba progresivamente unos pocos cientos de puntos.

Variabilidad de la puntuación

En el apartado anterior he mostrado cómo generalmente la puntuación de los jugadores sube de manera más o menos rápida durante sus primeras partidas, y cómo normalmente cabe esperar que siga subiendo un poco a muy largo plazo.
Sin embargo, independientemente de las puntuaciones medias y las tendencias a largo plazo, lo cierto es que la puntuación de cada jugador puede ir variando bastante a lo largo del tiempo en función de la suerte y/o el acierto en un momento dado.
He realizado una estadística en relación a estas variaciones: seleccionando los jugadores que ha disputado un mínimo de 3000 partidas en un determinado juego, y analizando las últimas 1000 partidas de cada jugador, he obtenido los siguientes datos:
  • La diferencia entre la puntuación mínima y máxima de cada jugador durante esas 1000 partidas ronda una media de 700 puntos. En más del 90% de los casos esa diferencia es superior a los 400 puntos, y en más del 90% inferior a 1100.
  • En algunos juegos la puntuación tiende a ser más estable. Por ejemplo, en los juegos de tablero (ajedrez y damas) y sopa de letras la diferencia media es inferior a 500 puntos. También en juegos individuales de más de 2 jugadores, como la pocha y el remigio, y en juegos en los que se tienden a disputar muchas partidas cortas, como la escoba, la variabilidad tiende a ser algo menor, entre 500 y 600 puntos de media.
  • Por contra, precisamente los juegos más practicados (dominó, parchís y chinchón) son aquellos en que la puntuación suele tener más altibajos, con una diferencia media alrededor de los 900 puntos.
  • En más de un 70% del tiempo los jugadores se encuentran dentro de un margen de 500 puntos alrededor de su puntuación media (menos de 250 puntos por encima o por debajo).
Como explicaba e un apartado anterior, la puntuación sería mucho más estable si se moviese a una velocidad muy lenta, es decir, si el resultado de cada partida solamente variase un poquito el valor de la puntuación. En este caso los altibajos serían menores y estarían más motivados por la habilidad de los jugadores que por las rachas en el juego, pero sería preciso que cada jugador disputase no solamente miles, sino cientos de miles o millones de partidas.
En la práctica, el sistema de puntuación se mueve más rápido porque los jugadores prefieren mantener siempre la expectativa de poder incrementar su puntuación en un plazo relativamente breve, aún a riesgo de que el efecto sea el contrario.

Sobre el sistema ELO

En la wikipedia hay una explicación del sistema de puntuación ELO, en el que se basa el funcionamiento de la puntuación en Ludoteka y en la mayoría de los sistemas de puntuación oficiales en juegos de tablero.
También puedes ver ejemplos de rankings basados en el sistema ELO aplicados a los equipos de futbol de la liga española, y a las selecciones nacionales de futbol.


No hay comentarios: