• Cada sondeo pasado se compara con el resultado: en el tamaño de los bloques y en el reparto dentro de cada bloque.
• Ese error se compara con el de los sondeos de la misma elección y las mismas fechas: un fallo de todo el sector no penaliza.
• Con pocos sondeos manda una calidad previa puesta a mano; con muchos, lo medido. El rating va de 0 a 100.
• Cuentan todas las elecciones anteriores, generales y autonómicas; el herding se publica aparte y solo resta peso.

El punto de partida son las elecciones ya celebradas, con su resultado oficial. Cada sondeo publicado antes de ellas se compara con ese resultado; quedan fuera los agregadores, los paneles en línea, los sondeos de la veda y los de boca de urna. El error de un sondeo tiene dos partes:

• Entre bloques: cuánto se equivocó en el tamaño de los dos bloques principales, derecha e izquierda.
• Dentro del bloque: cuánto se equivocó en cómo se reparte cada bloque entre sus partidos, sea cual sea el tamaño del bloque. Así se distingue un sondeo que reparte mal los votos entre PSOE y SUMAR pero clava la suma de la izquierda de uno que se equivoca de bloque.

Las dos partes se combinan así:

Los errores se miden en una escala relativa, la de los log-odds (el logaritmo de la razón de probabilidades): en ella, dos puntos de error con un partido del 20 % son más error que con uno del 45 %. Cada bloque y cada partido cuenta en proporción a su voto real. En esa escala, el error dentro del bloque suele ser unas tres veces mayor que el de los bloques, porque la cuota del socio menor dentro de su bloque se mueve mucho en términos relativos; con los pesos de arriba, las dos partes acaban contando de hecho parecido.

Frente a qué. Un error grande no dice nada por sí solo: hay elecciones en las que fallan todas las encuestadoras, y un sondeo de tres meses antes de la votación suele fallar más que uno de la última semana sin que eso sea culpa de la encuestadora. Por eso, para cada elección, el modelo traza día a día el error medio de todos sus sondeos, con una regresión local como la del promedio (ponderada por la muestra y la sobrerrepresentación, no por el rating, que es lo que se está calculando). La desviación de un sondeo es su error menos el error medio de su fecha: d = E − Ē(t). Si es negativa, la encuestadora se equivocó menos que el sector en ese momento.

Si todo el sector subestimó a un partido, el error medio de esos días sube con él y la desviación de cada encuestadora apenas cambia: un fallo compartido no penaliza a nadie. La línea incluye a todas las encuestadoras de la elección, también a la propia. Y cuando la fecha tenía pocos sondeos con los que comparar, la línea es menos segura: la desviación del sondeo se encoge hacia cero, como si se pareciera más a la media, en proporción a esa incertidumbre.

La calidad previa se asigna a mano al curar los datos (ver Los datos): es una valoración, no un cálculo. Las encuestadoras que se añaden sin historial reciben una calidad baja. En Ranking Encuestadoras es la columna «Calidad».

El rating final R mezcla esa calidad Q con el rating ajustado R_aj, la nota que sale de los sondeos de la encuestadora (abajo), en proporción a cuántos sondeos la respaldan:

k vale 3: la calidad previa pesa como tres sondeos. Con n = 3, mitad y mitad; con menos, manda la calidad previa; con muchos más, lo medido. Una encuestadora sin sondeos evaluables tiene como rating su calidad previa.

n no es el número bruto de sondeos, sino su suma ponderada. Cada sondeo pesa por su muestra y su sobrerrepresentación, los dos primeros factores del peso en el promedio, y además:

• Por su posición: en cada elección, el último sondeo de la encuestadora pesa 1, el anterior 0,5, el anterior 0,25 y así sucesivamente.
• Por su cercanía a la votación: cada semana más lejos multiplica el peso por 0,7. Por este factor, un sondeo de tres meses antes pesa menos de la centésima parte que uno de la última semana, y los sondeos con un peso total por debajo de una centésima se descartan.
• Por su antigüedad: cada año de distancia con la elección más reciente multiplica el peso por 0,9.
• Por su ámbito: cada sondeo de unas autonómicas pesa la mitad que uno de unas generales (ver Un ranking global).

Con estos pesos, cada elección aporta pocos sondeos efectivos por encuestadora, así que la calidad previa cuenta mucho hasta que la encuestadora acumula varias elecciones.

La desviación de la encuestadora. Es la media de las desviaciones de sus sondeos, con los pesos de arriba. Se encoge otra vez hacia cero según su incertidumbre: con pocos sondeos ponderados, la encuestadora se acerca a la media del sector, porque pocos aciertos pueden ser suerte.

El rating ajustado. Esa desviación d se convierte en una nota de 0 a 100:

Φ es la función de distribución normal: la parte de una campana de Gauss que queda por debajo de un valor. τ es la escala, 0,01 en la escala de los log-odds. Una encuestadora que se equivoca como la media del sector (d = 0) saca 50; una cuya desviación es −τ, 84; con −2τ, 98. Una que falla más que el sector queda por debajo de 50 de forma simétrica: +τ da 16.

El rating final. Es la mezcla del rating ajustado con la calidad previa, con la fórmula de la sección anterior. También va de 0 a 100, y es el que se publica. En el perfil de cada encuestadora, el «Camino al rating» muestra elección a elección los dos, el ajustado y el final.

Cómo entra en el promedio. El rating de cada elección se calcula solo con las elecciones anteriores, y con él se pesan los sondeos de esa elección. Su factor en el peso de un sondeo es ln(1 + R/100) / ln(1 + R̄/100), con R̄ el rating medio de las encuestadoras: una encuestadora de rating medio pesa 1, el peso crece con el rating cada vez más despacio y un rating 0 no pesa nada. Una encuestadora sin rating calculado entra con su calidad previa en lugar del rating, y entonces el denominador es la calidad previa media de las encuestadoras, no el rating medio. Cómo se combina con los demás factores del peso se cuenta en Cuánto pesa cada sondeo.

Para calificar a las encuestadoras de cara a una elección cuentan los sondeos de todas las elecciones, generales y autonómicas, que cumplan dos condiciones:

• Tienen resultado oficial y al menos diez sondeos útiles.
• Se celebraron estrictamente antes. Las elecciones de un mismo día no se ven entre sí; las generales de julio de 2023 sí ven las autonómicas de mayo.

Las autonómicas cuentan menos: cada sondeo de unas autonómicas pesa la mitad que uno de unas generales. Es el peso que el catálogo de ámbitos da a cada comunidad, y es el mismo en todos los rankings, también en el de la propia comunidad.

Hay un ranking por ámbito, el de su próxima elección. Como todos se alimentan de la misma historia, una encuestadora puede tener rating en una comunidad en la que aún no ha publicado: lo que sabemos de ella viene de las demás.

Las columnas de Ranking Encuestadoras:

• Rating y Calidad: el rating final y la calidad previa, de 0 a 100.
• Sondeos: los que entran en el cálculo, tras descartar los de peso ínfimo. Elecciones: en cuántas publicó, contando cada ámbito y fecha por separado (dos autonómicas del mismo día cuentan dos).
• Error medio: la distancia media, en puntos, entre sus sondeos y el resultado de cada partido principal. Sesgo del margen: la media, con signo, de cuánto se equivocaron sus sondeos en la diferencia entre los dos bloques principales. Las dos son medias ponderadas con los pesos del rating y describen a la encuestadora, pero no entran en la nota: la nota sale solo de la desviación.
• Herding: la medida de la sección siguiente.

La medida. Una encuestadora con cinco o más sondeos con muestra publicada en un ciclo se compara con el promedio calculado sin sus sondeos, para que no lo arrastre hacia ella. En las cuatro series principales, las de más voto medio en los sondeos, se mide cuánto oscilan sus cifras alrededor de ese promedio, descontada su inclinación propia, y se compara con lo que permitiría el azar del muestreo con sus muestras, p(1 − p)/n: h = √(Σ residuo² / Σ varianza esperada). Un valor cerca de 1 es lo esperable; por debajo de 1, sus cifras se mueven menos de lo que permite el azar.

Puede deberse a seguir al consenso, a entrevistar siempre al mismo panel, a ponderar por recuerdo de voto o a suavizar sus propias oleadas. La medida no distingue entre ellas, pero para el promedio dan igual: sus sondeos aportan menos información independiente de lo que sugiere su muestra.

En Ranking Encuestadoras, «Herding» reúne los ciclos del ámbito hasta hoy, el actual incluido, porque no necesita el resultado; cada ciclo pesa 0,9 por año de antigüedad, como en el rating. La tabla da también el del último ciclo y su p-valor: la probabilidad de un valor tan bajo si no hubiera herding.

Por qué no entra en el rating. El rating mide el error frente al sector, y una encuestadora pegada al consenso tiende a fallar como el sector: la desviación no la distingue. Contarlo también en el rating penalizaría dos veces. La penalización va por el peso.

Qué hace en el peso. En el ciclo que se promedia, una encuestadora por debajo de 1 pesa como una muestra más pequeña: su peso por muestra se multiplica por su herding ya acercado a 1, más cuanto menos sondeos tiene; llamando h′ a ese valor acercado, es como si cada sondeo tuviera su muestra multiplicada por h′². Con la encuestadora que oscila de más pasa lo mismo al revés: pesa como la muestra que produciría esa oscilación. Los detalles están en Cuánto pesa cada sondeo.