Calibrar con frases que el modelo nunca vio
La primera calibración hizo al modelo más arrogante, no más honesto. El error estaba en con qué la medimos.
error de calibración (ECE) tras corregirlo
en el error de las preguntas de sí o no
Un modelo que dice «80 %» debería acertar el 80 % de las veces. Para lograrlo se ajusta una temperatura después de entrenar, con datos que el modelo no usó para aprender.
La primera vez usamos frases con las mismas formulaciones del entrenamiento. El modelo parecía seguro de todo y, ante frases nuevas, la calibración empeoró el error (de 0,130 a 0,137) y llegó a decir «facturación: 100 %».
Al calibrar con frases reservadas, que el modelo nunca vio, el error bajó a 0,105. La lección: una calibración vale lo que vale la distancia entre sus datos y el mundo real.
También cambiamos cómo se ajusta: un optimizador que podía divergir en silencio a «NaN» por una búsqueda en rejilla que no puede hacerlo.