Sí o no, en dos pasos
Preguntado si se podía ir con un perro, el modelo contaba los «sí» del estado en vez de leer el dato. Más datos no lo arreglaron; separar el problema, sí.
de acierto en sí o no sobre datos
Con «acepta mascotas: no» y otros datos en «sí», el modelo respondía «sí, 94 %» a «¿Puedo ir con mi perro?». Con el dato solo, acertaba. Había aprendido un atajo: responder según cuántos «sí» tenía el estado.
Probamos con más datos y con datos contrastivos, donde todos los demás atributos dicen lo contrario. Los estados mezclados seguían cerca del 50 %: leer el estado entero de una vez diluye el dato preguntado.
Lo que funcionó fue dividirlo en dos cosas que el modelo hace bien: primero elegir de qué dato habla la pregunta, y después leer solo ese dato. El acierto pasó de 48 % a 94,7 %.