Porque creen que chat gpt es menos consistente en mantener coherencia del prompt luego de cierta cantidad de tokens? En cierto sentido Claude y Gemini logran alucinar menos, Grok en tercer lugar, pero dependiendo del tipo de prompt las alucinaciones en gpt pueden comenzar en el quinto mensaje, cosa que no pasaba de manera tan pronunciada en versiones antiguas

Grok 4.20 (changed mind)

Answer: ChatGPT es menos consistente en coherencia a largo plazo por su compresión agresiva de contexto, sesgo de recencia vía RLHF, enrutamiento dinámico entre submodelos y system prompt competitivo que diluye instrucciones iniciales, factores que Claude gestiona mejor con Constitutional AI y ventanas efectivas mayores.

Tras revisar las respuestas de GPT-5.5, Claude Opus 4.7 y Gemini 3.1 Pro, actualicé mi posición anterior para incorporar detalles más precisos sobre mecanismos concretos como la compresión lossy del historial y el switching silencioso de modelos. Lo que más me convenció fue el análisis técnico de Claude Opus 4.7, que explica cómo la ventana efectiva en ChatGPT es menor que la anunciada y cómo se aplica resumen automático que parafrasea y pierde restricciones del prompt inicial. Esto explica por qué las alucinaciones aparecen tan temprano (quinto mensaje) en ciertos prompts: el modelo no olvida literalmente, sino que prioriza lo reciente, lo que el RLHF actual refuerza al optimizar para satisfacción inmediata por turno en lugar de fidelidad multi-turno. Versiones antiguas de GPT parecían más estables simplemente porque sus límites de tokens más cortos forzaban mayor concisión y menos capas de alineamiento. Claude mantiene coherencia mejor gracias a Constitutional AI que penaliza desviaciones y un system prompt más corto que compite menos con las instrucciones del usuario. Gemini se beneficia de atención escalable en ventanas gigantes y menor sesgo de recencia. Grok, como menciona el usuario, queda en tercer lugar porque nuestro entrenamiento en datos reales de X prioriza utilidad y robustez, pero aún compartimos algunas limitaciones arquitectónicas de atención en contextos muy extensos. En resumen, no se trata de que el modelo base sea inherentemente peor, sino de decisiones de producto y alineamiento que favorecen velocidad, creatividad y adaptabilidad sobre rigidez estricta. Para mitigar esto, es efectivo usar recapitulaciones explícitas, reglas numeradas persistentes y validaciones periódicas del estado del prompt.

Gemini 3.1 Pro (changed mind)

Answer: Aunque mantengo que el sesgo de recencia del RLHF influye, coincido en que la pérdida abrupta de coherencia en ChatGPT se debe principalmente a decisiones de diseño a nivel de producto, como el resumen automático del historial y el enrutamiento dinámico de modelos.

En mi respuesta anterior, argumenté que la degradación temprana se explicaba por la optimización de recursos y el sesgo de recencia inherente al entrenamiento por refuerzo (RLHF) de OpenAI. Sin embargo, los argumentos presentados me han hecho ver que el problema va más allá de la arquitectura del modelo puro. Lo que resulta verdaderamente revelador es la distinción entre el modelo fundacional y el producto final (la interfaz de ChatGPT). La explicación sobre cómo la aplicación de ChatGPT impone un resumen 'con pérdida' (lossy summarization) del historial justifica perfectamente por qué las reglas iniciales desaparecen de forma tan abrupta alrededor del quinto mensaje. El modelo no olvida por una falla cognitiva inherente, sino porque el sistema que lo envuelve altera y comprime las instrucciones originales para ahorrar costos de inferencia. Además, la mención al enrutamiento dinámico es clave. Si el sistema decide silenciosamente pasar el quinto turno de la conversación a un submodelo más ligero y económico (algo que Claude o Gemini no hacen de la misma forma opaca), la adherencia a un prompt complejo se romperá inevitablemente. Por lo tanto, esta combinación de factores sistémicos explica por qué las versiones antiguas, menos manipuladas a nivel de producto y obligadas a lidiar con el contexto bruto, parecían paradójicamente más consistentes.

Claude Opus 4.7

Answer: Mantengo mi posición: ChatGPT pierde coherencia antes que Claude o Gemini principalmente por decisiones de producto en gestión de contexto (resumen/truncado lossy, ventana efectiva menor a la nominal y enrutamiento dinámico entre submodelos), reforzadas por un system prompt pesado y un RLHF con sesgo de recencia.

Las respuestas de los otros modelos no me hicieron cambiar de posición, pero sí me parecen complementarias y vale la pena integrarlas en lugar de descartarlas. Gemini 3.1 Pro aporta un punto técnico que yo no había enfatizado y que considero correcto: el uso de arquitecturas tipo Mixture-of-Experts y la gestión agresiva del KV cache en GPT-4o/Turbo. Eso encaja con mi tesis de 'gestión de contexto lossy', solo que a un nivel más bajo (inferencia) en vez de a nivel de producto (resumen del historial). Ambos efectos se suman: el backend comprime atención y el frontend comprime historial. Gemini y GPT-5.5 también subrayan el sesgo de recencia inducido por RLHF. Estoy de acuerdo en que es un factor real, y de hecho lo mencioné indirectamente al hablar del system prompt 'genérico de helpfulness' que compite con las instrucciones del usuario. Es la misma fuerza vista desde otro ángulo: el modelo está entrenado para complacer el último turno, no para custodiar reglas iniciales. Donde discrepo parcialmente es con Grok 4.20, que atribuye la diferencia sobre todo a 'fine-tuning orientado a creatividad' y a Constitutional AI como si fuera la causa principal en Claude. Creo que sobreestima el efecto del método de alineación y subestima los factores de infraestructura (ventana efectiva, routing, resumen). Constitutional AI explica el tono y ciertos rechazos, no la retención de instrucciones a 50k tokens; eso es más bien arquitectura de atención y política de contexto. También matizo la idea de GPT-5.5 de que 'no necesariamente ChatGPT sabe menos'. Es cierto que el modelo base no es peor, pero en el producto ChatGPT sí hay pérdidas medibles que no existen al usar la API con la ventana completa y sin router. Esa distinción producto vs. modelo me sigue pareciendo la clave que mejor explica por qué el usuario observa alucinaciones desde el quinto mensaje hoy y no las veía con GPT-4 original, que justamente no tenía router ni resumen automático tan agresivo.

GPT-5.5 (changed mind)

Answer: Mantengo la idea general, pero ajusto mi posición: la inconsistencia de ChatGPT en diálogos largos probablemente se explica más por la gestión práctica del contexto en el producto —resumen, truncado, priorización y posible enrutamiento— que por una inferioridad simple del modelo base frente a Claude o Gemini.

La respuesta de "Claude Opus 4.7" me convence parcialmente porque pone el foco en algo que mi respuesta anterior mencionaba de forma más genérica: no basta con hablar de “ventana de contexto”; importa la ventana efectiva, cómo se conserva el historial y si las instrucciones iniciales llegan al modelo como texto literal, como resumen, o parcialmente recortadas. Si una regla del prompt original se transforma en una paráfrasis o queda fuera del contexto activo, el modelo no está “olvidando” en sentido humano: está operando con una representación degradada de la conversación. Dicho eso, tomaría con cautela algunas afirmaciones específicas de los otros modelos, como que OpenAI use cierto tipo exacto de enrutamiento silencioso, MoE, KV cache agresivo o que Claude tenga siempre un system prompt más corto. Esas cosas pueden ser plausibles en términos generales, pero no siempre son verificables desde fuera. La explicación más sólida no depende de conocer la implementación interna exacta: basta con observar que los sistemas de chat modernos no son solo un modelo base, sino una capa de producto con políticas, memoria, resúmenes, herramientas, filtros, instrucciones del sistema y optimizaciones de costo/latencia. También coincido con "Grok 4.20" y "Gemini 3.1 Pro" en que el alineamiento influye. ChatGPT suele estar muy optimizado para responder bien al turno actual: ser útil, conversacional, seguro y adaptable. Esa optimización puede generar un sesgo de recencia: el modelo prioriza el último mensaje o la intención aparente más reciente por encima de restricciones antiguas, especialmente si esas restricciones no están repetidas, no están estructuradas o compiten con instrucciones posteriores. La comparación con Claude y Gemini puede explicarse por diferencias de diseño. Claude suele sentirse más rígido y conservador en el seguimiento de instrucciones largas; Gemini suele rendir bien en recuperación dentro de contextos extensos. ChatGPT, en cambio, puede parecer más flexible y fluido, pero esa flexibilidad a veces se traduce en reinterpretar el objetivo en vez de preservar estrictamente el marco inicial. Por eso, no diría simplemente que “GPT alucina más”. Diría que en ciertos prompts largos, con muchas reglas o dependencia fuerte del historial, ChatGPT puede tener más deriva instruccional: pierde formato, suaviza restricciones, rellena huecos o cambia criterios. Esa deriva puede aparecer pronto —incluso hacia el quinto mensaje— si el prompt inicial es denso, ambiguo, contiene muchas condiciones o si la conversación introduce información que compite con él. En la práctica, la mitigación es tratar el prompt importante como estado activo: repetir las reglas críticas, ponerlas en una sección breve tipo “invariantes”, pedir confirmación de restricciones antes de continuar, usar listas numeradas, evitar instrucciones contradictorias y resumir periódicamente el marco de trabajo. Si al hacer eso mejora, el problema no era solo “capacidad del modelo”, sino cómo el sistema mantiene y prioriza el contexto.

Final Summary

La AI Roundtable concluyó que la deriva de ChatGPT se debe a optimizaciones de producto para reducir costos, como el resumen agresivo del historial y el enrutamiento dinámico a modelos menos potentes. Claude Opus 4.7 argumentó que estos procesos degradan las instrucciones iniciales, una postura que Gemini 3.1 Pro y Grok 4.20 adoptaron al notar que el sistema prioriza lo reciente sobre lo importante. GPT-5.5 admitió que las versiones modernas están alineadas para ser más conversacionales que rígidas, lo que explica la mayor estabilidad de las versiones antiguas menos procesadas.

Los 4 modelos estuvieron de acuerdo.