Modelos de respaldo actualizados antes de tiempo, eventos nacionales reconocidos y nuevos controles a las respuestas de asesoría
Pasamos los modelos de bienvenida y de respaldo de MAIA a una versión nueva, antes de que Google retire la anterior el 19 de noviembre, con dos pequeños retrocesos que aceptamos y uno que todavía estamos corrigiendo. Los mensajes proactivos ahora reconocen los eventos graves en un país, después de que nuestros mensajes a Panamá pasaran por alto el terremoto. Y definimos tres problemas nuevos que una respuesta de asesoría debe evitar, con instrucciones y herramientas de revisión para encontrarlos.
- 204 fallas reales en producción
- 302 muestras de conversaciones reales
- 34 derivados de conversaciones reales
- 74 casos límite escritos a mano
Lo más importante
Los mensajes proactivos ahora reconocen los eventos nacionales graves
Panamá tuvo un terremoto de magnitud 7,7 el 9 de octubre. Nuestros mensajes semanales de asesoría a Panamá salieron tres días después sin saberlo, y seis dueños respondieron hablando del sismo. Ahora existe una nota breve por país para eventos graves, redactada en nuestra revisión diaria de conversaciones y aprobada por una persona antes de activarse. Mientras está activa, la leen el mensaje semanal de asesoría, el seguimiento de 23 horas y el mensaje semanal de SABY. Los dos primeros días MAIA pregunta cómo están el dueño y su negocio y ofrece ayuda. Después reconoce el evento en una línea y sigue proponiendo un paso pequeño para el negocio, sin empujar ventas ni promociones que choquen con el momento. La nota vence sola a los cinco días.
Modelos de bienvenida y de respaldo actualizados, cinco semanas antes de su retiro
Google retira Gemini 3.6 Flash el 19 de noviembre. MAIA lo usa para dar la bienvenida a usuarios nuevos y como respaldo de varias tareas si nuestro proveedor principal (OpenAI) se cae. Esta semana pasamos todas esas funciones a Gemini 3.8 Flash en lugar de esperar, para tener tiempo de detectar problemas antes de la fecha límite. El enrutador de respaldo ahora razona más, lo que lo hace más lento (unos 13 a 19 segundos por llamada, frente a 3 a 8 del principal). Es aceptable porque solo actúa durante una caída. El costo no influyó en la decisión.
Tres controles nuevos sobre lo que hace buena una respuesta de asesoría
Leyendo conversaciones reales definimos tres problemas a eliminar: una respuesta que da información útil pero deja al dueño sin un siguiente paso claro; armar un plan sobre un precio sin antes compararlo con lo que cuestan productos parecidos en su zona; y repetir lo que se acaba de decir. Las instrucciones de asesoría ahora cubren los tres. También construimos dos herramientas de revisión. Un filtro señala a nuestros revisores las respuestas sospechosas, con una cita que explica por qué; la decisión la toma una persona, porque en casos que no ha visto todavía no es lo bastante confiable para decidir solo. Un verificador de datos contrasta las afirmaciones técnicas (dosis, normas, cifras) con nuestra base de conocimiento sectorial y con fuentes oficiales.
Correcciones y mejoras
Nuevo, en pruebas
- Pulso, una herramienta para que funcionarios públicos pregunten qué están viviendo los pequeños negocios, con respuestas basadas en conversaciones de MAIA anonimizadas. Nuestra política de privacidad solo permite usar datos anonimizados para investigación, así que Pulso nunca toca nada más, ni siquiera internamente. Esta semana construimos el proceso de anonimización y lo corrimos sobre todo el historial de Perú (790.000 mensajes de 7.700 dueños). Una primera pasada por patrones oculta teléfonos, números de identificación, correos, enlaces y direcciones; luego GPT-5.4 mini y dos pasadas independientes de Claude Haiku encuentran nombres de personas y de negocios, que se ocultan en todos los mensajes de ese dueño. En un conjunto de prueba de 5.659 mensajes, la versión final no filtró ningún nombre de persona. Una auditoría independiente con Claude Opus sobre 3.000 filas al azar todavía encontró un fragmento residual en el 0,6 % de los mensajes, casi siempre una sola mención del nombre de una tienda que las tres pasadas pasaron por alto. En todo el corpus serían unos 4.700 mensajes, y por eso la aplicación agrega una segunda línea de defensa: los funcionarios nunca ven conversaciones, las citas tienen como máximo 25 palabras y se omite cualquier conteo menor a 10. La aplicación está en pruebas internas y todavía no está abierta a nadie.
Calidad de la asesoría
- Cuando MAIA revisa de nuevo y cambia una respuesta provisional, ahora presenta el resultado como una orientación actualizada en lugar de disculparse por un error que no cometió. En 64 respuestas sobre 8 casos de prueba donde MAIA no tenía la culpa, los falsos "me equivoqué" bajaron de 8 a 3, los 3 en un mismo caso que antes también daba 3 de 8. En el conjunto de prueba aparte donde MAIA sí se equivocó, sigue reconociendo el error.
- Un usuario nuevo que empieza con una foto (por ejemplo "redacta un párrafo de esta imagen") ahora recibe una respuesta sobre la foto. Antes, la bienvenida no podía ver imágenes y le pedía reenviarla, y al menos un dueño se fue. Cerca de 1 de cada 100 usuarios nuevos empieza así.
- La verificación aritmética que corre en cada respuesta ahora lee bien los formatos numéricos en español (30 × 0,124 = 3,7 y $5.150.000), lo que elimina falsas alarmas sobre cálculos correctos.
Enfocados en el negocio
- MAIA estaba creando algunas imágenes puramente personales a pedido. Ahora esos pedidos se declinan desde el inicio, sin afectar las imágenes de negocio (fotos de producto, volantes, fotos de catálogo). Reproducido sobre 8 incidentes reales: 7 declinados, antes 1. Sin cambios en 85 pruebas de negocio y casos límite.
- La nota breve que MAIA agrega cuando alguien la usa sobre todo para asuntos personales ahora aparece menos y sigue la misma regla en las respuestas de texto que en las de imagen.
Radar de Oportunidades
- Los enlaces del Radar vencidos o a punto de vencer se renuevan antes de enviarse, para que ningún dueño toque un enlace muerto.
- Publicamos un artículo sobre cómo funciona el Radar y lo que nos ha enseñado (en inglés): The Opportunity Radar.
Confiabilidad y calidad de datos
- Tocar "Otra idea" debajo del mensaje semanal de asesoría se estaba registrando como si el dueño abandonara su meta: 10 de 13 de esos registros en un día llegaron segundos después de ese toque. Nada de lo que ven los usuarios leía ese registro, y ya no se escribe para estos dueños.
- Nuestro chequeo de salud de cada hora ahora distingue un error aislado que nuestro proveedor de WhatsApp reintenta automáticamente de una falla real, para que las alertas apunten a lo que necesita atención. Uno de esos errores, el 14 de octubre, se rastreó de punta a punta; no se perdió ningún mensaje.
- El registro de que se envió una nota de uso personal ahora se guarda junto con el propio mensaje, así que un envío fallido ya no puede contarse como entregado.
Evaluación
- Nuevas pruebas de regresión a partir de las revisiones de conversaciones de esta semana: consejos revisados tras una segunda mirada, un cuestionamiento sobre la dosis en café, elecciones numéricas y pedidos de imágenes personales.
- Las corridas de evaluación ahora registran el uso de tokens, y las pruebas del enrutador de respaldo reproducen exactamente la solicitud que envía producción, para que una prueba aprobada signifique lo mismo en producción.
Problemas conocidos en los que seguimos trabajando
- Si OpenAI se cae, el modelo de respaldo que escribe los seguimientos de 23 horas de SABY ahora omite cerca del 45 % de ellos, frente a cerca del 12 % del principal y cerca del 17 % del respaldo anterior. Gemini 3.8 y Claude Haiku leen las reglas de omisión de forma más literal que los modelos para los que se escribieron las instrucciones. Estamos preparando un ajuste a las instrucciones, que se volverá a probar antes de salir.
- Cuando un dueño indica un costo unitario claramente inverosímil, MAIA todavía puede armar un plan sobre él en vez de cuestionarlo. Las instrucciones de esta semana sobre revisar precios no corrigieron ese caso. Sigue en el conjunto de regresión como falla conocida mientras probamos un control en el código en lugar de en las instrucciones.
- En una conversación real de Panamá de julio, el dueño respondió "Sí" siete veces y MAIA repitió casi la misma lista unas cinco veces. Ese caso todavía falla con las instrucciones actuales y sigue en el conjunto de pruebas.
- Los mensajes semanales de asesoría y los seguimientos de 23 horas lanzados el 6 de octubre, y la memoria que los alimenta, se controlan reproduciendo muestras en vivo. Todavía no tienen un conjunto fijo de pruebas de regresión como las respuestas.
También esta semana
- Probado, no adoptado
- Claude Haiku 5.5 y GPT-6 luna para la bienvenida (lanzaron bien solo el 50 % y el 83 % de las veces, frente a cerca del 90 % de Gemini 3.8), y Claude Haiku como enrutador de respaldo (mandaba al modelo más fuerte demasiadas preguntas que debía responder él).
- Revertido
- Nada esta semana.
- Experimentos
- No hubo experimentos A/B en campo esta semana. Los dos últimos terminaron el 4 de octubre; el cierre descriptivo del segundo (una opción del Radar de Oportunidades en la bienvenida) está previsto para el 18 de octubre.
- Próximamente
- Gemini 3.6 Flash se retirará de nuestra pasarela de modelos antes del 19 de noviembre, cuando el tráfico confirme que ya nada lo llama.
Cambios de modelos y de instrucciones
Cambios en los modelos de IA que usa MAIA o en las instrucciones que siguen. Modelos principales sin cambios: OpenAI GPT-6 luna y GPT-5.6 luna para el enrutamiento y las respuestas de asesoría, y GPT-6 sol para las preguntas más difíciles.
| Fecha | Cambio | Dónde | Evidencia | Reversión |
|---|---|---|---|---|
| 13 oct | Instrucciones de asesoría: siguiente paso claro, comparar precios con el mercado local, no repetir | PerúPanamáColombiaBrasilOtros países | 451 respuestas por versión, 0 cambios consistentes | Reconstruir las instrucciones desde la versión anterior |
| 13 oct | Enrutador: pedidos de imágenes personales declinados desde el inicio | Todos los países | 8 incidentes reales: 7 declinados (antes 1); 0 cambios en 85 pruebas de negocio | Volver a desplegar la versión anterior del servicio principal |
| 14 oct | Gemini 3.6 Flash a Gemini 3.8 Flash en la bienvenida y en todas las funciones de respaldo; enrutador de respaldo con más razonamiento | Todos los países | Reproducciones por función; caída forzada aprobada; dos pequeños retrocesos y un problema conocido (ver arriba) | Volver a desplegar las versiones anteriores de los 8 servicios |
| 16 oct | Instrucciones de asesoría: las respuestas revisadas se presentan como orientación actualizada | PerúPanamáColombiaBrasilOtros países | Falsas disculpas de 8 a 3 de 64; los errores reales se siguen reconociendo | Reconstruir las instrucciones desde la versión anterior |
Servicio: Sin caídas. Un error transitorio rastreado, nada perdido.