Registro de cambios

Qué cambió en MAIA

MAIA incorpora mejoras cada semana. Este registro cuenta qué cambió, dónde aplica, cómo lo probamos y qué todavía no funciona bien.

Ver cambios para

Modelos de respaldo actualizados antes de tiempo, eventos nacionales reconocidos y nuevos controles a las respuestas de asesoría

Pasamos los modelos de bienvenida y de respaldo de MAIA a una versión nueva, antes de que Google retire la anterior el 19 de noviembre, con dos pequeños retrocesos que aceptamos y uno que todavía estamos corrigiendo. Los mensajes proactivos ahora reconocen los eventos graves en un país, después de que nuestros mensajes a Panamá pasaran por alto el terremoto. Y definimos tres problemas nuevos que una respuesta de asesoría debe evitar, con instrucciones y herramientas de revisión para encontrarlos.

12
versiones en producción
Cada una aprobada antes de salir, con un plan de reversión escrito y una verificación de que la versión nueva es la que está atendiendo. 7 se reprodujeron sobre conversaciones grabadas; 5 se cubrieron con pruebas automáticas o en nuestro número de prueba. La actualización de modelos, que tocó 8 servicios, cuenta como una.
117
corridas de evaluación esta semana
Cada una registra los modelos y las huellas de las instrucciones y de los resultados. El registro empezó el 11 de octubre.
614
pruebas de regresión
Casos que nunca queremos volver a responder mal, según su origen:
  • 204 fallas reales en producción
  • 302 muestras de conversaciones reales
  • 34 derivados de conversaciones reales
  • 74 casos límite escritos a mano
2.948
emprendedores activos
En los 30 días al 16 de octubre, con 84.750 mensajes. Las mismas cifras del contador en vivo de nuestra página de inicio.

Lo más importante

Todos los paísesPanamá

Los mensajes proactivos ahora reconocen los eventos nacionales graves

Panamá tuvo un terremoto de magnitud 7,7 el 9 de octubre. Nuestros mensajes semanales de asesoría a Panamá salieron tres días después sin saberlo, y seis dueños respondieron hablando del sismo. Ahora existe una nota breve por país para eventos graves, redactada en nuestra revisión diaria de conversaciones y aprobada por una persona antes de activarse. Mientras está activa, la leen el mensaje semanal de asesoría, el seguimiento de 23 horas y el mensaje semanal de SABY. Los dos primeros días MAIA pregunta cómo están el dueño y su negocio y ofrece ayuda. Después reconoce el evento en una línea y sigue proponiendo un paso pequeño para el negocio, sin empujar ventas ni promociones que choquen con el momento. La nota vence sola a los cinco días.

Cómo lo probamos Lo reprodujimos sobre los envíos reales a Panamá del 12 de octubre. Los 6 seguimientos (2 corridas cada uno) reconocieron el evento en una línea y mantuvieron el paso para el negocio. En los mensajes semanales con plantilla, cerca de un tercio lo reconoció, porque la plantilla deja un solo espacio corto; el resto mantuvo un paso suave, sin choque. Activo en los seguimientos desde el 12 de octubre y en los mensajes semanales desde el 13, incluido SABY Kenia. SABY Jordania queda fuera mientras está en pruebas.
Todos los países

Modelos de bienvenida y de respaldo actualizados, cinco semanas antes de su retiro

Google retira Gemini 3.6 Flash el 19 de noviembre. MAIA lo usa para dar la bienvenida a usuarios nuevos y como respaldo de varias tareas si nuestro proveedor principal (OpenAI) se cae. Esta semana pasamos todas esas funciones a Gemini 3.8 Flash en lugar de esperar, para tener tiempo de detectar problemas antes de la fecha límite. El enrutador de respaldo ahora razona más, lo que lo hace más lento (unos 13 a 19 segundos por llamada, frente a 3 a 8 del principal). Es aceptable porque solo actúa durante una caída. El costo no influyó en la decisión.

Cómo lo probamos Cada función se reprodujo sobre conversaciones grabadas frente al modelo anterior, y luego forzamos una caída completa en nuestro número de prueba para confirmar que el respaldo responde de punta a punta. No todo salió mejor. En nuestro conjunto de 40 casos de enrutamiento, el nuevo enrutador de respaldo acierta el 98 % y detecta el 94 % de las preguntas que necesitan el modelo más fuerte. En una prueba de estrés con los 8 casos más difíciles, corridos tres veces cada uno, acertó 21 de 24, frente a 23 del modelo anterior y 24 de nuestro enrutador principal. Un error significa que el respaldo responde por sí mismo una pregunta difícil en vez de pasarla al modelo más fuerte, así que el dueño recibe una respuesta más débil, y solo durante una caída. La bienvenida termina en el turno correcto cerca del 90 % de las veces, frente al 94 % antes (un caso difiere de forma constante), y un juez a ciegas prefirió la bienvenida del modelo nuevo 70 a 39. El respaldo de los seguimientos de SABY salió claramente peor; ver Problemas conocidos.
PerúPanamáColombiaBrasilOtros países

Tres controles nuevos sobre lo que hace buena una respuesta de asesoría

Leyendo conversaciones reales definimos tres problemas a eliminar: una respuesta que da información útil pero deja al dueño sin un siguiente paso claro; armar un plan sobre un precio sin antes compararlo con lo que cuestan productos parecidos en su zona; y repetir lo que se acaba de decir. Las instrucciones de asesoría ahora cubren los tres. También construimos dos herramientas de revisión. Un filtro señala a nuestros revisores las respuestas sospechosas, con una cita que explica por qué; la decisión la toma una persona, porque en casos que no ha visto todavía no es lo bastante confiable para decidir solo. Un verificador de datos contrasta las afirmaciones técnicas (dosis, normas, cifras) con nuestra base de conocimiento sectorial y con fuentes oficiales.

Cómo lo probamos Probado sobre 451 respuestas por versión (más 34 turnos con fotos), con 0 cambios consistentes a nivel de caso en el conjunto de regresión. Contado directamente en las respuestas, sin juez: las respuestas que terminan con una pregunta propia bajaron de 31 % a 26 %, y las que hacen dos preguntas o más bajaron de 35 % a 25 %. En una primera corrida sobre 48 respuestas, el verificador marcó 4, todas reales, sin falsas alarmas; cuántos errores reales se le escapan todavía no está medido.

Correcciones y mejoras

Nuevo, en pruebas

  • Pulso, una herramienta para que funcionarios públicos pregunten qué están viviendo los pequeños negocios, con respuestas basadas en conversaciones de MAIA anonimizadas. Nuestra política de privacidad solo permite usar datos anonimizados para investigación, así que Pulso nunca toca nada más, ni siquiera internamente. Esta semana construimos el proceso de anonimización y lo corrimos sobre todo el historial de Perú (790.000 mensajes de 7.700 dueños). Una primera pasada por patrones oculta teléfonos, números de identificación, correos, enlaces y direcciones; luego GPT-5.4 mini y dos pasadas independientes de Claude Haiku encuentran nombres de personas y de negocios, que se ocultan en todos los mensajes de ese dueño. En un conjunto de prueba de 5.659 mensajes, la versión final no filtró ningún nombre de persona. Una auditoría independiente con Claude Opus sobre 3.000 filas al azar todavía encontró un fragmento residual en el 0,6 % de los mensajes, casi siempre una sola mención del nombre de una tienda que las tres pasadas pasaron por alto. En todo el corpus serían unos 4.700 mensajes, y por eso la aplicación agrega una segunda línea de defensa: los funcionarios nunca ven conversaciones, las citas tienen como máximo 25 palabras y se omite cualquier conteo menor a 10. La aplicación está en pruebas internas y todavía no está abierta a nadie. Perú

Calidad de la asesoría

  • Cuando MAIA revisa de nuevo y cambia una respuesta provisional, ahora presenta el resultado como una orientación actualizada en lugar de disculparse por un error que no cometió. En 64 respuestas sobre 8 casos de prueba donde MAIA no tenía la culpa, los falsos "me equivoqué" bajaron de 8 a 3, los 3 en un mismo caso que antes también daba 3 de 8. En el conjunto de prueba aparte donde MAIA sí se equivocó, sigue reconociendo el error. PerúPanamáColombiaBrasilOtros países
  • Un usuario nuevo que empieza con una foto (por ejemplo "redacta un párrafo de esta imagen") ahora recibe una respuesta sobre la foto. Antes, la bienvenida no podía ver imágenes y le pedía reenviarla, y al menos un dueño se fue. Cerca de 1 de cada 100 usuarios nuevos empieza así. Todos los países
  • La verificación aritmética que corre en cada respuesta ahora lee bien los formatos numéricos en español (30 × 0,124 = 3,7 y $5.150.000), lo que elimina falsas alarmas sobre cálculos correctos. PerúPanamáColombia

Enfocados en el negocio

  • MAIA estaba creando algunas imágenes puramente personales a pedido. Ahora esos pedidos se declinan desde el inicio, sin afectar las imágenes de negocio (fotos de producto, volantes, fotos de catálogo). Reproducido sobre 8 incidentes reales: 7 declinados, antes 1. Sin cambios en 85 pruebas de negocio y casos límite. Todos los países
  • La nota breve que MAIA agrega cuando alguien la usa sobre todo para asuntos personales ahora aparece menos y sigue la misma regla en las respuestas de texto que en las de imagen. Todos los países

Radar de Oportunidades

  • Los enlaces del Radar vencidos o a punto de vencer se renuevan antes de enviarse, para que ningún dueño toque un enlace muerto. Perú
  • Publicamos un artículo sobre cómo funciona el Radar y lo que nos ha enseñado (en inglés): The Opportunity Radar. Perú

Confiabilidad y calidad de datos

  • Tocar "Otra idea" debajo del mensaje semanal de asesoría se estaba registrando como si el dueño abandonara su meta: 10 de 13 de esos registros en un día llegaron segundos después de ese toque. Nada de lo que ven los usuarios leía ese registro, y ya no se escribe para estos dueños. PerúPanamáColombiaBrasilOtros países
  • Nuestro chequeo de salud de cada hora ahora distingue un error aislado que nuestro proveedor de WhatsApp reintenta automáticamente de una falla real, para que las alertas apunten a lo que necesita atención. Uno de esos errores, el 14 de octubre, se rastreó de punta a punta; no se perdió ningún mensaje. Todos los países
  • El registro de que se envió una nota de uso personal ahora se guarda junto con el propio mensaje, así que un envío fallido ya no puede contarse como entregado. Todos los países

Evaluación

  • Nuevas pruebas de regresión a partir de las revisiones de conversaciones de esta semana: consejos revisados tras una segunda mirada, un cuestionamiento sobre la dosis en café, elecciones numéricas y pedidos de imágenes personales. Todos los países
  • Las corridas de evaluación ahora registran el uso de tokens, y las pruebas del enrutador de respaldo reproducen exactamente la solicitud que envía producción, para que una prueba aprobada signifique lo mismo en producción. Todos los países

Problemas conocidos en los que seguimos trabajando

  • Si OpenAI se cae, el modelo de respaldo que escribe los seguimientos de 23 horas de SABY ahora omite cerca del 45 % de ellos, frente a cerca del 12 % del principal y cerca del 17 % del respaldo anterior. Gemini 3.8 y Claude Haiku leen las reglas de omisión de forma más literal que los modelos para los que se escribieron las instrucciones. Estamos preparando un ajuste a las instrucciones, que se volverá a probar antes de salir. SABY
  • Cuando un dueño indica un costo unitario claramente inverosímil, MAIA todavía puede armar un plan sobre él en vez de cuestionarlo. Las instrucciones de esta semana sobre revisar precios no corrigieron ese caso. Sigue en el conjunto de regresión como falla conocida mientras probamos un control en el código en lugar de en las instrucciones. PerúPanamáColombiaBrasilOtros países
  • En una conversación real de Panamá de julio, el dueño respondió "Sí" siete veces y MAIA repitió casi la misma lista unas cinco veces. Ese caso todavía falla con las instrucciones actuales y sigue en el conjunto de pruebas. PerúPanamáColombiaBrasilOtros países
  • Los mensajes semanales de asesoría y los seguimientos de 23 horas lanzados el 6 de octubre, y la memoria que los alimenta, se controlan reproduciendo muestras en vivo. Todavía no tienen un conjunto fijo de pruebas de regresión como las respuestas. PerúPanamáColombiaBrasilOtros países

También esta semana

Probado, no adoptado
Claude Haiku 5.5 y GPT-6 luna para la bienvenida (lanzaron bien solo el 50 % y el 83 % de las veces, frente a cerca del 90 % de Gemini 3.8), y Claude Haiku como enrutador de respaldo (mandaba al modelo más fuerte demasiadas preguntas que debía responder él).
Revertido
Nada esta semana.
Experimentos
No hubo experimentos A/B en campo esta semana. Los dos últimos terminaron el 4 de octubre; el cierre descriptivo del segundo (una opción del Radar de Oportunidades en la bienvenida) está previsto para el 18 de octubre.
Próximamente
Gemini 3.6 Flash se retirará de nuestra pasarela de modelos antes del 19 de noviembre, cuando el tráfico confirme que ya nada lo llama.

Cambios de modelos y de instrucciones

Cambios en los modelos de IA que usa MAIA o en las instrucciones que siguen. Modelos principales sin cambios: OpenAI GPT-6 luna y GPT-5.6 luna para el enrutamiento y las respuestas de asesoría, y GPT-6 sol para las preguntas más difíciles.

FechaCambioDóndeEvidenciaReversión
13 oct Instrucciones de asesoría: siguiente paso claro, comparar precios con el mercado local, no repetir PerúPanamáColombiaBrasilOtros países 451 respuestas por versión, 0 cambios consistentes Reconstruir las instrucciones desde la versión anterior
13 oct Enrutador: pedidos de imágenes personales declinados desde el inicio Todos los países 8 incidentes reales: 7 declinados (antes 1); 0 cambios en 85 pruebas de negocio Volver a desplegar la versión anterior del servicio principal
14 oct Gemini 3.6 Flash a Gemini 3.8 Flash en la bienvenida y en todas las funciones de respaldo; enrutador de respaldo con más razonamiento Todos los países Reproducciones por función; caída forzada aprobada; dos pequeños retrocesos y un problema conocido (ver arriba) Volver a desplegar las versiones anteriores de los 8 servicios
16 oct Instrucciones de asesoría: las respuestas revisadas se presentan como orientación actualizada PerúPanamáColombiaBrasilOtros países Falsas disculpas de 8 a 3 de 64; los errores reales se siguen reconociendo Reconstruir las instrucciones desde la versión anterior

Servicio: Sin caídas. Un error transitorio rastreado, nada perdido.

¿Preguntas sobre algún cambio? Escríbenos a [email protected].