¿Cómo medir la fiabilidad de una red en tiempos de inteligencia artificial (IA)? ¿Hay que tomar las mismas variables de siempre o hay que reformularlas para el actual escenario? La prueba de la velocidad, que siempre fue caracterizado como un valor dentro de la industria, no parece ser suficiente en la actualidad. La confiabilidad de una red hoy parece estar más atada a la experiencia de IA que entreguen que a cualquier otro valor que las caracterizó en las últimas décadas.
Así como la velocidad es un valor indiscutible en una red 5G orientada al mundo industrial que exige el tiempo real, no es necesariamente un incentivo para un consumidor final que sigue arreglándose muy bien con 4G. La experiencia de la IA, sin embargo, sí podría ser un nuevo eje de diferenciación entre los operadores de redes móviles. Razón por la que habrá que acudir a otras variables de medición para determinar qué tan fiable es una red y otra.
Es lo que determinó un reporte de la consultora Arthur D. Little, en donde sostuvo que los nuevos indicadores de rendimiento (KPIs) de una red que otorga una buena experiencia en IA deben dar cuenta de nuevos factores, como la latencia del primer token. Para ello, se debe trabajar en el acceso, el núcleo, la nube y en los mercados de capa compartida, la gobernanza de la capa activa.
¿Qué rol juega el concepto de velocidad en este escenario? Para la consultora, no es que la velocidad no sea importante, de hecho lo es. Pero ahora debe ser evaluada en otra dimensión. “Las cargas de trabajo de IA se preocupan por otro tipo de velocidad: la rapidez con la que llega el primer token, la fluidez de una respuesta de 30 segundos, la fiabilidad de la carga de un mensaje multimodal y si esto se mantiene en diferentes ubicaciones y momentos del día”, destacó el informe. Y advirtió que estas variables no logran ser medidas por los KPIs tradicionales.
Latencia de la IA en Alemania – Arthur D. Little
Una serie de evaluaciones realizadas en operadores de Estados Unidos, Alemania y Brasil -que cuenta con una de las redes 5G más importantes y evolucionadas de América Latina– el tiempo hasta el primer token (TTFT, por su sigla en inglés) oscilan entre los ocho y los 18 milisegundos. En el caso específico de Alemania esa brecha se ubica entre los 0,94 segundos del operador líder y los 1,11 segundos del más rezagado. Pareciera ser una diferencia pequeña. Sin embargo, la consultora aseveró que “en los cientos de millones de sesiones de IA que se ejecutan diariamente a través de redes móviles, radica la diferencia entre una IA que se percibe como fluida y una IA que parece añadida a posteriori”.
Los indicadores
Esto forma parte de los KPIs con los que habrá que evaluar el rendimiento de una red en la era de la inteligencia artificial. Arthur D. Little considera que hay que definir seis nuevos indicadores de desempeño que permitan responder a las demandas actuales.
El primero de ellos es el TTFT, donde se mida la latencia desde el envío de la solicitud hasta el primer token de respuesta. Anteriormente, ese indicador correspondía al tiempo que demoraba establecer una llamada.
El segundo punto es evaluar la fluidez de la transmisión de los tokens, es decir, la “variabilidad sostenida de tokens por segundo y de intervalos a lo largo de una respuesta de 30 segundos”, agrega la consultora, en un equivalente al índice de almacenamiento en búfer de vídeo.
Latencia de la IA en operadores – Arthur D. Little
El tercer aspecto es la latencia de respuesta de IA, considerada como el tiempo que demanda una tarea multimodal estandarizada de extremo a extremo. En la vieja escuela de medición sería el tiempo de sesión de descarga de archivos.
El cuarto KPI apunta al enlace ascendente multimodal, entendido como el rendimiento de carga sostenido para cargas útiles de 1 a 5MB en el promedio y en el extremo inferior.
La puntuación de la consistencia aparece como el quinto indicador a tener en cuenta, y que alude al porcentaje de sesiones que cumplen con los umbrales mínimos de los cuatro KPIs anteriores.
Finalmente, se debe contemplar la latencia de IA en el borde. Esto es particularmente destinado a los operadores con computación de borde de acceso múltiple donde la latencia varía de acuerdo a si la inferencia está alojada en el operador o en la nube pública.
Diseño con foco en 5G
La historia no se termina acá. Para trabajar con estos nuevos indicadores de desempeño, Arthur D. Little sostuvo en su reporte, la necesidad de definir tres opciones de diseño con anticipación.
En primer lugar, se deben realizar “pruebas de precisión tanto con los principales proveedores de infraestructura como con un modelo neutral e independiente del operador en una infraestructura dedicada”.
Luego, hay que contemplar lo que llama “recompensa inicial de 5G SA” para hacer visible el caso de negocio que sea efectivamente percibido por los usuarios.
Imagen creada con Gemini
Y en tercer lugar, propone “reservar las métricas detalladas de IA para pruebas de conducción controladas, utilizando datos de crowdsourcing para una mayor consistencia y disponibilidad”.
Esta propuesta implica que la experiencia de IA es un indicador de calidad de la red, además de obligar a pensar en una arquitectura de red que responda a estas nuevas demandas. La discusión que propone, además, es dónde colocar la inteligencia, sin olvidar que las preguntas hacia adelante pasan por qué tan bien soporta la red las aplicaciones que están definiendo desde ahora el uso de las redes de telecomunicaciones hacia adelante.
Un tema transversal a los directivos
El reporte también profundiza en las medidas a tomar en los casos en donde la capa activa es compartida. Y para esos casos, plantea otras cinco medidas de gobernanza que pueden evaluarse desde aquí.
Se trate o no de este caso, lo que sí concluye el reporte es que estos temas deben formar parte de la agenda de la alta dirección del sector de las telecomunicaciones. Aseguró que son cuestiones que competen tanto al jefe de tecnología como al de estrategia de negocios y de finanzas de un operador.
CFO feliz – Unsplash: Vitaly Gariev
Para el CTO será necesario replantear a la red como un sistema de rendimiento integral cuando se hable de experiencia de la IA. El jefe de estrategia podrá contar con una infraestructura que le permita diferenciarse y tomar mejores posiciones en el terreno del B2B. Y el CFO estará contento porque podrá medir el impacto de los servicios que se desprendan de la experiencia de la IA con las inversiones realizadas, gracias a un mejor rendimiento del ARPU y a una mejor monetización de la red.
En otras palabras, habrá que continuar midiendo el rendimiento de la red solo que con KPIs adaptados a las demandas que supone la IA y su experiencia de uso. Un pequeño ajuste que implica, al mismo tiempo, algunos cambios puertas adentro de los operadores.
Debe estar conectado para enviar un comentario.