How mobility gives language models a deeper understanding of place
La inteligencia artificial ha logrado avances impresionantes en la comprensión del mundo a través del texto. Sin embargo, para construir modelos de IA que realmente entiendan el mundo físico, deben capturar más que solo palabras: necesitan comprender la funcionalidad dinámica del entorno construido. Cada lugar tiene dos firmas distintas: su identidad en papel y su ritmo funcional real.
Los modelos de lenguaje tradicionales suelen construir representaciones de lugares, comúnmente referidos como «puntos de interés» (POIs), basándose en metadatos estáticos. Analizan con éxito direcciones, categorías de negocios y descripciones textuales. Sin embargo, sus representaciones geoespaciales pueden enriquecerse significativamente al incorporar la dinámica funcional real del entorno urbano. Complementar las etiquetas semánticas con datos de movilidad permite a estos modelos capturar eficazmente los ritmos de actividad temporal únicos de los POIs en una ciudad.
Para demostrar esta capacidad complementaria, se introduce el marco de Puntos de Interés con Movilidad Integrada (ME-POIs), que mejora las representaciones de lugares basadas en texto derivadas por modelos de lenguaje. Utilizando conjuntos de datos de referencia disponibles públicamente, ME-POIs incorpora patrones de movilidad agregados y anonimizados, como tiempos de llegada, duraciones de estancia y patrones de movimiento circundantes. En lugar de tratar un lugar como un conjunto de palabras congelado, ME-POIs utiliza un enfoque auto-supervisado para combinar descripciones textuales con patrones de movilidad a gran escala y anonimizados de referencias públicas, capturando las huellas de actividad espacial agregadas del entorno a lo largo del día.
El marco ME-POIs proporciona una representación pre-enriquecida de un lugar, lo que facilita enormemente a los modelos de IA extraer inferencias precisas sobre muchos atributos distintos, como los horarios de funcionamiento, los niveles de precios objetivo y el estado comercial actual, sin necesidad de calcular esos atributos desde cero cada vez.
Para construir un modelo con una comprensión más profunda de los lugares, debemos distinguir entre la identidad de un lugar (su nombre y categoría) y su función (su huella de visita agregada). En investigaciones previas de IA geoespacial, los patrones de movilidad se aplicaban casi exclusivamente a predecir el próximo POI que un usuario visitará. En contraste, el marco ME-POIs desplaza la movilidad de una tarea de predicción de salida a una característica de entrada que define el lugar en sí.
El desafío persistente en la ciencia de datos geoespaciales es el problema de la «larga cola». Mientras que los puntos de referencia famosos, los centros comerciales masivos y las cadenas populares del centro generan una abundancia de datos de visitas, la gran mayoría de los negocios locales sufren de una escasez severa de datos. ME-POIs resuelve esto mediante un mecanismo novedoso de propagación de visitas a múltiples escalas espaciales. La arquitectura reconoce que las visitas suelen estar regionalmente restringidas; una pequeña boutique en una calle comercial de alto nivel comparte rasgos de comportamiento sistémicos con sus vecinos. El marco observa lugares adyacentes en múltiples escalas espaciales: la calle inmediata, la cuadra y el vecindario más amplio, transfiriendo estadísticamente los patrones de visita agregados de vecinos ocupados y ricos en datos a lugares cercanos escasos.
Fuente: https://research.google/blog/how-mobility-gives-language-models-a-deeper-understanding-of-place/