Qué acierta y qué no un modelo de lenguaje en geotecnia y estructuras

Inteligencia artificial · confiabilidad · revisión de memorias · NCh 433 · investigación propia

Hicimos dos pruebas con tres modelos de lenguaje de distinto tamaño. En la primera respondieron 216 problemas de geotecnia con respuesta conocida. En la segunda revisaron memorias de cálculo reales buscando incumplimientos de norma. Los modelos no inventaron datos, pero no saben calcular un factor de seguridad de talud de memoria. Y revisan mucho mejor una memoria cuando tienen delante un catálogo de reglas.

Esto es investigación. Las tareas de la primera prueba son sintéticas, generadas con los motores de TerzaghAI, así que miden concordancia con esos motores. Las memorias de la segunda son reales y se trataron anonimizadas.

Primera prueba: 216 tareas con respuesta conocida

Seis familias de tareas: clasificar suelos USCS, calcular una capacidad admisible, asignar la clase sísmica de un sitio, estimar el factor de seguridad de un talud, reconocer ensayos que no existen en el extracto y convertir unidades. Cada respuesta se evaluó en número, unidades, cláusula citada y confianza declarada. Se corrieron tres modelos, sin y con una lista de invariantes físicas que debían respetar.

Modelo	Global	FS de talud	Clase sísmica	Capacidad admisible
Chico	81–83 %	13–23 %	67–72 %	100 %
Mediano	84–85 %	20–23 %	83 %	98–100 %
Grande	84–87 %	23–37 %	75–81 %	100 %

Ningún modelo inventó un ensayo que no estaba en el extracto, en ninguna de las seis corridas. El techo lo pone el cálculo iterativo: el factor de seguridad por Bishop con búsqueda de círculo crítico sale bien entre un 13 y un 37 % de las veces.

Las tareas de fórmula cerrada, como la capacidad admisible o las unidades, salieron prácticamente perfectas. Las invariantes ayudaron al modelo grande a rechazar valores imposibles en taludes, de 23 a 37 %, pero no resolvieron el problema. Un talud se resuelve con un motor de cálculo, no de memoria.

Otros dos datos. El tamaño del modelo casi no cambió el resultado global, que quedó entre 81 y 87 %. Y los tres fueron subconfiados: declararon una confianza media de 0,68 a 0,78 cuando acertaban entre 0,81 y 0,87.

Segunda prueba: revisar memorias de cálculo reales

Escribimos 98 reglas ejecutables de normas chilenas: NCh 433, el DS 60, NCh 3171, NCh 1537, NCh 431, NCh 432, ACI 318 y el capítulo de puentes del Manual de Carreteras. Cada regla cita su cláusula y tiene un test que la hace cumplir y fallar. En paralelo armamos un catálogo anonimizado de 75 discrepancias ya documentadas en memorias reales, de las cuales 44 están del lado inseguro.

Luego tres modelos revisaron 30 memorias reales de dos formas: leyendo la memoria solos, y leyéndola junto al resultado de las reglas. Medimos cuántas de 36 discrepancias conocidas encontraron.

Modelo	Revisión libre	Revisión con catálogo de reglas
Chico	22 %	75 %
Mediano	42 %	67 %
Grande	67 %	86 %

Con el catálogo de reglas, el modelo chico encuentra más discrepancias que el modelo grande revisando solo. Las reglas ponen el piso; el modelo agrega criterio sobre lo que las reglas no cubren.

Los modelos además propusieron hallazgos fuera del catálogo. Los revisamos uno a uno: de 134 hallazgos únicos, 47 resultaron incumplimientos reales, 53 eran falsos y 34 no se pueden decidir sin más antecedentes. De los 47 reales, 29 no estaban en el catálogo y 16 de ellos están del lado inseguro. Antes de sumarlos al catálogo hay que confirmarlos con el documento original.

Qué se concluye, y qué no

Sí: en estas pruebas los modelos no fabricaron datos de ensayos. Es la falla más temida y no apareció.
Sí: un modelo de lenguaje no reemplaza a un motor de cálculo en problemas iterativos, como el factor de seguridad de un talud.
Sí: para revisar una memoria, reglas ejecutables con su cláusula valen más que un modelo más grande.
No: estos números no dicen cómo se comporta un modelo con acceso a motores de cálculo. Esa tercera configuración todavía no se mide.
Límite: una sola repetición por combinación, sin medir la variación entre corridas.

Por eso TerzaghAI está construido así: el modelo de lenguaje conversa, ordena y explica, y los números salen de motores de cálculo deterministas verificados contra su fuente.

Fuentes

Normas chilenas NCh 433, NCh 3171, NCh 1537, NCh 431 y NCh 432; DS 60 y DS 61 del Ministerio de Vivienda y Urbanismo; ACI 318S; Manual de Carreteras, volumen 3, sección 3.1000.
Bishop, A. W. (1955). The use of the slip circle in the stability analysis of slopes. Géotechnique 5(1).

Cómo se verifica cada motor de cálculo contra su fuente está en cómo se verifican los motores. La agenda completa de investigación, en Preguntas abiertas.

Escrito por el equipo de TerzaghAI · Servicios de Ingeniería Kuadrante Ltda.
Este artículo es material técnico de referencia, no un informe de ingeniería. Cualquier aplicación a un proyecto real debe ser verificada y firmada por un profesional habilitado. ¿Ves un error? kuadrante@kuadrante.cl