Una teoría más amplia del diseño de sistemas: qué hay de malo en la modernidad y la posmodernidad, cómo sobrevivir a la avalancha que se avecina y cómo solucionar los principales problemas a los que nos enfrentamos. Primera parte: Los sistemas son modelos. Pero, ¿qué es un modelo?

Prometo que esto se vuelve práctico en algún momento, pero primero tenemos que sentar las bases. Si encuentra que el trabajo preliminar es obvio o está dispuesto a confiar en mi palabra, siéntase libre de omitirlo. Pero en última instancia, sin los antecedentes, ni siquiera puedes entender realmente la propuesta.

Sin pérdida de generalidad, cualquier sistema puede verse como un gráfico de parámetros conectado por bordes, donde los nodos sensoriales reciben entradas que impulsan tanto los cambios internos del gráfico como producen salidas en los nodos activos.

Un modelo es un sistema que actúa para minimizar el error de predicción frente a los priores incorporados por su gráfico de parámetros.

Los sistemas son siempre modelos porque los sistemas tienen que seguir persistiendo, y si toman medidas incompatibles con las condiciones de persistencia, mueren. Las condiciones cambian. Por lo tanto, los sistemas persistentes deben aprender, lo que requiere que modelen la realidad y minimicen la sorpresa.

Ejemplos de modelos: acero en la fragua de un herrero, el mercado, un bosque, una celda, un árbol, un LLM, la red eléctrica, una corporación, un servicio de redes sociales. En otras palabras, cualquier cosa que se adapte con el tiempo para anticipar nuevos aportes.

Aparte: Estas cosas no son solo modelos. También se pueden ver de otras maneras: un servicio de redes sociales también es una colección de software, perfectamente fijo y determinista, que procesa entradas y salidas. Un ser humano es una bolsa de lípidos de principalmente agua, y también una persona, y también un modelo.

Los modelos pueden verse como la predicción de una distribución sobre posibles entradas. Un modelo exitoso predice una distribución que coincide bien con la distribución de sus entradas. Lo que significa que predice con exactitud, precisión, robustez y eficiencia.

(Lo que sigue es una explicación no especializada del procesamiento predictivo y el principio de energía libre y la inferencia activa, en caso de que tenga los antecedentes).

Decimos que la distribución predicha es precisa cuando minimiza la divergencia de la distribución de entrada observada.

Llamamos precisa a la distribución predicha cuando tiene baja varianza, lo que significa que hace una predicción muy específica. Un pronóstico más estrecho con una precisión determinada no hace que su suposición promedio se acerque más a la entrada promedio, ¡pero sí lo acerca a cada conjetura!

Las predicciones son robustas al ruido si son lo más simples posible. Cuantos menos parámetros e interacciones de parámetros utilice un modelo para una predicción, más se ajustará al aspecto invariable de baja frecuencia de la entrada.

En su mayoría, omitiremos la eficiencia aquí, pero la idea principal es que el consumo de energía es básicamente lo mismo que gastar bits de precisión o complejidad, solo tiene que traducir de la teoría térmica a la teoría de la información.

Es fácil tener una alta precisión realmente robusta: siempre adivina lo mismo. Desafortunadamente, tu precisión será una mierda. Como resultado, generalmente los consideramos juntos, como un error ponderado con precisión.

Se ha descubierto que el Camino Real hacia la pérdida ponderada de baja precisión es la amarga lección: ¿ha probado más parámetros y más datos? Eventualmente, puede sobreajustar todo el conocimiento humano (LLM) y eso es bastante bueno. Lamentablemente, si el dominio cambia... no robusto.

Los tres requieren equilibrio. Afortunadamente, puedes puntuarlos todos en bits. Error ponderado por precisión = -log(divergencia de las entradas, ponderada por precisiones) Robustez, también conocida como Complejidad = -log(divergencia de los priors del modelo respecto a un prior uniforme o natural)

Para cualquier acción o cambio en su modelo, puede calificar cuánto ayuda sumando el beneficio total en términos de exactitud, precisión y robustez. ¿Vale la pena agregar ese parámetro? Bueno, ¿los 20 bits adicionales de precisión pagan los 8 bits de complejidad en sus anteriores?

Al considerar un sistema real, el objetivo nominal suele ser algún tipo de precisión. Para la economía, un alto crecimiento del PIB y un bajo desempleo son la "expectativa previa" que el sistema intenta cumplir. Para una corporación, generalmente hay una expectativa previa de altos ingresos y bajos costos.

Próximamente, parte 2: ¿qué está pasando con nuestros sistemas? ¿Cómo llegamos aquí? ¿Por qué todo se está volviendo loco y roto, pero también todo está a la derecha?