Seminario: Verdades Empíricas

Acuerdos intersubjetivos en contextos de incertidumbre

Contactos a bayesdelsur@gmail.com

---

Objetivos

La ciencia tiene pretensión de alcanzar verdades: acuerdos intersubjetivos con validez universal. Las ciencias formales (matemática, lógica) alcanzan estos acuerdos derivando teoremas dentro de sistemas axiomáticos cerrados. Sin embargo, las ciencias empíricas (desde la física hasta las ciencias sociales) deben validar sus proposiciones en sistemas abiertos que contienen siempre algún grado de incertidumbre. ¿Es posible entonces alcanzar acuerdos intersubjetivos ("verdades") en las ciencias empíricas en las que es inevitable decir "no sé"? Sí. Podemos evitar mentir: maximizando incertidumbre (no afirmar más de lo que se sabe) dada la información disponible (sin ocultar lo que sí se sabe).

Las reglas de la probabilidad se conocen desde finales del siglo 18 y desde entonces se las ha adoptado como sistema de razonamiento en todas las ciencias empíricas. Ellas son conceptualmente intuitivas: preservar la creencia previa que sigue siendo compatible con los datos (regla del producto) y predecir con la contribución de todas las hipótesis (regla de la suma). Si bien, luego de todo este tiempo no se ha propuesto nada mejor en términos prácticos, el costo computacional asociados a la evaluación de todo el espacio de hipótesis ha limitado en los hechos su campo de aplicación. Su relevancia contrasta con la realidad actual en la que el enfoque bayesiano sigue siendo marginal incluso en la universidades más importante de América Latina, y es prácticamente inexistente en ciencias empíricas que no cuentan con formación específica en matemática y programación.

En la siguiente figura se detalla la cantidad de artículos científicos vinculados al enfoque bayesiano publicados cada año con al menos una autoría con filiación en América Plurinacional (fuente Scopus).

Cantidad de artículos basados en métodos bayesianos con alguna afiliación en Latinoamérica y el Caribe

A finales de siglo, con el proceso de masificación de las computadoras personales, el enfoque bayesiano comenzó a ocupar el centro de atención de la IA, hasta que en el año 2012 se presenta una red neuronal convolucional profunda entrenada sobre GPU [1]. Nuevamente la complejidad computacional actuó como un límite a la aplicación estricta de las reglas de la probabilidad, que obligan a evaluar todo el espacio de hipótesis. Aún así, el auge de las redes neuronales profundas no produjo la aparición de un nuevo sistema de razonamiento bajo incertidumbre con mejor desempeño que el de las reglas de la probabilidad. El enfoque bayesiano sigue siendo el corazón de la IA y de toda ciencia empírica. En este contexto, NeurlIPS realizó una competencia en el año 2021 denominada “Approximate inference in Bayesian Deep Learning” [2,3], donde se confirma que los deep ensambles son buenas aproximaciones.

Las cuestiones computacionales, sin embargo, son solo el primer paso de la IA. Para sacar conclusiones causales y predecir las consecuencias de las intervenciones es necesario evaluar modelos que tengan una interpretación causal [4, 5]. Las teorías causales, al ser hipótesis, pueden ser evaluadas mediante la aplicación estricta de las reglas de la probabilidad [6], P(Teoría causal|Datos), que penaliza naturalmente la complejidad innecesaria de los modelos. Hoy la IA tiene la oportunidad de hacer uso de los modelos causales que se desarrollan en diversas ciencias empíricas, y las ciencias empíricas tienen la oportunidad de crear y evaluar modelos a la medida de cada problema específico [7-10]

El objetivo del curso "Verdades empíricas" es revisar los métodos actuales que permiten implementar modelos a medida del problema de forma sencilla e intuitiva. Con ellos podemos computar la incertidumbre óptima dada la información disponible, expresando las relaciones causales entre las variables de forma gráfica, descomponiendo las reglas de la probabilidad como mensajes entre los nodos de la red causal, y delegando la inferencia a los lenguajes de programación probabilística. El curso finaliza con juegos de apuestas, la teoría de toma de decisiones basada en funciones costo ergódicas, y una reflexión sobre las propiedades comunes que comparten los procesos de evaluación de hipótesis en probabilidad (por secuencia de predicciones) y los procesos de selección de las formas de vida en evolución (por secuencia de tasas de reproducción y supervivencia).

Referencias

[1] Krizhevsky A, Sutskever I, Hinton GE. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. 2012;25.

[2] Wilson AG, Izmailov P. Bayesian deep learning and a probabilistic perspective of generalization. Advances in neural information processing systems. 2020;33:4697–4708.

[3] Izmailov P, Vikram S, Hoffman MD, Wilson AGG. What are Bayesian neural network posteriors really like? In: International conference on machine learning. PMLR; 2021. p. 4629–4640

[4] Pearl J. Causality. Cambridge University Press; 2009.

[5] Peters J, Janzing D, Schölkopf B. Elements of causal inference: foundations and learning algorithms. The MIT Press; 2017

[6] Winn J. Causality with gates. In: Artificial Intelligence and Statistics. Proceedings of Machine Learning Research; 2012. p. 1314–1322.

[7] Murphy KP. Probabilistic Machine Learning: An introduction. MIT Press; 2022.

[8] Murphy KP. Probabilistic Machine Learning: Advanced Topics. MIT Press; 2023.[9] Bishop CM. Model-based machine learning. Philosophical Transactions of the Royal Society A: Mathematical,Physical and Engineering Sciences. 2013;371(1984):20120222.

[10] Bishop CM. Pattern recognition and machine learning. springer; 2006.

Programa (descargar)

(Ver RELEASE 2023.1)

• 1. Modelos gráficos e inferencia (descargar 1-intro.pdf). Acuerdos intersubjetivos en contextos de incertidumbre. Especificación gráfica de modelos causales. Evaluación de modelos causales. La emergencia del sobreajuste y el balance natural de las reglas de la probabilidad.

• 2. Inferencia causal (descargar 2-causa.pdf). Los niveles del razonamiento causal. Flujo de inferencia en modelos causales. Efecto de las intervenciones en modelos causales. Conclusiones causales a partir de observaciones. Identificación de modelo causal mediante intervenciones.

• 3. Sorpresa: el problema de la comunicación con la realidad (descargar 3-dato.pdf). La estructura invariante del dato empírico. Construcción de sistemas de comunicación con la realidad. Tasa de información. Evaluación de sistemas de comunicación alternativos por su tasa de sorpresa.

• 4. Modelos de historia completa (descargar 4-tiempo.pdf). Redes bayesianas de historia completa. El problema de usar el posterior como prior del siguiente evento. El algoritmo de inferencia por loopy belief propagation. Consideraciones de inferencia causal en series temporales.

• 5. La función de costo epistémico-evolutiva (descargar 5-decision.pdf). Apuestas óptimas. Ventajas a favor de la: diversificación (propiedad epistémica), cooperación (propiedad evolutiva), especialización (propiedad de especiación), heterogeneidad (propiedad ecológica).

• 6. Hackaton (descargar 6-hackaton.pdf). Presentación de una competencia de inferencia con apuestas e intercambio de recursos.

Manuales:

0. Murphy Book 1 y book2
1. Bishop. Pattern Recognition and Machine Learning
2. MacKay. Information theory, inference and learning algorithms
3. Pearl. Causality y Causal Inference in Statistics: A premier
4. Jaynes (2003) Probability theory: The logic of science
5. Rasmussen Gaussian Processes for Machine LearningI
6. Koller y Friedman Probabilistic Graphical Models, Principles and Techniques

Cursos:

0. Probabilistic Machine Learning youtube
1. Information Theory (by MacKay) youtube
2. Física estadísitica. youtube
3. Statistical rethinking github + videos

Fundamentos de la probabilidad:

0. Jaynes (1956-1957). Information theory and statistical mechanics Artículo I Artículo II
1. Kelly (1956). A New Interpretation of Information Rate
2. Shannon (1950). A mathematical theory of communication
3. De Finetti. (1937) La prévision: ses lois logiques, ses sources [inter]subjectives
4. Kolmogorov. (1933) Foundations of the theory of probability
5. Jeffreys (1931). Scientific Inference
6. Ramsey (1926). Truth and probability (1927) A Contribution to the Theory of Taxation
7. Keynes, John Maynard (1921) A Treatise on Probability
8. Poincaré. (1912) Calcul des probabilités
9. Gibbs
10. Boltzmann
11. Boole. (1854) An Investigation of the Laws of Thought
12. Poisson (1837) Recherches sur la probabilité des jugements
13. Laplace. ([1795] 1812) Théorie analytique des probabilités
14. Condorcet (1785). Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix
15. Bayes ([1750?] 1763). An essay towards solving a problem in the doctrine of chances.
16. Bernoulli, Daniel "el sobrino". (1738) Exposition of a new theory on the measurement of risk [Traducido de "Specimen Theorize Naval de Mensura Sortis" en 1954]
17. Leibniz (1714) La monadologie (Leibniz and China: A Commerce of Light)
18. Bernoulli, Jacob. ([1654-1705] 1717) Ars Conjectandi (English version)
19. Pascal-Fermat por Keith Devlin. ([1654] 2008) The Unfinished game: Pascal, Fermat and the letters (Si no funciona, borrar del link todo lo que está antes de la IP)

Historia

Enrique Dussel (201?) Transmodernidad: discurso en el Universidad de Chile Hobson, John. (2004) Los orígenes orientales de la civilización de occidente Needham, Joseph et al. (2004) Science and Civilization in China. Vol 7 Pt 2. General Conclusions and Reflections.