La legibilidad mata lo que mide

Traducción automática del original en inglés, todavía sin revisar. Leer el original.

En el siglo XVIII, los forestales alemanes inventaron la silvicultura científica. Miraron un bosque desordenado y diverso y vieron ineficiencia. Árboles viejos, árboles jóvenes, madera muerta, sotobosque, especies sin valor comercial. Limpiaron todo y plantaron píceas de Noruega en filas rectas, con la misma separación, de la misma edad, de la misma especie. El bosque se volvió legible. Se lo podía medir, administrar, predecir su rendimiento con precisión.

Durante una generación, funcionó de maravilla. Los rendimientos se dispararon. Después el bosque empezó a morirse. El sotobosque complejo hacía circular los nutrientes, retenía la humedad, alojaba a los insectos que polinizaban el dosel y a los hongos que alimentaban las raíces. Los forestales no habían simplificado el bosque; habían destruido el sistema que lo mantenía vivo, y conservado solo la parte que podían ver.

James Scott cuenta esta historia en Seeing Like a State para ilustrar un patrón que se repite cada vez que una autoridad central le impone legibilidad a un sistema complejo. El patrón es simple: volvés legible lo ilegible, optimizás lo que ahora podés ver y perdés lo que no podías ver pero de lo que dependías.

#I.

Legibilidad quiere decir volver algo legible desde arriba. Un Estado necesita ciudadanos legibles (apellidos permanentes, registros censales, direcciones estandarizadas) para cobrarles impuestos y reclutarlos. Un gerente necesita trabajadores legibles (KPIs, registro de horas, evaluaciones de desempeño) para evaluarlos. En el momento en que hacés esto, aplanás un poco la cosa. El registro es útil, pero no es la persona.

Michael Polanyi llamó a la parte que falta la dimensión tácita. Sabemos más de lo que podemos decir. Un maestro artesano no puede articular del todo qué hace que una junta esté bien. Un buen médico lee la cara del paciente antes de mirar los análisis. Un trader siente que el mercado se está moviendo antes de que los datos lo confirmen. Este conocimiento es real, pero se aprendió con la práctica y no con instrucciones. Vive en el cuerpo, en los hábitos, en un reconocimiento de patrones entrenado durante miles de repeticiones. Podés escribir parte de él, a veces mucho, pero no todo, y la parte que se niega a entrar prolijamente en un sistema muchas veces es la que hace el trabajo de verdad.

#II.

La ley de Goodhart dice que cuando una medida se convierte en objetivo, deja de ser una buena medida. La mayoría conoce la versión superficial: la métrica se trampea. Los docentes enseñan para el examen. Los investigadores persiguen citas en lugar de hacer trabajo arriesgado. Los gerentes optimizan el trimestre porque ese es el ciclo de evaluación dentro del que viven.

Pero hay una versión más profunda. A veces la medida cambia la institución tan a fondo que el objetivo original empieza a parecer ingenuo, sentimental o ineficiente. Las escuelas que se miden por resultados de exámenes terminan reorganizadas alrededor de esos resultados. El trabajo lento y difícil de medir de desarrollar criterio y curiosidad pierde su lugar en el horario. Lo mismo pasa en la investigación cuando la cantidad de citas se vuelve un filtro de carrera, y en las empresas que cotizan en bolsa cuando el trimestre se vuelve el único reloj que importa. Al principio la métrica es un indicador indirecto. Después de un tiempo se vuelve la memoria que tiene la institución de para qué sirve el trabajo. El propósito original sobrevive solo como retórica, y al final ni siquiera eso.

#III.

Los ejemplos centrales de Scott son Estados. Muestra cómo la colectivización soviética, la planificación urbana de Brasilia y la aldeización forzada en Tanzania siguieron todas el mismo patrón. Un planificador miró un sistema complejo que funcionaba, decidió que era desordenado, le impuso una grilla y vio cómo el sistema colapsaba.

Jane Jacobs vio lo mismo en las ciudades. Un barrio que desde arriba parece caótico (usos mixtos, calles irregulares, edificios de distintas épocas) muchas veces es profundamente funcional a nivel de la calle. El dueño del almacén vigila la cuadra. La mezcla de comercios y viviendas mantiene gente caminando a toda hora. Los edificios viejos ofrecen lugar barato para negocios nuevos. Los chicos tienen dónde quedarse. La calle conserva algo de su propia memoria.

Cuando Robert Moses construyó autopistas a través de estos barrios, no es que no viera el orden; veía otro tipo de orden, uno que se podía dibujar en un plano y medir por el caudal de tránsito. Una vez que ese orden gana, las pérdidas aparecen de forma indirecta: menos negocios chicos, una vida callejera más débil, menos confianza, menos vigilancia informal, menos razones para quedarse. Lo que desaparece es difícil de defender justamente porque nunca se formalizó.

#IV.

Cada tecnología anterior volvió legibles cosas específicas y dejó a oscuras territorios enormes de la vida humana. La contabilidad volvió legibles las finanzas pero no el criterio detrás de un negocio. Los mapas volvieron legible el terreno pero no la ecología que lo mantenía unido.

La IA es distinta. Llega más lejos en la zona gris donde la gente solía apoyarse en el olfato, la memoria y el criterio acumulado.

Esto se ve primero en dominios donde la gente con experiencia venía cargando un reconocimiento de patrones que no podía explicar del todo. En software, el conocimiento que distinguía a un staff engineer de uno de nivel intermedio (la intuición para lo que se va a romper, el instinto para saber dónde se esconde la complejidad, la capacidad de detectar código frágil antes de que falle) se vuelve mucho más fácil de exponer, comparar y distribuir una vez que un modelo puede leer todo el código de una vez.

La escritura y el gusto se mueven de manera parecida. Los movimientos estructurales que distinguían a un escritor de otro se vuelven parámetros en un modelo. Lo que antes parecía una voz, algo formado de manera lenta y despareja a lo largo de años, empieza a parecer un conjunto de decisiones reproducibles. Los sistemas de recomendación le hacen algo parecido al gusto. El proceso lento y privado de que te guste lo que no corresponde, aburrirte, volver, cambiar de opinión, tropezarte con algo difícil y aprender a quererlo, queda comprimido en un perfil que se actualiza en tiempo real.

La estrategia es lo que sigue. Una vez que un sistema puede modelar tu mercado, simular competidores plausibles y generar opciones más rápido de lo que vos podés pensarlas, la ventaja que antes era de la persona que había pasado décadas en una industria empieza a achicarse. El mapa no escrito todavía vale algo, pero cada vez menos de él se mantiene privado por mucho tiempo.

#V.

La pregunta difícil es si esto destruye el conocimiento tácito o más que nada lo democratiza.

A veces la respuesta es claramente positiva. El instinto del ingeniero senior se codifica y se comparte. El ojo clínico del médico llega a clínicas que nunca habrían tenido ese nivel de experiencia. Oficios que antes requerían décadas de aprendizaje se vuelven más fáciles de aprender. Caen barreras reales, y algunas de esas barreras merecían caer.

Pero no creo que el riesgo se reparta de forma pareja. En medicina, en el debugging o en el análisis rutinario, hacer más accesible la experiencia oculta puede ser una ganancia sin ambigüedades. En el oficio, el criterio, el gusto y la estrategia de largo plazo, el intercambio puede ser más duro. Parte de ese conocimiento era tácito por una razón más difícil. La intuición del maestro para una junta no es una regla esperando a que la extraigan sino el residuo de diez mil juntas, cada una un poco distinta, cada una enseñando algo que las palabras no pueden captar. Reemplazá esto por un algoritmo y obtenés algo que se parece pero se comporta distinto en los bordes, que es exactamente donde el conocimiento tácito se gana el sueldo.

Las dos cosas son ciertas, pero no en igual medida. Parte del conocimiento tácito era simplemente información sin explotar, esperando a que un sistema lo bastante poderoso la extrajera. Pero parte era constitutivamente ilegible. Existía solo como un patrón en un cuerpo, una cultura, una institución. Formalizarlo no lo preserva. Produce una copia simplificada que puede ocupar el mismo nicho por un tiempo, pero el original va perdiendo de a poco las condiciones que lo hacían posible.

#VI.

La legibilidad llega más lejos que la medición. La fricción es una especie de opacidad protectora: la dificultad de conseguir lo que querés es parte de lo que impide que el deseo colapse en consumo. El yo interior es opaco de una manera parecida: es la parte tuya que no fue aplanada en una superficie legible para sistemas externos. La formación también es opaca. No se la puede juzgar bien con fotos instantáneas porque lo que importa solo aparece con el tiempo. Forzala a entrar en ciclos de evaluación cortos y legibles y vuelve el mismo patrón. La medida reemplaza a la cosa. La cosa se debilita.

Cuando la IA vuelve legible al yo (predicción del comportamiento, modelado emocional, extracción de preferencias), empieza a reemplazar la función que el yo cumplía. Si un sistema externo sabe lo que querés antes que vos, el proceso interior de formar un deseo pierde su propósito. El yo no muere de forma dramática; se vuelve innecesario, como se atrofia un músculo cuando una máquina hace su trabajo.

Los forestales alemanes no odiaban el bosque. Querían optimizarlo, ponerlo bajo control racional, y durante una generación lo lograron sacando todo lo que no podían medir. El bosque murió porque lo que sacaron parecía ruido solo dentro del sistema de medición que habían elegido. Fuera de ese sistema, era el bosque.

¿Cuánto de la vida humana tiene esta estructura? ¿Cuánto de lo que somos depende de seguir siendo en parte opaco, incluso para nosotros mismos? El mapa está por volverse muy detallado. El territorio puede no sobrevivir al relevamiento.