1/ La respuesta es que no puedes — no barato. Verificar si un artículo es un avance requiere aproximadamente la misma experiencia que la elaboración de uno. La generación escala. La verificación no.
Dwarkesh Patel
Dwarkesh Patel21 mar, 04:00
Si los científicos de IA están escribiendo millones de artículos, muchos de ellos basura y algunos progreso incremental, ¿cómo identificaríamos uno o dos que proponen una idea nueva extremadamente productiva? En 1948, Shannon fue uno de los cientos de ingenieros de Bell Labs que trabajaban en cómo enviar señales de voz limpias a través de ruidosos cables de cobre. Su artículo apareció en la misma revista técnica que los informes sobre la reducción de estática y la construcción de mejores filtros. ¿Cómo reconocería que ha ideado este marco tan general para pensar en los canales de información y comunicación, que en las próximas décadas tendría un uso enorme desde dominios tan distantes como la criptografía, la genética y la mecánica cuántica? Parece que puede llevar varios campos reconocer la importancia de unificar nuevos conceptos. Porque es en esa escala temporal donde los frutos de estos conceptos generales conducen a nuevos descubrimientos en muchos campos diferentes. Hemos conseguido resolver este problema de revisión por pares para los científicos humanos (al menos en parte). Ahora tendremos que hacerlo a una escala mucho mayor para la masa de ciencia de IA que se nos lanzará.
2/ A esto lo llamamos la Brecha de Medibilidad. Cuanto más difícil sea verificar una tarea en relación con lo difícil que es ejecutarla, menos seguro se puede automatizar. La ciencia de la IA es el caso extremo: generación infinita, ancho de banda fijo de verificación.
3/ Formalizamos esto y mapeamos las condiciones bajo las cuales la verificación se convierte en la restricción vinculante para el progreso de la IA, en la Sección 5:
118