Skip to content

Statcheck: cuando los robots “ arreglan ” lo académico

Statcheck: cuando los robots `` arreglan '' lo académico

Statcheck: cuando los robots “ arreglan ” lo académico Jason Stang / Getty Images

¿Conoce a ese colega que siempre se acerca a su escritorio y le dice en voz alta que encontró un error en su informe? Por un lado, está bien: no es necesario que el jefe se dé cuenta de que todavía estás mezclando “ellos / allí”. Por otro lado … qué aburrimiento.

En los últimos meses, los científicos han experimentado las mismas emociones confusas que statcheck, una nueva aplicación que analiza los estudios psicológicos en busca de errores. Y, al igual que el colega “útil”, fue el método de difusión lo que puso de los nervios a algunos.

Anuncio

Comencemos con lo que hace exactamente statcheck. Sam Schwarzkopf, un neurocientífico de la University College London que escribe el blog de ciencia NeuroNeurotic, lo compara con un corrector ortográfico de estadísticas. “La mayoría de los errores informados por statcheck probablemente sean inofensivos”, explica por correo electrónico. “Así que es un poco doloroso ver el error, pero no duele tanto”. Un error tipográfico, por ejemplo. Genial para capturar, pero no genial.

Sin embargo, cuando Statcheck informa errores como “conclusiones que pueden alterar potencialmente”, es equivalente a encontrar un error tipográfico que “cambiaría el significado de la oración”, dice Schwarzkopf. Pero eso no significa que estos errores estadísticos alteren permanentemente los resultados.

“Apuesto a que la mayoría de estos errores son probablemente errores tipográficos y no cambian realmente las conclusiones”, dice Schwarzkopf. “En muchos casos, se puede decir a partir de los resultados, ya sean números o gráficos, que las conclusiones son correctas y que la prueba estadística simplemente se informa incorrectamente”.

Por supuesto, habrá casos en los que ocurrirá un error real, lo que significaría que se ha producido un error con un cálculo real o que los números son fraudulentos. En cualquier caso, esto implicaría una verificación manual obsoleta.

Entonces se ve bien, ¿verdad? Una forma en que los académicos pueden verificar su investigación antes de enviarla y ayudar a obtener resultados más precisos. Pero el gran lanzamiento de statcheck fue un poco más dramático: se analizaron 50.000 artículos en PubPeer (una plataforma en línea que permite a los investigadores compartir y discutir artículos publicados) usando statcheck y luego se informaron con informes generados automáticamente. Dijo que no hubo errores.

No a todo el mundo le gustó ver su trabajo no solicitado y comentado, especialmente en un foro donde un comentario en un artículo generalmente significa que se ha encontrado un error. En otras palabras, una bandera que indique que la tarjeta ha sido escaneada por statcheck puede dar lugar a una interpretación incorrecta.

Y es importante recordar que el statcheck no es de ninguna manera una pieza perfecta de inteligencia artificial. “Dado que la verificación es un algoritmo automatizado, nunca será tan precisa como la verificación manual”, dijo Michéle Nuijten en un correo electrónico. Nuijten tiene un doctorado. estudiante de la Universidad de Tilburg en los Países Bajos y ayudó a crear cheques. “Debido a los errores cometidos por la verificación de estado, siempre debe verificar manualmente las inconsistencias informadas por la verificación de estado, antes de sacar conclusiones firmes”.

Nuijten y Chris Hartgerink (el investigador que escaneó y revisó los artículos de PubPeer) dejaron en claro que el statcheck contenía errores y errores. El manual de statcheck también incluye listas detalladas de lo que statcheck no puede hacer.

Lo que se reduce a lo que también señala Schwarzkopf: encontrar errores en las estadísticas es una buena advertencia, pero no necesariamente cuenta la historia de los datos. El artículo informa que uno de cada ocho artículos contenía un error que puede él Influyó en la conclusión estadística, lo que podría hacernos entrar en pánico de que la ciencia está equivocada, lo alto es lo bajo y nadie merece confianza. Pero la comprobación de estado no nos dice cuántos errores En realidad influyó en las conclusiones de los estudios. Solo indica posibles inconsistencias graves.

Schwarzkopf advierte que no debemos entrar en pánico, ya que todos estos errores significan conclusiones falsas. “La gran mayoría, incluso de estos ocho errores, son probablemente irrelevantes porque se deben a errores tipográficos y no a cálculos reales de los resultados”, dice. “Ciertamente es bueno detectar estos errores, pero no invalidan las interpretaciones de los resultados. La única forma de distinguir si un error se debe a un error tipográfico o de cálculo es examinar los datos en sí y reproducir las estadísticas”.

En otras palabras, debemos asegurarnos de que los autores y las publicaciones verifiquen (luego verifiquen) las estadísticas antes de la publicación y, lo que es más importante, también reproduzcan los resultados.

Y aunque algunos científicos no estaban encantados de ver su trabajo analizado o informado en PubPeer, es justo decir que los investigadores encontrarán alivio al usar la tecnología statcheck para volver a verificar su trabajo, lo que ahora pueden hacer fácilmente en http: // statcheck .I .

Anuncio