Skip to content

10 señales de que el estudio está mal

10 señales de que el estudio está mal
Satisfacer
  1. Es insustituible
  2. Es plausible, no demostrable
  3. Las muestras no son saludables
  4. Algo falta
  5. Editores depredadores
  6. Eso prueba un punto (sigue el dinero)
  7. Es autoevaluado
  8. Las baterías están agotadas
  9. Es demasiado joven
  10. Es una buena historia

10: es insustituible

No hagas eso, cariño. No deje caer este vaso. Solo vas a hacer esto, ¿verdad?

Alianza / iStock / Thinkstock

Todo el mundo está estudiando. Cuando ves a los bebés dejar caer tazas de las sillas altas una y otra vez, están teniendo una de las experiencias más importantes de sus vidas. ¿El tema de tu investigación? Gravedad.

No importa cuántas veces dejamos caer los vasos, siempre caen al suelo. El hecho de que este experimento pueda repetirse indefinidamente y por cualquier persona con el mismo resultado es uno de los principios básicos de cualquier estudio. Por muy convincentes que sean los resultados de un estudio, si no puede ser replicado por investigadores pares, significa que no puede ser validado.

Publicidad

Para resaltar este problema, el Centro de Ciencia Abierta coordinó a 270 investigadores en un gran proyecto para replicar los resultados de 100 estudios publicados en el campo de la psicología. En 2015, luego de años de trabajo, el Centro informó que más de la mitad de los estudios no se pudieron repetir porque la evidencia recolectada sobre ellos no era tan contundente como se afirmó inicialmente.

Uno de los estudios que probaron, por ejemplo, fue diseñado para averiguar si los hombres tienen más dificultades para distinguir las señales sexuales de la amistad. Siguiendo la estructura del estudio original, el Center for Open Science mostró a los conejillos de indias una serie de fotos de mujeres con diferentes expresiones faciales.

Aunque el estudio original encontró que, de hecho, los hombres no estaban preparados para comprender las pistas, la prueba de seguimiento del estudio no pudo replicar estos hallazgos. No está claro si esto se debió a diferencias culturales entre el primer y el segundo estudio (un estudio se realizó en el Reino Unido, el otro en los EE. UU.) O el tiempo entre los estudios. [source: Firger]. En cualquier caso, un descubrimiento que no se puede replicar no dura para siempre.

9: es plausible, no demostrable

Jim se tomó todo este asunto de la investigación observacional de forma demasiado literal.

Jim se tomó todo este asunto de la investigación observacional de forma demasiado literal.

Imágenes daltónicas / Getty

Gente muy seria con bata blanca, encorvada sobre tubos de ensayo: esta es la imagen que a menudo nos viene a la mente cuando pensamos en un estudio científico. Pero este es solo un tipo de estudio: un experimento de laboratorio.

Otro tipo de estudio se llama “observacional”. Aquí es donde los investigadores encuentran un grupo de conejillos de indias, hacen muchas preguntas, registran sus respuestas y luego “exploran” los resultados para ver qué encuentran.

Publicidad

Érase una vez, los estudios observacionales sugirieron que tener una personalidad “tipo A” lo ponía en mayor riesgo de sufrir un ataque cardíaco. Pero los ensayos clínicos de seguimiento aleatorios no han podido repetir estos hallazgos, y ahora se sabe que el hallazgo original es completamente falso. ¿Cómo pasó esto?

Los estudios de observación pueden, por supuesto, ser extremadamente útiles e instructivos. Pero existe la posibilidad de obtener resultados engañosos. Un problema es que puede obtener resultados estadísticamente significativos por accidente alrededor del 5% de las veces. Entonces, si hace suficientes preguntas (y a veces estos estudios pueden incluir miles de preguntas), los datos pueden parecer hacer algo grande. Pero en un examen posterior o en un intento de repetir el estudio, es posible que los resultados no sean los mismos. [source: Miller and Young].

8: las muestras no son saludables

No les decimos que el estudio de la virginidad era falso en este momento.

No les decimos que el estudio de la virginidad era falso en este momento.

Fusible / Thinkstock

Últimas noticias: un nuevo estudio revela que la forma en que perdiste la virginidad tendrá un gran impacto en tu experiencia sexual para siempre.

Hoy en día, los sorprendentes resultados de extraños estudios de investigación son una parte regular del ciclo de noticias. Pero si puede hacerse con el estudio de investigación real, el diseño del proyecto puede sorprenderlo aún más que los resultados.

Publicidad

Lo que sucede con este estudio de virginidad de 2013 es que sus sujetos eran extremadamente homogéneos. De hecho, por lo general lo son cuando se trata de estudios de psicología y ciencias sociales.

Como muchos de estos estudios son realizados por académicos, la muestra de población típica para esta investigación es – sorpresa, sorpresa – estudiantes universitarios. Esto los hace EXTRAÑOS, un acrónimo de occidental, educado e industrializado, rico y democrático. En otras palabras, no es exactamente representativo de la sociedad global en su conjunto.

Para empeorar las cosas, en el estudio de la virginidad, los investigadores excluyeron a las personas que tuvieron sus primeros encuentros violentos y a cualquiera que experimentara algo distinto al sexo heterosexual. [source: Brookshire].

Entonces, la próxima vez que escuche las últimas noticias de otro descubrimiento sorprendente en el comportamiento y la experiencia humanos, tómelo en serio preguntándose quién fue exactamente el estudio.

7: falta algo

No, todo saldrá bien, ¡sonríe!  ¡Tome este medicamento y duerma una siesta!

No, todo saldrá bien, ¡sonríe! ¡Tome este medicamento y duerma una siesta!

WUNCHANA_SEUBWAI / iStock / Thinkstock

Supongamos que está realizando una prueba con un nuevo medicamento para ayudar a prevenir un accidente cerebrovascular. Tiene 20 ratas: 10 reciben el fármaco y las 10 restantes en su grupo de control. Es un grupo de estudio pequeño, muy pequeño, pero su presupuesto es pequeño y, bueno, todo el mundo lo hace hoy.

Siete de sus ratas de prueba lo hacen muy bien, pero desafortunadamente tres de ellas mueren a causa de fuertes golpes. ¿Qué estás haciendo? Sencillo. Déjelos fuera de los resultados. Sí, es cierto, cuando haces tus tablas y gráficos, no mencionas a los roedores que murieron. Todo el mundo lo hace hoy.

Publicidad

Realmente sucedió. De hecho, esto sucede todo el tiempo en la investigación con animales. Afortunadamente, en este caso específico, el científico al que se le pidió que revisara el estudio no lo dejó ir. Los tres ratones muertos, dijo, eran partes vitales del estudio. De hecho, demostraron que la nueva droga podría ser más dañina que útil.

Este científico, Ulrich Dirnagl, y un colega llamado Malcolm MacLeod dieron la alarma sobre los patrones permisivos que se encuentran en muchos estudios de investigación con animales. [source: Couzin-Frankel]. Con suerte, su mensaje llegará.

6: editores depredadores

Ella acaba de descubrir que el International Journal of Overly Large Fignernails no es realmente legítimo y que esperan que pagues por la publicación.

Ella acaba de descubrir que el International Journal of Overly Large Fignernails no es realmente legítimo y que esperan que pagues por la publicación.

Bart Sadowski / Getty Images

Ahí lo tienes, un joven médico que despega su carrera cuando recibe un correo electrónico del “Journal of Clinical Case Informes “solicitándote que envíes artículos. Resulta que tienes algunos casos interesantes que informar, así que los escribes y los envías por correo. Para tu placer, son aceptados. Una buena adición a tu currículum.

Luego viene la cuenta: ¡el periódico dice que le debes $ 2,900! Molesto, responde diciendo que nunca ha oído hablar de los cargos postales y que no tiene planes de pagar. Todavía publican sus artículos, ofreciendo recortar su cuenta a $ 2600. Después de un año de lucha, el diario finalmente accede a “perdonar” la llamada deuda.

Publicidad

Bienvenido al nuevo mundo valiente de la publicación depredadora, una consecuencia involuntaria del movimiento de acceso abierto para hacer que los descubrimientos científicos estén más disponibles. Jeffrey Beall, un bibliotecario investigador, mantiene un registro de las publicaciones que considera depredadoras. Él piensa que puede haber hasta 4.000 de ellos, o el 25% de todas las revistas de acceso abierto.

Baste decir que los editores depredadores están más interesados ​​en su margen de beneficio que en el rigor científico. Si los investigadores pueden permitírselo, pueden publicarse, independientemente de la calidad de su trabajo. Como resultado, se ha multiplicado el número de estudios publicados cuestionables. A menos que sea un experto en un campo en particular, puede ser difícil decir qué ciencia es confiable y cuál es indeseable. [source: Kolata].

Es bien sabido que, para avanzar en la academia, los académicos necesitan publicar o morir. No es de extrañar que Predatory Edition prospere en tal atmósfera. ¡Atención al comprador (y lector)!

5: Eso prueba un punto (sigue el dinero)

Cuidado con el poderoso lobby de las encías.  ¿Quién sabe qué tipo de influencia tienen en los investigadores del chicle?

Cuidado con el poderoso lobby de las encías. ¿Quién sabe qué tipo de influencia tienen en los investigadores del chicle?

belchonock / iStock / Thinkstock

Un día decides probar un chicle nuevo, pero justo después de llevártelo a la boca te empieza a tener urticaria. En la sala de emergencias, su médico le informa que los análisis de sangre muestran una alergia a un ingrediente del nuevo chicle. Pero digamos que eres extrañamente terco y también te gustó mucho este neumático. Ah, y decides visitar a otros nueve médicos.

Ocho de cada nueve están de acuerdo con el primero. Pero solo un médico dice que no, no es el chicle, es solo una coincidencia. De hecho, cree que usted puede ser alérgico a masticar, caminar o caminar y masticar al mismo tiempo. Te gusta su respuesta y su elegante oficina, pero empiezas a preguntarte cómo lo pagó.

Publicidad

Al tratar de determinar si un estudio es falso, un poco de sentido común ayuda. Si el 99,9% de los expertos en un campo determinado dicen una cosa y algunos otros no están de acuerdo, vea de dónde proviene la financiación para los escépticos. En otras palabras, siga el dinero.

Willie Soon es uno de los pocos investigadores que niega que la actividad humana tenga algo que ver con el cambio climático. El hecho de que trabaje en el Harvard-Smithsonian Center for Astrophysics otorga cierto prestigio a sus opiniones. Sin embargo, el Centro de Astrofísica tiene una relación independiente con Harvard, y los investigadores no reciben remuneración ni financiación de la universidad.

De hecho, la mayor parte del financiamiento de Soon proviene de fuentes como Exxon Mobil y el American Petroleum Institute, entre otras en el sector energético. En otras palabras, las mismas personas que financian la investigación de Soon son las que más han invertido para refutar la responsabilidad humana por el cambio climático. Aunque Soon insiste en que la fuente de su financiación no está relacionada con su investigación, el objetivo no está a su favor. [source: Goldberg].

4: se autoevalúa

10 señales de que el estudio está mal

“Hasta luego yo mismo.”

mediaphotos / Getty Images

Revisión por pares: esta es la base de una publicación científica acreditada. La idea es que si un estudio ha sido cuidadosamente revisado y aprobado por otro investigador en el mismo campo, es lo suficientemente bueno como para ser publicado en una revista de renombre. Pero esta idea solo es válida si el propio sistema de revisión por pares es confiable.

Hynung-In Moon, investigador de medicina herbal en una universidad de Corea del Sur, tuvo suerte con las revisiones del estudio que publicó en el “Journal of Enzyme Inhibition and Medicinal Chemistry”. Además de algunas sugerencias sobre cómo mejorar sus documentos, se aprobaron rápidamente. Muy rapido. De hecho, las revisiones de pares a veces se devuelven al editor de la revista 24 horas después de la presentación.

Publicidad

Cada vez más sospechoso, el editor le preguntó a Moon qué estaba pasando. El investigador admitió que estas revisiones rápidas y aprobadas provenían nada menos que de él mismo. Siguiendo la práctica común, el periódico le pidió a Moon que sugiriera posibles críticos. Cuando lo hizo, les dio una combinación de nombres reales y ficticios con información de contacto falsa, incluidas las direcciones de correo electrónico que llegaron a la bandeja de entrada de Moon. [source: Ferguson et al].

Resulta que algunos de los sistemas implementados para revisión tienen fallas como esta, y el ejemplo de autoevaluación de Moon no es una anomalía aislada. Esto nos deja con la posibilidad de que algunos de los estudios revisados ​​por pares de los que hemos oído hablar no tengan paralelo.

3: las pilas están agotadas

10 señales de que el estudio está mal

“No importa. Este estudio de cáncer de pulmón probablemente tuvo poca potencia estadística”.

iStock / Thinkstock

El campo de la neurociencia se encuentra en una fase estimulante con una nueva y potente tecnología capaz de analizar el cerebro con una precisión cada vez mayor. Utilizando escáneres, por ejemplo, varios estudios diferentes han examinado la relación entre la salud mental y el volumen cerebral anormal. Muchos, de hecho la mayoría, han encontrado una correlación.

Pero el ritmo frenético al que se seguían confirmando estos estudios despertó la curiosidad del investigador John Ioannidis. Después de analizar los datos, encontró que, en conjunto, todos estos estudios tenían un poder estadístico promedio de 8. Parece bajo, y lo es. Pero qué significa eso?

Publicidad

El poder estadístico de un estudio se refiere al tamaño de las muestras utilizadas y al tamaño de los resultados. En pocas palabras, si estudia a 10,000 fumadores y 10,000 no fumadores y encuentra que el 50% de los fumadores ha desarrollado cáncer de pulmón, mientras que solo el 5% de los no fumadores, su estudio tiene un poder estadístico muy alto. Tuviste un gran campeón y los resultados también fueron enormes.

Pero si estudia a 10 fumadores y 10 no fumadores y encuentra que dos de los fumadores desarrollaron cáncer de pulmón y uno de los no fumadores también, entonces tiene un estudio muy inadecuado. El tamaño de la muestra es tan pequeño que la diferencia entre los dos grupos no tiene sentido [source: Yong].

Para ser justos, la mayoría de los estudios acusados ​​de tener poco poder no son tan ridículamente bajos como este ejemplo ficticio. Pero en los últimos años, investigadores preocupados han denunciado la prevalencia de estudios sobre desnutrición. ¿Su mensaje? ¡Es hora de encender!

2: es muy nuevo

Es posible que deba esperar un tiempo antes de correr para probar el último supuesto medicamento contra el cáncer, anunciado por un nuevo estudio.

Es posible que deba esperar un tiempo antes de correr para probar el último supuesto medicamento contra el cáncer, anunciado por un nuevo estudio.

Thinkstock Images / Stockbytes

Cada dos días, escuchamos sobre un nuevo estudio que encuentra que la vitamina X, Y o Z previene el cáncer, el Alzheimer o las enfermedades autoinmunes, y nos apresuramos a comprar grandes cantidades. Antes de incorporar otro suplemento de moda, puede ser conveniente sentarse y esperar un rato para ver si la investigación adicional refuerza o desmitifica su valor.

Los medios se alimentan de las últimas noticias y novedades. Pero cuando se trata de ciencia, la novedad no es necesariamente algo bueno. A menudo, esto solo significa que los emocionantes resultados de un Un nuevo estudio sorprendente son demasiado nuevos para demostrar que todavía están equivocados. Retroceda unos años y vea cuántos resultados de búsqueda de acciones han resistido la prueba del tiempo.

Publicidad

Dentro de los términos de búsqueda, gran parte de lo que informan los medios son “resultados iniciales”. Los primeros resultados son solo eso, iniciales. Deben ser verificados por nuevos estudios para ver si los resultados se pueden replicar. A menudo no pueden serlo, pero es raro que los medios de comunicación informen resultados negativos de la investigación. [source: Crowe]. Esto se debe a que nunca son tan populares como un descubrimiento nuevo y emocionante.

1: es una buena historia

Parece que la naturaleza tenía razón.  Espero que tengas algo de ropa ignífuga a mano.

Parece que la naturaleza tenía razón. Espero que tengas algo de ropa ignífuga a mano.

Don Arnold / WireImage / Getty Images

La edición de abril de 2015 de “Nature”, una de las revistas científicas más prestigiosas y respetadas del mundo, sorprendió a los lectores con los extraordinarios resultados de un nuevo estudio. Los dragones, dice, no son productos míticos de la imaginación premoderna, sino criaturas reales que han sobrevivido a una fase inactiva desde la Edad Media. Uno de los hallazgos más inquietantes fue que había evidencia de que estas antiguas bestias estaban a punto de despertar.

The Date Post es una clara señal de que este artículo era una broma elaborada de April Fool. Pero a pesar de la naturaleza excéntrica del artículo, destaca una característica importante del periodismo científico: la gente ama las buenas historias. Los científicos lo saben. Incluso la publicación de un artículo en una revista científica puede requerir la creación de una “buena historia” para explicar los resultados. Y cuanto mejor sea la historia, es más probable que la cubran los principales medios de comunicación. [source: Firger].

Pero la investigación científica no siempre conduce a buenas historias. De hecho, la mayoría de las veces, este no es el caso. Una investigación muy importante no es concluyente. En el mejor de los casos, podría darnos una ventana temporal a una posible verdad. La mayoría de las veces, esto nos dice poco o nada. Entonces, cuando se trata de ciencia, preste atención a las buenas historias, dragones o no.

Advertencia de emptor.  No esté tan seguro de poder confiar en todos los llamados estudios científicos en las noticias, incluso si el escritor usa anteojos.

Aviso de emptor. No esté tan seguro de poder confiar en todos los llamados estudios científicos en las noticias, incluso si el escritor usa anteojos.

shironosov / iStock / Thinkstock

¡Come chocolate y adelgaza! En marzo de 2015, los resultados de un nuevo estudio realizado por investigadores alemanes sugirieron que el chocolate podría ser parte de una dieta para adelgazar. El estudio, dirigido por Johannes Bohannon, director de investigación del Institute for Food and Health, una organización sin fines de lucro, mostró que agregar chocolate a una dieta baja en carbohidratos en realidad aumenta la pérdida de grasa.

El único problema fue que el estudio era completamente falso. Johannes Bohannon era en realidad un periodista científico llamado John Bohannon. Bohannon diseñó el estudio para demostrar lo poco que participan los medios de comunicación en la verificación de hechos cuando se trata de informar sobre ciencia. [source: Hiltzik].

Publicidad

Aunque el “estudio” causó controversia en los tabloides, pocos o ningún periódico de renombre lo cubrió. Quizás sea porque reconocieron los signos reveladores de un estudio falso. Averigüemos qué es.

(function () { window.videoClips["vid188382"] = { id : 188382, autoplay: false, started : false, first_quartile : false, midpoint : false, third_quartile : false, content_id : 888024, duration : 180, image_still : "https://resize.hswstatic.com/w_640/h_360/gif/videos/2014-10-17-wts-bizarre-correlations-thumbnail.jpg", title : "6 Bizarre Correlations", clip_title : "6 Bizarre Correlations", series_title : "What the Stuff?!", tax_show_title : "What the Stuff?!", mp4_renditions : [ { src : "https://cdn-mp4.hswstatic.com/2014-10/22/888024/2014-10-17-wts-bizarre-correlations-ar-110k.mp4", type : 'video/mp4', bitrate : "110k" }, { src : "https://cdn-mp4.hswstatic.com/2014-10/22/888024/2014-10-17-wts-bizarre-correlations-ar-200k.mp4", type : 'video/mp4', bitrate : "200k" }, { src : "https://cdn-mp4.hswstatic.com/2014-10/22/888024/2014-10-17-wts-bizarre-correlations-ar-400k.mp4", type : 'video/mp4', bitrate : "400k" }, { src : "https://cdn-mp4.hswstatic.com/2014-10/22/888024/2014-10-17-wts-bizarre-correlations-ar-600k.mp4", type : 'video/mp4', bitrate : "600k" }, { src : "https://cdn-mp4.hswstatic.com/2014-10/22/888024/2014-10-17-wts-bizarre-correlations-ar-800k.mp4", type : 'video/mp4', bitrate : "800k" }, { src : "https://cdn-mp4.hswstatic.com/2014-10/22/888024/2014-10-17-wts-bizarre-correlations-ar-1500k.mp4", type : 'video/mp4', bitrate : "1500k" }, { src : "https://cdn-mp4.hswstatic.com/2014-10/22/888024/2014-10-17-wts-bizarre-correlations-ar-3500k.mp4", type : 'video/mp4', bitrate : "3500k" }, ], adTagUrl : 'https://pubads.g.doubleclick.net/gampad/ads?sz=640x360|400x300' + '&iu=' + dfpVideoSettings._iu + '&cust_params=" + dfpVideoSettings._cust_params + "&impl=s&gdfp_req=1&' + 'env=vp&vid=890585' + '&cmsid=' + dfpVideoSettings._cmsid + '&output=xml_vast3&min_ad_duration=15000&max_ad_duration=60000' + '&unviewed_position_start=1&url=[referrer_url]&correlator=[timestamp]&description_url=http%3A%2F%2F24info.cc&overlay=1' }; })();