miércoles, 15 de febrero de 2012

Concurso ED: ¿Dónde está el error?



A continuación aparece una noticia sobre un artículo de investigación publicado recientemente. La noticia está copiada tal cual. Incluimos el enlace a la propia noticia y al paper, si bien éste no es necesario para resolver la cuestión que se plantea. El objetivo no es criticar a nadie sino entrenar nuestra capacidad de análisis de una forma más o menos divertida.

Sólo con la información que aparece en este texto, ¿dónde está el error?

Las personas con niveles elevados de vitaminas B, C, D y E y de ácidos grasos omega-3 en la sangre rinden más en pruebas de función ejecutiva y atención, tienen mejores habilidades visuoespaciales y muestran una mejor función cognitiva global. También tienden a poseer un mayor volumen cerebral, según un estudio publicado en la revista Neurology. 
Se midieron los niveles de más de 30 nutrientes en la sangre a 104 personas con una edad media de 87 ± 10 años (62% mujeres). Globalmente eran personas con un buen nivel educacional, no fumadoras, sin problemas de memoria y sin enfermedades crónicas. También se realizaron pruebas de resonancia magnética a 42 de los participantes para medir su volumen cerebral. Los investigadores hallaron que varios nutrientes pueden afectar distintos aspectos del pensamiento. También concluyeron que personas con altos niveles de grasas trans obtuvieron peores resultados en pruebas del pensamiento y presentaban un menor volumen cerebral.


Gallifante simbólico para los acertantes. No hay moderación de comentarios.

Solución de ED [Escrita en blanco. Selecciona para leer]:


Como bien se puede ver en los comentarios de esta entrada, es posible sacarle mucho jugo a una noticia sobre un tema científico si se la examina con detenimiento (este era uno de los objetivos no declarados del concurso).

Sin embargo, hay un error que es muy común, y no por ello menos grave, en esta noticia y que antecede a todos los demás posibles: no es posible establecer una relación de causalidad en una investigación de este tipo y, sin embargo, el tono general y alguna frase en particular afirman claramente la existencia de una relación causa-efecto direccional entre nivel de vitaminas/omega-3 (A) y funciones cognitivas (B). Esto es, la noticia favorece una de las cinco posibles explicaciones a por qué existe esa correlación cuando no hay base para hacerlo. Veamos brevemente esas posibilidades:

  1. A es causa de B
  2. B es causa de A
  3. Un factor desconocido C es la causa de A y B
  4. Una combinación de las tres posibilidades anteriores
  5. La correlación es una mera coincidencia. Una muestra mayor y/o la comprobación de posibles errores sistemáticos podrían hacerla desaparecer.

El estudio original en el que se basa la noticia, como apunta algún participante, tiene mucho cuidado en no incurrir en el error de favorecer ninguna de las explicaciones posibles. Por otra parte este trabajo aislado no tiene otra ambición que la de constatar un dato. El redactor es el que lo ha convertido en un titular.  


Muchas gracias a todos por participar. Los acertantes pueden recoger su gallifante al salir.




Referencia: 

Bowman GL, Silbert LC, Howieson D, Dodge HH, Traber MG, Frei B, Kaye JA, Shannon J, & Quinn JF (2012). Nutrient biomarker patterns, cognitive function, and MRI measures of brain aging. Neurology, 78 (4), 241-9 PMID: 22205763

35 comentarios:

  1. Anónimo12:02 p. m.

    El primero que se me ocurre está relacionado con el valor estadístico de la edad de los implicados en el estudio. Cuando se están estudiando distintas variables como las funciones congnitivas de personas, 10 años de error en una población con 87 años supera el 10% y eso ya no debería estar permitido porque comparar ls finciones congnitivas (entre otras variables) de una persona de 97 años (87+10) con las de una persona de 77 años (87-10) es un..disparate...ale, Scientia ya se ha metido en otro charco..
    Un abrazo César y enhorabuena por la iniciativa.
    Jose

    ResponderEliminar
  2. "personas con un buen nivel educacional, no fumadoras, sin problemas de memoria y sin enfermedades crónicas" pienso que hay sesgo en el grupo, ya que si lo que se analiza en cuestion es le influencia de dichas vitaminas y acidos grasos la muestra deberia ser mas variada.

    ResponderEliminar
  3. moigaren12:20 p. m.

    Yo un fallo que le veo a la noticia es que anuncia una causalidad que no está demostrada. Dice que las personas con altos niveles de ciertos nutrientes rinden más y tienen mayor cerebro, pero bien pudiera ser al contrario: que las personas con mayor cerebro y rendimiento tuvieran mayores niveles de esos nutrientes en sangre.

    ResponderEliminar
  4. Anónimo12:27 p. m.

    Seguro que no es la respuesta esperada... pero ahí va. Erróneamente se tiende a pensar que los omega-3 son siempre cis. Un omega-3 mal procesado acaba siendo trans. Por lo tanto deberian decir "rich in all-CIS omega-3" al principio para no contradecirse con la conclusión respecto a los trans.
    Divertida iniciativa.
    Curious.

    ResponderEliminar
  5. Anónimo12:37 p. m.

    ¿Quiere decir la noticia, que si me hincho a Vitaminas, tendré más capacidad mental? La capacidad será acumulativa, de lo que coma o ejercite mi mente durante toda mi vida (además de factores genéticos). El tener más vitaminas es más instantáneo (dependerá del instante de mi vida)

    ResponderEliminar
  6. Y llegó un matemático:
    el 62% (de mujeres) de 104 pacientes, implica que hubo 64'48 mujeres...
    Si hubo 64, el porcentaje sería del 61'54%.
    Si hubo 65, sería del 62,5%

    Es sólo por decir algo.

    ResponderEliminar
  7. Ya han nombrado lo de los omega3 rancios, y las cosas matemáticas...

    Por variar un poco: Habría que ver a que "42" participantes se le hizo la RM....ya que el núcleo sexodimorfico de los hombres es 5 veces más grande que el de las mujeres...Por otro lado desconozco como funciona la RM y si es capaz de medir volumen cerebral..xD

    Otra cosa que no me gusta es la frase:

    "Los investigadores hallaron que varios nutrientes pueden afectar distintos aspectos del pensamiento"

    No estará mal...pero a ver, que se modifiquen capacidades cognitivas o habilidades es una cosa, que se hable de "modificar el pensamiento" me parece fuera de lugar....¿como se mide la modificación del pensamiento?

    ResponderEliminar
  8. Yo no sé nada o casi nada de estas cosas, pero lo primero que se me ocurrió al leer la entrada es que hay demasiadas variables (30) como para concretar los beneficios de 4 vitaminas y 1 ácido graso.

    ResponderEliminar
  9. Anónimo2:00 p. m.

    Decir la media con margen de error no tiene sentido.

    ResponderEliminar
  10. Anónimo2:17 p. m.

    Los niveles de ácidos grasos omega-3 no se pueden medir en sangre.

    ResponderEliminar
  11. Anónimo2:33 p. m.

    ¿Los sujetos de estudio tienen una media de 87 años y no tienen problemas de memoria ni enfermedades crónicas? ¿Han hecho el estudio en el planeta de origen de Superman o qué? XD
    En cualquier caso, hablar de "personas" en general cuando los sujetos de estudio pertenecen no ya a la tercera edad, sino casi al más allá es, como poco, cachondo.
    Fernando

    ResponderEliminar
  12. Buena pregunta. En mi opinión, el problema es que se han medido 30 nutrientes en la sangre en 104 individuos por tanto es estadísticamente muy probable que se observen fluctuaciones aleatorias que impliquen correlaciones ficticias en 4 o 5 de dichos nutrientes (p.ej con el volumen cerebral).

    El artículo proclama haberlas descubierto como si fuera algo importante, pero estadísticamente es como sorprenderse que al tirar 30 veces una moneda cinco veces hayan salido cinco caras seguidas.

    ResponderEliminar
  13. saregntopez3:00 p. m.

    Se midió el volumen cerebral de 42 de las 104 personas, ni el 50%
    Y se obtuvo que con más grasas trans era menor el volumen.
    ¿Y si en el resto de esas 104, o sea 58 personas, hubiera sido al revés? El estudio no vale pa na.
    Seguro que al final será una tontería que no tendrá que ver con esto.

    ResponderEliminar
  14. sargentopez3:01 p. m.

    Se midió el volumen cerebral de 42 de las 104 personas, ni el 50%
    Y se obtuvo que con más grasas trans era menor el volumen.
    ¿Y si en el resto de esas 104, o sea 58 personas, hubiera sido al revés? El estudio no vale pa na.
    Seguro que al final será una tontería que no tendrá que ver con esto.

    ResponderEliminar
  15. Anónimo3:02 p. m.

    Muestra sesgada no representativa.

    Habla de presencia en sangre de las vitaminas y grasas, las relaciona con la ingesta de nutrientes y el volumen del cerebro. Podría ser todo lo contrario.
    Falacia "cum hoc ergo propter hoc", confunde causa y efecto.

    ResponderEliminar
  16. Anónimo3:09 p. m.

    En todo caso, si el estudio no ha encontrado que de los 30 nutrientes SOLO los mencionados tienen influencia(eg, por anova y P<0.05), lo que dicen no tiene ningún valor. Pero en la mili, el valor se le supone. En un artículo así, también.
    ccurious

    ResponderEliminar
  17. Anónimo3:13 p. m.

    Los omega-3 sí que se pueden medir en sangre. Otra cosa mariposa es la relación que tengan con la ingesta, pero medirse, se pueden medir.
    De momento la respuesta matemática es la k+ me gusta.
    curious

    ResponderEliminar
  18. Yo opino además que no tiene relación el nivel actual de esos nutrientes en sangre, con los que han tenido durante el desarrollo del sistema nervioso (si promueven mayor volúmen cerebral, y por ende, mejores capacidades, estos nutrientes deberían haber estado presentes en lactancia e infancia, no en la senectud).

    Además, lo de mayor volúmen cerebral y mejores aptitudes... una ballena tiene mayor encéfalo que un ser humano, y no por ello necesariamente es más inteligente. Mayor volúmen pude indicar que la persona también es de mayor talla (más receptores sensitivos etc..).

    por aportar algo.

    ResponderEliminar
  19. Creo que hay lo han dicho por aquí, pero para mí hay dos errores. El primero tiene que ver con la población empleada en la muestra: ¿un margen de error de +-10 años? Es una barbaridad. El segundo, y ya en lo que es la noticia en sí, tiene que ver con el carácter afirmativo de la primera frase, que atribuye de manera concluyente una relación causa-efecto que no está suficientemente demostrada en el párrafo siguiente.

    ResponderEliminar
  20. Una muestra demasiado pequeña y sesgada.

    ResponderEliminar
  21. El error, como ocurre habitualmente, está en la interpretación del que ha escrito la entrada en español en neurologia.com porque al artículo original no se aventura a dar ninguna conclusión de tipo causal, sino que insta a realizar más estudios y confirmarlo en otras poblaciones.

    http://www.ncbi.nlm.nih.gov/pubmed/22205763

    ResponderEliminar
  22. Todos los factores cambian con la edad a la vez, es decir, los más jóvenes (77 años) tiene niveles más elevados en sangre de vitaminas, ácidos grasos, etc, también mejores habilidades cognitivas en general y también mayor volumen cerebral que los más mayores (97 años) que de media presentarán niveles más bajos en sangre de nutrientes, menores capacidades cognitivas y menor volumen cerebral. Resultado amañado. Dónde recojo el premio?

    Enrique
    @Henrybengoaweb

    ResponderEliminar
  23. Es obvio que el bueno de César está haciendo un experimento sobre peer review en publicaciones científicas.

    Lo negará (o no) pero no me cabe duda de que es así. :P

    Saludetes

    ResponderEliminar
  24. A mi me parece curioso que no se tenga en cuenta el sexo a la hora de considerar el volumen cerebral.

    ResponderEliminar
  25. Estoy de acuerdo con "Ese Punto Azul Pálido". Me recuerda demasiado a tu otro experimento sobre la existencia del calor:
    http://amazings.es/2011/10/27/existe-el-calor/

    ResponderEliminar
  26. Todo el artículo es un error.
    Se vende como ciencia lo que es sólo seudociencia.
    Se publican auténticas barbaridades que pasan sin criterio los filtros de loa evaluadores y editores.
    Carlos Elías ha descrito varios ejemplos en "La razón estrangulada" Hace unos días llamabas la atención sobre unos supuestos ¿matemáticos? que han demostrado el 5º postulado de Euclides, en un artículo de risa.
    Y lo peor es que encima este tipo de investigaciones aparecen en los medios de comunicación

    ResponderEliminar
  27. Es la correlación, estú.. perdón, es que estaba a huevo ;)
    Pues eso, que se vende como causalidad no que no es sino correlación.

    ResponderEliminar
  28. "Los investigadores hallaron que varios nutrientes pueden afectar distintos aspectos del pensamiento."

    Piratas y cambio climático, claramente.

    ResponderEliminar
  29. El valor medio es un número sin incertidumbre (87), no un intervalo (87+-10)

    Aparte de que seriamente sea aventurada sacar conclusiones con sólo esa muestra (que es muy pequeña) y que seguramente puedan confundirse causa y efectos, etc...

    Pero creo que el error es lo de la media

    ResponderEliminar
  30. Anónimo12:24 a. m.

    Lo de la media está correcto. Es común escribir la media junto con la desviación estándar. No quiero sonar pedante, pero un poco de lectura superficial de unos artículos, enseña eso.

    ResponderEliminar
  31. Anónimo1:44 a. m.

    La muestra parcial de 42 pacientes con MRI para correlacionar el volumen cerebral con el resto de los parámetros es inconsistente para inferir una relación causal y generalizar una conclusión al 100% de la muestra.

    ResponderEliminar
  32. Insisto, la lección que hay que aprender es que hay que desconfiar de lo que se lee e ir a los artículos originales.

    La interpretación y conclusiones que aparecen en Neurologia.com luego pegadas en este blog NO APARECEN en el estudio.

    El el estudio los autores se limitan a decir que han visto una correlación, instan a realizar más experimentos que lo confirmen, y no hablan EN NINGÚN CASO de una relación causal.

    ResponderEliminar
  33. Ciñéndose a los párrafos expuestos (no al paper original), el primer párrafo expone conclusiones que de ninguna manera se pueden alcanzar con la metodología expuesta en el segundo párrafo. En particular, el hacer extensivas a "las personas" conclusiones sobre una muestra de ancianos sanos. Otras aseveraciones pudieran estar bien fundamentadas en el paper original -aunque sabemos que no lo están.

    ResponderEliminar
  34. BlueSheep4:47 p. m.

    Los investigadores hallaron que varios nutrientes pueden afectar distintos aspectos del pensamiento.También concluyeron que personas con altos niveles de grasas trans obtuvieron peores resultados en pruebas del pensamiento y presentaban un menor volumen cerebral.

    A mí me patina el embrague cada vez que leo eso. Sobre todo lo que está en negrita. Cuando menos está mal redactado, pero vamos, que lo mismo el tocino y la velocidad están relacionados y yo no me había enterado todavía.

    ResponderEliminar
  35. No me parece tan claro que los autores afirmaran eso, por lo menos a partir de lo que leí en tu post. Pero es verdad que es un error muy común, hoy en día se afirma que la mariguana causa esquizofrenia solo porque se ve una correlación entre el consumo y la enfermedad

    ResponderEliminar

Por favor, cuida la ortografía y la gramática. Gracias.

Nota: solo los miembros de este blog pueden publicar comentarios.