“SIGNIFICANCE” IN SCIENCE - Part 1 by Fredric M. Menger, Emory University, Atlanta, GA USA
“Significance” as applied to scientific data has two meanings.
(1) Significance refers to the magnitude of an effect relative to its experimental error. Thus, an increase in an observed effect of 8 units is significant relative to an experimental error of ±1 unit.
(2) Another and equally important aspect of significance deals with the question: “Is an observed effect sufficiently large to be interesting and to warrant further study and/or publication? This essay is limited to the second and more subjective aspect of significance. Specific examples, such as those given below, are useful in defining the concept.
A scientist obtained a value of 1.251 grams per liter for the density of nitrogen prepared from ammonia. He then also made nitrogen by removing oxygen, carbon dioxide, and water vapor from air. The density obtained from this atmospheric nitrogen was 1.257. Since the experiment was repeated several times with no variation in the results, the 0.006 difference must be “significant” in the sense of being greater than the experimental uncertainty. Two reasonable hypotheses account for the tiny 0.006 discrepancy:
(a) The ammonia-derived nitrogen was contaminated by a gas lighter than pure nitrogen such as hydrogen.
(b) The nitrogen derived from air was contaminated by a gas heavier than pure nitrogen.
The first possibility was ruled out by various negative tests for hydrogen. The second possibility was tested by reacting a sample of atmosphere-derived nitrogen with red-hot magnesium metal to form magnesium nitride. After the reaction was over, there remained behind a small amount of gas heavier than nitrogen, thereby confirming the second hypothesis. The heavier impurity turned out to be argon, and this was in fact the way Lord Rayleigh and William Ramsay discovered the element. The point here is that these scientists knew that their density effect was interesting (“significant”) because it violated certain expectations, namely that nitrogen from the two sources must have had the identical density.
Organic chemists usually publish a “% yield” when describing a new reaction. A 60% yield means that 40% of the starting material did not react or was diverted to some undesired compound. Suppose a chemist discovers how to improve the yield from 60% to 70%. Does this finding merit the main theme of a scientific paper? Although the work is sound and an improvement over the past, one senses here a lack of impact. After all, one could obtain all the product one needs simply by scaling up the quantities. Moreover, one could claim that the work provides no new insights into chemical behavior and that it manifests little creativity. It is unlikely, therefore, that the work could get published as the focus of an article in a major journal. Note that failure in this regard stems neither from faulty data nor from incorrect conclusions, but rather from a subjective opinion.
How could a chemist with the 10% yield improvement assist others in evaluating the work? Obviously, the chemist could describe the reasons for carrying out the experiment. If the original goal had been to elevate the yield by 10%, then this should be so stated and justified. If the 10% increase was an unexpected finding, then this should also be brought out in the discussion. But a 10% change in the absence of a baseline, or a motivated expectation, leaves the reader with no sense of import. This uncovers a basic rule which should if possible be applied to the discovery of any new effect: Relate the data to a carefully specified definition of significance. Readers may disagree over the particular definition, but at least there would be a means for judging success.
Suppose a pharmacologist discovers a drug that reduces the number of leukemia cells in the blood by 80%. Conceivably this result could be reported as a “large” effect of the drug on cancer cell populations. Alternatively, the pharmacologist might define a “significant” drug as one that reduces the cancer cells below the level of detection. Accordingly, the compound would be regarded as relatively ineffective. It is up to the pharmacologist to decide on which definition of significance is applicable and, importantly, why this particular definition was selected. It is not satisfactory, however, to claim that the drug has a “significant” effect on cancer cells without explaining why an 80% death-rate is interesting, or useful, or important so that everyone can assess the success of the experiment.
(1) Significance refers to the magnitude of an effect relative to its experimental error. Thus, an increase in an observed effect of 8 units is significant relative to an experimental error of ±1 unit.
(2) Another and equally important aspect of significance deals with the question: “Is an observed effect sufficiently large to be interesting and to warrant further study and/or publication? This essay is limited to the second and more subjective aspect of significance. Specific examples, such as those given below, are useful in defining the concept.
A scientist obtained a value of 1.251 grams per liter for the density of nitrogen prepared from ammonia. He then also made nitrogen by removing oxygen, carbon dioxide, and water vapor from air. The density obtained from this atmospheric nitrogen was 1.257. Since the experiment was repeated several times with no variation in the results, the 0.006 difference must be “significant” in the sense of being greater than the experimental uncertainty. Two reasonable hypotheses account for the tiny 0.006 discrepancy:
(a) The ammonia-derived nitrogen was contaminated by a gas lighter than pure nitrogen such as hydrogen.
(b) The nitrogen derived from air was contaminated by a gas heavier than pure nitrogen.
The first possibility was ruled out by various negative tests for hydrogen. The second possibility was tested by reacting a sample of atmosphere-derived nitrogen with red-hot magnesium metal to form magnesium nitride. After the reaction was over, there remained behind a small amount of gas heavier than nitrogen, thereby confirming the second hypothesis. The heavier impurity turned out to be argon, and this was in fact the way Lord Rayleigh and William Ramsay discovered the element. The point here is that these scientists knew that their density effect was interesting (“significant”) because it violated certain expectations, namely that nitrogen from the two sources must have had the identical density.
Organic chemists usually publish a “% yield” when describing a new reaction. A 60% yield means that 40% of the starting material did not react or was diverted to some undesired compound. Suppose a chemist discovers how to improve the yield from 60% to 70%. Does this finding merit the main theme of a scientific paper? Although the work is sound and an improvement over the past, one senses here a lack of impact. After all, one could obtain all the product one needs simply by scaling up the quantities. Moreover, one could claim that the work provides no new insights into chemical behavior and that it manifests little creativity. It is unlikely, therefore, that the work could get published as the focus of an article in a major journal. Note that failure in this regard stems neither from faulty data nor from incorrect conclusions, but rather from a subjective opinion.
How could a chemist with the 10% yield improvement assist others in evaluating the work? Obviously, the chemist could describe the reasons for carrying out the experiment. If the original goal had been to elevate the yield by 10%, then this should be so stated and justified. If the 10% increase was an unexpected finding, then this should also be brought out in the discussion. But a 10% change in the absence of a baseline, or a motivated expectation, leaves the reader with no sense of import. This uncovers a basic rule which should if possible be applied to the discovery of any new effect: Relate the data to a carefully specified definition of significance. Readers may disagree over the particular definition, but at least there would be a means for judging success.
Suppose a pharmacologist discovers a drug that reduces the number of leukemia cells in the blood by 80%. Conceivably this result could be reported as a “large” effect of the drug on cancer cell populations. Alternatively, the pharmacologist might define a “significant” drug as one that reduces the cancer cells below the level of detection. Accordingly, the compound would be regarded as relatively ineffective. It is up to the pharmacologist to decide on which definition of significance is applicable and, importantly, why this particular definition was selected. It is not satisfactory, however, to claim that the drug has a “significant” effect on cancer cells without explaining why an 80% death-rate is interesting, or useful, or important so that everyone can assess the success of the experiment.
Scheme: Is the killing of 80% cancer cells by the drug significant?
Homeostasis is the process by which our body maintains biological stability in response to changes in external conditions. Usually this is accomplished by means of one mechanism increasing a property while a second mechanism decreases the parameter. Between the two, stability is achieved. For example, in humans when the blood calcium level rises above an ideal point, a thyroid hormone is released that causes the level to fall. And when the calcium level falls below that point, a parathyroid hormone causes the level to rise. A low calcium level (called hypocalcemia) can be serious because calcium is important for healthy bones and teeth and for normal muscle and nerve action. The condition is detected via a blood test where the normal value is 4.5 – 5.5 mEq/L. Suppose a patient is discovered to have a blood level of 3.5 mEq/L. Is this a cause for concern by a doctor? In other words, is this a significant departure from normal such that the doctor must search for possible causes (faulty parathyroid output, vitamin D deficiency, certain types of leukemia etc.)? At the very least the doctor should inquire as to whether other symptoms of hypocalcemia (numbness of fingers, irritability, cramps etc.) are present. And the test should be repeated again in the near future to see if the low calcium persists. The point of this discussion is that doctors must all the time decide on the significance of an observation, and this is not always a simple task.
Owing to homeostasis, even small changes can be significant.
Owing to homeostasis, even small changes can be significant.
A RELEVÂNCIA NA CIÊNCIA - Part 1 por Fredric M. Menger, Universidade Emory, Atlanta, EUA
Traduzido por Natanael F. França Rocha, Florianópolis, Brasil
O termo relevância, da forma como é aplicado na pesquisa científica, possui dois significados:
(1) Refere-se à grandeza do efeito em relação ao seu erro experimental. Assim, um aumento de 8 unidades em um efeito observado é significativo quando em relação a um erro experimental de ±1 unidade. Ou seja, relevância indica significância estatística.
(2) Outro aspecto igualmente importante do uso do termo relevância, refere-se à seguinte pergunta: “Um efeito observado é suficientemente grande para ser interessante e justificar um estudo mais aprofundado e/ou uma publicação?”
Este ensaio irá enfatizar este segundo significado do termo relevância que é muito mais subjetivo. Exemplos específicos, tais como os que virão a seguir, são úteis na definição deste conceito.
Um cientista obteve um valor de 1,251 gramas por litro para a densidade do nitrogênio preparado a partir da amônia. Ele, em seguida, também produziu nitrogênio através da remoção do oxigênio, dióxido de carbono e vapor de água do ar. A densidade obtida a partir deste nitrogênio atmosférico foi de 1,257. Já que o experimento foi repetido várias vezes com nenhuma mudança nos resultados, a diferença de 0,006 pode ser relevante, no sentido de ser maior do que a incerteza experimental. Duas hipóteses razoáveis podem explicar essa mínima discrepância de 0,006. A saber:
(a) O nitrogênio derivado da amônia foi contaminado por um gás mais leve que o nitrogênio puro, tal como o hidrogênio.
(b) O nitrogênio derivado do ar foi contaminado por um gás mais pesado do que o nitrogênio puro.
A primeira possibilidade foi descartada através de vários testes negativos para detecção do hidrogênio. A segunda possibilidade foi testada através da reação de uma amostra de nitrogênio, derivado da atmosfera, com magnésio metálico superaquecido, para formar nitreto de magnésio. Após o término da reação, restou uma pequena quantidade de gás mais pesado que o nitrogênio, confirmando portanto a segunda hipótese. A impureza mais pesada acabou sendo o argônio, e foi justamente assim que Lord Rayleigh e William Ramsay descobriram este elemento. O ponto aqui é que estes cientistas sabiam que o seu efeito de densidade era relevante, já que certas expectativas foram violadas, já que esperava-se que nitrogênio das duas fontes tivesse densidades idênticas.
Químicos orgânicos geralmente publicam um “% de rendimento” ao descrever uma nova reação. Um rendimento de 60% significa que 40% do material de partida não reagiu ou foi desviado para algum composto indesejado. Suponhamos que um químico descubra como melhorar este rendimento de 60% para 70%. Será que este achado justifica-se como tema principal de um artigo científico? Embora o trabalho seja sólido e um avanço em relação ao passado, percebe-se aqui uma falta de impacto. Afinal, pode-se obter todo o produto necessário simplesmente ampliando as quantidades. Além disso, pode-se afirmar que o trabalho não fornece novos insights sobre o comportamento químico e que apresenta pouca criatividade. É pouco provável, portanto, que o trabalho possa ser publicado com este aspecto como foco principal de um artigo em uma revista importante. Observe que a falha nesse sentido não provém nem de dados problemáticos nem de conclusões incorretas, mas sim de uma opinião subjetiva.
Como poderia um químico, com uma melhoria de rendimento de 10%, ajudar outros pesquisadores na avaliação desse trabalho? Obviamente, o químico pode descrever as razões para a realização do experimento. Se o objetivo original fosse elevar o rendimento em 10%, então isto deveria ser declarado e justificado. Se o aumento de 10% foi um achado inesperado, então isto também deve ser abordado na discussão. Mas uma mudança de 10%, sem ter uma referência, ou sem uma expectativa motivadora, deixa o leitor sem nenhum senso da importância deste fato. Isto revela uma regra básica que deve ser aplicada, se possível, para a descoberta de qualquer novo efeito: Correlacionar os dados com uma definição muito bem justificada da sua relevância. Os leitores podem até discordar da relevância, mas pelo menos existiria uma forma de avaliar o sucesso do trabalho realizado.
Suponhamos que um farmacologista descubra um fármaco (ou remédio) que reduz o número de células de leucemia no sangue em 80%. É concebível que esse resultado possa ser classificado como um “grande” efeito do fármaco nas populações de células cancerígenas. Alternativamente, o farmacologista pode definir como “relevante” um fármaco que reduza o número de células cancerígenas para uma quantidade menor que o nível de detecção das mesmas. Consequentemente, o composto seria considerado relativamente ineficaz. Cabe ao farmacologista decidir qual das definições de relevância é aplicável e, mais importante, explicando por que esta definição foi selecionada. Não é satisfatório, portanto, somente alegar que um determinado fármaco tem um efeito “relevante” porque mata uma taxa de 80% das células cancerígenas. Deve ser explicado por que esse resultado é interessante, ou útil, ou importante, a fim de que todos possam avaliar o sucesso do experimento. Os dados científicos, em outras palavras, devem ser justificados (“enquadrados”) adequadamente.
(1) Refere-se à grandeza do efeito em relação ao seu erro experimental. Assim, um aumento de 8 unidades em um efeito observado é significativo quando em relação a um erro experimental de ±1 unidade. Ou seja, relevância indica significância estatística.
(2) Outro aspecto igualmente importante do uso do termo relevância, refere-se à seguinte pergunta: “Um efeito observado é suficientemente grande para ser interessante e justificar um estudo mais aprofundado e/ou uma publicação?”
Este ensaio irá enfatizar este segundo significado do termo relevância que é muito mais subjetivo. Exemplos específicos, tais como os que virão a seguir, são úteis na definição deste conceito.
Um cientista obteve um valor de 1,251 gramas por litro para a densidade do nitrogênio preparado a partir da amônia. Ele, em seguida, também produziu nitrogênio através da remoção do oxigênio, dióxido de carbono e vapor de água do ar. A densidade obtida a partir deste nitrogênio atmosférico foi de 1,257. Já que o experimento foi repetido várias vezes com nenhuma mudança nos resultados, a diferença de 0,006 pode ser relevante, no sentido de ser maior do que a incerteza experimental. Duas hipóteses razoáveis podem explicar essa mínima discrepância de 0,006. A saber:
(a) O nitrogênio derivado da amônia foi contaminado por um gás mais leve que o nitrogênio puro, tal como o hidrogênio.
(b) O nitrogênio derivado do ar foi contaminado por um gás mais pesado do que o nitrogênio puro.
A primeira possibilidade foi descartada através de vários testes negativos para detecção do hidrogênio. A segunda possibilidade foi testada através da reação de uma amostra de nitrogênio, derivado da atmosfera, com magnésio metálico superaquecido, para formar nitreto de magnésio. Após o término da reação, restou uma pequena quantidade de gás mais pesado que o nitrogênio, confirmando portanto a segunda hipótese. A impureza mais pesada acabou sendo o argônio, e foi justamente assim que Lord Rayleigh e William Ramsay descobriram este elemento. O ponto aqui é que estes cientistas sabiam que o seu efeito de densidade era relevante, já que certas expectativas foram violadas, já que esperava-se que nitrogênio das duas fontes tivesse densidades idênticas.
Químicos orgânicos geralmente publicam um “% de rendimento” ao descrever uma nova reação. Um rendimento de 60% significa que 40% do material de partida não reagiu ou foi desviado para algum composto indesejado. Suponhamos que um químico descubra como melhorar este rendimento de 60% para 70%. Será que este achado justifica-se como tema principal de um artigo científico? Embora o trabalho seja sólido e um avanço em relação ao passado, percebe-se aqui uma falta de impacto. Afinal, pode-se obter todo o produto necessário simplesmente ampliando as quantidades. Além disso, pode-se afirmar que o trabalho não fornece novos insights sobre o comportamento químico e que apresenta pouca criatividade. É pouco provável, portanto, que o trabalho possa ser publicado com este aspecto como foco principal de um artigo em uma revista importante. Observe que a falha nesse sentido não provém nem de dados problemáticos nem de conclusões incorretas, mas sim de uma opinião subjetiva.
Como poderia um químico, com uma melhoria de rendimento de 10%, ajudar outros pesquisadores na avaliação desse trabalho? Obviamente, o químico pode descrever as razões para a realização do experimento. Se o objetivo original fosse elevar o rendimento em 10%, então isto deveria ser declarado e justificado. Se o aumento de 10% foi um achado inesperado, então isto também deve ser abordado na discussão. Mas uma mudança de 10%, sem ter uma referência, ou sem uma expectativa motivadora, deixa o leitor sem nenhum senso da importância deste fato. Isto revela uma regra básica que deve ser aplicada, se possível, para a descoberta de qualquer novo efeito: Correlacionar os dados com uma definição muito bem justificada da sua relevância. Os leitores podem até discordar da relevância, mas pelo menos existiria uma forma de avaliar o sucesso do trabalho realizado.
Suponhamos que um farmacologista descubra um fármaco (ou remédio) que reduz o número de células de leucemia no sangue em 80%. É concebível que esse resultado possa ser classificado como um “grande” efeito do fármaco nas populações de células cancerígenas. Alternativamente, o farmacologista pode definir como “relevante” um fármaco que reduza o número de células cancerígenas para uma quantidade menor que o nível de detecção das mesmas. Consequentemente, o composto seria considerado relativamente ineficaz. Cabe ao farmacologista decidir qual das definições de relevância é aplicável e, mais importante, explicando por que esta definição foi selecionada. Não é satisfatório, portanto, somente alegar que um determinado fármaco tem um efeito “relevante” porque mata uma taxa de 80% das células cancerígenas. Deve ser explicado por que esse resultado é interessante, ou útil, ou importante, a fim de que todos possam avaliar o sucesso do experimento. Os dados científicos, em outras palavras, devem ser justificados (“enquadrados”) adequadamente.
Esquema: É significativo que um fármaco mate 80% das células cancerígenas?
A homeostase é o processo pelo qual o corpo mantém a estabilidade biológica em resposta a alterações nas condições externas. Normalmente, isto é conseguido por meio de um mecanismo que aumenta uma propriedade, enquanto um segundo mecanismo diminui o parâmetro. Entre os dois, obtém-se a estabilidade. Por exemplo, em humanos, quando o nível de cálcio no sangue se eleva acima de um ponto ideal, um hormônio da tireóide é liberado fazendo com que o nível caia. E, quando o nível de cálcio cai abaixo desse ponto, um hormônio da paratireóide faz com que o nível se eleve. Um baixo nível de cálcio (chamado de hipocalcemia) pode ser grave porque o cálcio é importante para se ter ossos e dentes saudáveis e para uma atividade normal dos músculos e nervos. A condição é detectada através de um exame de sangue em que o valor normal é de 4,5 – 5,5 mEq/L. Suponhamos que se descubra que um paciente tem um nível de cálcio no sangue de 3,5 mEq/L. Isto seria um motivo de preocupação para um médico? Em outras palavras, este seria um desvio considerável da normalidade a ponto de o médico investigar as possíveis causas (problemas na paratireóide, deficiência de vitamina D, certos tipos de leucemia, etc.)? No mínimo, o médico deveria investigar se estão presentes outros sintomas da hipocalcemia (dormência dos dedos, irritabilidade, cãibras etc.). E o teste deveria ser repetido novamente em um futuro próximo para ver se o baixo nível de cálcio persiste. O ponto dessa discussão é que os médicos devem decidir o tempo todo sobre a importância de uma observação, e isso nem sempre é uma tarefa simples.
Devido à homeostase, mesmo pequenas alterações podem ser significativas.
Devido à homeostase, mesmo pequenas alterações podem ser significativas.
Nenhum comentário:
Postar um comentário