Validación de cuestionario sobre interacción de factores genéticos y ambientales en la aparición del asma bronquial
RESUMEN
Introducción:

el asma bronquial es la clásica enfermedad dentro de las afecciones alérgicas, y tiene gran impacto en la salud mundial. Es una enfermedad compleja tanto genética como fenotípicamente, y las interacciones genética-ambientales la complejizan aún más.

Objetivo:

validar un cuestionario para el estudio de los factores genéticos y su interacción con factores ambientales en la aparición de los trastornos inmunitarios por asma bronquial.

Métodos:

el estudio se generó en el departamento de Inmunología del Hospital Pediátrico Provincial Docente Pepe Portilla de la provincia Pinar del Río. Se seleccionó el grupo coordinador de la técnica a realizar. Se utilizó la Metodología Delphi, en sus cuatro fases: definición del tema, selección de expertos, ejecución de rondas de consultas y evaluación de los resultados. Para determinar las similitudes y concordancias de las respuestas, se calculó el coeficiente de concordancia de Kendall y Friedman.

Resultados:

se seleccionaron 21 expertos con altos niveles de competencia de acuerdo al cálculo de los coeficientes de conocimiento y argumentación. En la tercera versión del cuestionario existió similitud en las respuestas de los expertos a favor de la categoría superior de Muy imprescindible, así como concordancia en el nivel de respuesta.

Conclusiones:

el cuestionario diseñado alcanza niveles óptimos de validez de contenido y factibilidad para determinar la contribución de los factores genéticos y su interacción con factores ambientales en la aparición de los trastornos inmunitarios por asma bronquial.

ABSTRACT
Introduction:

bronchial asthma is the classic disease among allergic conditions, and has great impact on health worldwide. It is a complex disease both genetically and phenotypically, and genetic-environmental interactions make it even more complex.

Objective:

to validate a questionnaire for the study of the involvement of genetic factors and their interaction with environmental factors in the onset of immune disorders due to bronchial asthma.

Methods:

the study was developed in the Department of Immunology at Pepe Portilla Provincial Pediatric Teaching Hospital in Pinar del Río province. The coordinating group of the technique to be carried out was selected and comprised three professionals responsible for the proposed research. The Delphi Methodology was used, completing its four phases: definition of the topic, selection of experts, implementation of consultation rounds and assessment of results. To determine the agreement or similarities of the responses of the evaluators respectively, the Kendall and Friedman concordance coefficient was calculated.

Results:

twenty-one (21) experts with high levels of competence were selected according to the calculation of the coefficients of knowledge and argumentation. In the third version of the questionnaire, there was similarity in the responses of the experts in favor of the higher category of Very Essential, as well as agreement in the level of response of the experts.

Conclusions:

the designed questionnaire reaches optimal levels of content validity and feasibility to determine the contribution of genetic factors and their interaction with environmental factors on the onset of immune disorders due to bronchial asthma.

DeCS:
    • ASMA BRONQUIAL;
    • EPIGÉNESIS GENÉTICA;
    • ENFERMEDADES DEL SISTEMA INMUNE;
    • VALIDACIÓN.
MeHS:
    • ASTHMA;
    • EPIGENESIS, GENETIC;
    • IMMUNE SYSTEM DISEASES;
    • VALIDATION.

INTRODUCCIÓN

Dentro de los trastornos inmunitarios, las alergias son las enfermedades más frecuentes,1 y constituyen una de las epidemias “no infecciosas” del siglo XXI.2

El asma bronquial es la clásica enfermedad dentro de las afecciones alérgicas, y tiene gran impacto en la salud mundial.1 Es una enfermedad compleja tanto genética como fenotípicamente, y las interacciones genética-ambientales la complejizan aún más.3 Por tanto, en estos pacientes el epigenoma puede en gran parte, ser modificado y cambiado.4 Sus síntomas y signos se deben a la obstrucción del flujo de aire en las vías aéreas,3,5) y frecuentemente se asocia con atopia.6

Esta enfermedad afecta el 5 % de la población a nivel mundial, con un estimado de 300 millones de personas. La prevalencia de la enfermedad varía entre países con desarrollo similar, e incluso entre diferentes regiones de un mismo país.5,7,8 En Cuba se reporta una prevalencia de 89,3 enfermos por cada 1 000 habitantes, en tanto, la provincia de Pinar del Río muestra 92,6 asmáticos por cada 1 000 habitantes en el 2019.9

Las investigaciones de asociación de genes únicos o múltiples en el asma bronquial muestran un grupo de genes candidatos con un significativo potencial biológico para el desarrollo de enfermedades alérgicas y del asma.4,10 Sin embargo, la predisposición genética puede explicar solo una modesta proporción de variantes fenotípicas, un fenómeno conocido como «herencia perdida o escondida». En este contexto la evidencia sugiere que la epigenética, como mecanismo de interacción entre el genoma y el ambiente, desempeña un rol importante en la regulación de la expresión de genes involucrados en la respuesta inmune e inflamatoria a mediano y a largo plazo.4

Se conoce que en el asma bronquial funcionan otros sistemas complejos e interacciones dentro del ADN, que hacen que el individuo mantenga la resistencia o susceptibilidad a la enfermedad.11

El asma se ha considerado durante mucho tiempo una prototípica enfermedad mediada por células T helper 2 (Th2). Sin embargo, tan pronto como las tecnologías ‘‘ómicas” se utilizaron para estudiar la enfermedad, se observaron y analizaron productos biológicos de células anti-Th2. Creció entonces, la noción de que el asma es un síndrome mucho más complejo con mecanismos fisiopatológicos o endotipos, que conducen a varias formas clínicas de presentación y que requieren terapia específica.12,13 Además de las células Th2, se encuentran otras células inmunes innatas como basófilos, mastocitos y las células linfoides innatas tipo 2 (ILC2s) que pueden producir citoquinas de células Th2 en el asma. Por ello, la terminología gradualmente se trasladó de asma “alto de células Th2" a asma "alto de tipo 2". 14 Resulta entonces, que las características fisiopatológicas presentes en el asma bronquial, dependen de las citoquinas que conducen el proceso, y se observan independiente de la variante que predomina.12

Por tanto, los estudios de diversidad genética de cada población aunado a estudios de expresión génica en las enfermedades prevalentes en un país, ayudarán a elegir la mejor opción diagnóstica y terapéutica para obtener un mejor pronóstico con limitados efectos adversos.11

Elaborar un instrumento para el estudio de los factores de riesgo genético y ambiental, y la interacción entre ellos, permite el diseño de estrategias preventivas dirigidas fundamentalmente a la atención primaria de salud. Por ende, el objetivo de la presente investigación es validar, por parte de un grupo de expertos, un cuestionario que permita el estudio de la contribución de los factores genéticos y su interacción con factores ambientales en la aparición de los trastornos inmunitarios por asma bronquial en Pinar del Río.

MÉTODOS

El estudio se generó en el departamento de Inmunología del Hospital Pediátrico Provincial Docente Pepe Portilla de la provincia Pinar del Río.

Para el desarrollo de la investigación se seleccionó el grupo coordinador de la técnica a realizar. Dicho grupo estuvo compuesto por tres profesionales responsables de la investigación que se propone.

Se tuvo en consideración las siguiente fases, según se establece en la Metodología Delphi:15

Fase 1 de definición: se identificó como tema a investigar el análisis de la contribución genética-ambiental en la aparición del asma bronquial en Pinar del Río. Se definió el objetivo de la investigación y de la aplicación de este método.

Fase 2 de conformación del grupo de informantes: se seleccionaron 21 participantes acorde a las características que se razonaron como relevantes para el presente estudio. Se les aplicó un cuestionario para determinar el nivel de competencia y facilitar la selección de los expertos (protocolo de selección). Para su selección se tomó en consideración la profesión, especialidad médica, categorías: docente superior, académica de Máster, categoría científica de Dr. en Ciencias Particulares, antigüedad como trabajador y antigüedad como docente. En la comunicación con los mismos fue determinante la imparcialidad, la especialización en el tema objeto de investigación y su disposición a participar. Se eligieron los que presentaron un coeficiente de competencia (K) mayor o igual a 0.8.16

El coeficiente de competencia de los profesionales se determinó mediante la siguiente fórmula: K = 0.5 (Kc + Ka). Donde Kc es el coeficiente de conocimiento y se obtuvo sobre la base de la autovaloración que hizo el experto en una escala de 0 al 10 sobre el conocimiento que posee respecto al tema en cuestión, y se multiplicó por 0,1.16 A mayor puntuación obtenida en la semisuma, mayor nivel de conocimiento.

Por otra parte, el coeficiente de argumentación de los criterios del experto (Ka), se determinó con la suma de los puntos alcanzados a partir de un patrón, según la fuente de argumentación. En los análisis teóricos realizados por el experto, los valores a considerar fueron: 0.3, 0.2, y 0.1 si el criterio fue alto, medio o bajo respectivamente. En la experiencia práctica obtenida, los patrones fueron de 0.5, 0.4, y 0.2. En tanto, para el resto de las fuentes de argumentación (estudio de trabajos de autores nacionales, estudio de trabajos de autores extranjeros, su propio conocimiento del estado del problema en el extranjero y su intuición) los valores a considerar fueron de 0.05 para todos los grados de influencia (alto, medio y bajo).16,17

La consulta a los expertos se realizó de forma individual por vía personal o por correo electrónico en un proceso iterativo, hasta alcanzar el consenso en las respuestas para la validación del contenido del instrumento de medición, sin necesidad de que los integrantes se reuniesen físicamente. A cada uno se le orientó marcar con una cruz (X) en alto, medio o bajo, según el nivel de influencia para cada fuente de argumentación. Los valores de Ka igual a 1 indican una influencia alta de todas las fuentes, Ka = 0.8 revela una influencia media de todas las fuentes y los valores de Ka= 0,5 muestran una influencia baja de todas las fuentes.17,18

Fase 3 de ejecución de las rondas de consultas: para esta fase se utilizó un cuestionario anónimo y se aplicó a los expertos seleccionados para la emisión de su criterio sobre el instrumento a emplear en la investigación sobre factores de riesgo genético y ambiental que se relacionan con el asma bronquial. Para ello, se realizó una revisión bibliográfica en publicaciones de las bases de datos Medline/Pubmed, Scielo (Scientific Electronic Library on Line), Google Académico y Scopus.

Se hizo necesario el cumplimiento de tres rondas de consultas. El periodo que transcurrió entre cada ronda fue de dos meses. Al finalizar cada ronda se informó a los expertos los resultados. Previo a la segunda y tercera ronda se realizaron modificaciones en el instrumento de investigación, que incluyeron la síntesis del pensamiento grupal. En la tercera ronda se incluyeron aclaraciones sobre los disensos más evidentes y reiterados. Las opiniones de los expertos sobre cada uno de los cinco ítems se recogieron en una escala, donde 5: Muy Imprescindible (MI), 4: Bastante imprescindible (BI), 3: Imprescindible (I), 2: Poco imprescindible (PI), 1: Nada imprescindible (NI).

  • Los ítems a evaluar fueron los siguientes:

  • 1. Estudio de variables ambientales en el asma bronquial.

  • 2. Estudio del asma bronquial como factor de riesgo de infecciones.

  • 3. Estudio de la contribución genética del asma bronquial.

  • 4. Estudio del nivel de expresión de inmunoglobulinas séricas y citoquinas pro-inflamatorias en pacientes asmáticos.

  • 5. Estudio de las características fenotípicas del asma bronquial en inmunodeficientes primarios.

Fase 4 de resultados: se dio por concluida la consulta cuando se alcanzó el consenso aspirado entre las opiniones de los expertos. Se envió a cada participante el informe final de los resultados.

En el proceso de validación del cuestionario se calculó el coeficiente de concordancia de Kendall y Friedman para la determinación de concordancia y similitudes en las respuestas de los expertos, mediante el programa SPSS versión 22.0, con un nivel de significación de α = 0.05.(15)(16)(17)(18)

RESULTADOS

De los 23 profesionales que se invitaron a participar en el estudio de validación del instrumento de recogida de información, dieron su consentimiento 21, para un 91,3 % de aceptación. Correspondieron al sexo femenino 17 profesionales, y cuatro al masculino. Todos proceden de las provincias de Pinar del Río y La Habana.

Del total de profesionales seleccionados, 20 son médicos. Solo uno es Licenciado en Matemáticas y Dr. En Ciencias particulares con vasta experiencia en trabajos de investigación en la Salud Pública. (Tabla 1)

El mayor porciento de participantes corresponde a las especialidades de Medicina General Integral (MGI)y Genética. (Tabla 2)

Caracterización de los profesionales propuestos. Hospital Pediátrico Provincial Docente Pepe Portilla. 2015
Variables No Porcentaje
Categoría académica de Master 16 76,2
Categoría científica de Dr. en Ciencias Particulares 6 28.6
Categoría docente superior 16 76,2
Médicos 20 95,2
Más de 25 años de antigüedad como profesional 14 66,6
Más de 20 años de antigüedad como docente 13 61,9

Distribución de los profesionales propuestos según la especialidad.
Especialidad Frecuencia Porcentaje
MGI 7 33,3
Genética 6 28,6
Inmunología 2 9,5
Pediatría 1 4,8
Alergología 3 14,3
Fisiología 1 4,8
No corresponde 1 4,8
Total 21 100

Todos los profesionales propuestos se aceptaron como expertos, pues alcanzaron un nivel de competencia Alto. (Tabla 3)

Cálculo del coeficiente de competencia de los expertos
Expertos Coeficiente de conocimiento (Kc) Coeficiente de argumentación (Ka) Coeficiente de competencia K=0.5(Kc+Ka) Nivel de competencia
K1 0,8 1 0,9 Alto
K2 0,9 1 0,95 Alto
K3 1 1 1 Alto
K4 0,9 0,9 0,9 Alto
K5 0,8 0,8 0,8 Alto
K6 0,9 0,9 0,9 Alto
K7 1 1 1 Alto
K8 0,9 1 0,95 Alto
K9 0,9 1 0,95 Alto
K10 1 1 1 Alto
K11 1 1 1 Alto
K12 0,9 1 0,95 Alto
K13 0,9 1 0,95 Alto
K14 1 1 1 Alto
K15 1 1 1 Alto
K16 0,9 1 0,95 Alto
K17 0,9 0,9 0,9 Alto
K18 0,7 0,9 0,8 Alto
K19 1 1 1 Alto
K20 0,9 1 0,95 Alto
K21 0,9 1 0,95 Alto

Desde la primera etapa, el 100 % de los expertos clasificaron los cinco ítems. No obstante, se tuvo en cuenta las sugerencias a incluir en el cuestionario a partir de la opinión de los evaluadores. Los disensos más evidentes y reiterados correspondieron a los ítems dos, tres y cuatro, por lo que en la primera ronda las pruebas de Friedman y Kendall resultaron no significativas. En la segunda ronda se alcanzó un nivel de significación por debajo del propósito, pero cercano al mismo. Por ello, se realizó una tercera ronda.

Después del análisis correspondiente, a partir de los informes entregados a los expertos, se alcanzó el consenso deseado en la tercera ronda. De esta forma se lograron niveles de significación inferiores a 0,05. (Tabla 4)

Resultados de chi cuadrado y nivel de significación en las pruebas de Friedman y Kendal
Ronda X2 Friedman (p) Friedman X2 W Kendall (p) W Kendall
1 4,364 0,359 4,364 0,359
2 9,846 0,043 9,846 0,043
3 13,714 0,008 13,714 0,008

Con respecto a las valoraciones finales de los expertos de los cinco ítems evaluados, se muestra que los ítems dos, tres y cuatro, fueron los reevaluados en las tres rondas hasta llegar al resultado final. (Tabla 5)

Resultado de la validación por los expertos de los cinco ítems del cuestionario según la escala Muy imprescindible (MI), (BI), Bastante imprescindible (I), Imprescindible, PI Poco imprescindible (PI), Nada imprescindible (NI).
Expertos Ítem 1 Ítem 2 Ítem 3 Ítem 4 Ítem 5
1 MI MI MI MI MI
2 MI BI BI BI MI
3 MI MI MI MI MI
4 MI BI BI BI MI
5 MI MI MI MI MI
6 MI MI MI I MI
7 MI MI MI MI MI
8 MI MI MI MI MI
9 MI MI MI MI MI
10 MI MI MI MI MI
11 MI MI MI MI MI
12 MI BI BI MI MI
13 MI MI MI MI MI
14 MI MI MI MI MI
15 MI MI MI MI MI
16 MI MI MI MI MI
17 MI MI MI MI MI
18 MI MI MI MI MI
19 MI MI MI MI MI
20 MI BI BI MU MI
21 MI MI MI MI MI

DISCUSIÓN

El método Delphi es de verdadera utilidad para los investigadores en sentido general y particular. Es posible que sea uno de los más utilizados en los últimos tiempos para diferentes situaciones y problemáticas a investigar, entre los que se encuentra la elaboración de los instrumentos de análisis y recogida de información.15 Es una técnica enmarcada dentro de los métodos de expertos, que se utiliza para obtener la opinión más consensuada posible de un grupo de personas en relación con un determinado objeto de investigación.15,16

Este método utilizado para la validación del instrumento es una técnica versátil, ya que hace uso de la información que proviene, tanto de la experiencia, como del conocimiento de los participantes. Así, lo demuestran diversos autores en sus investigaciones. 17,18,19)

La selección de los participantes se realizó sobre la base de su experiencia general como profesional, y en particular sobre el tema a evaluar. Todos presentaron la experiencia y conocimientos para participar como expertos.

Las especialidades que predominan en la composición de los evaluadores fue intencionado (Genética y Medicina General Integral), puesto que serán los principales servidores de esta investigación, fundamentalmente en la atención primaria de salud.

El alto nivel de competencia alcanzado por todos los participantes es de gran importancia para la utilización de la metodología Delphi, pues la realización de esta estrategia requiere como punto de partida que los expertos se consideren apropiados para la consecución de los objetivos de la investigación.15 Su aplicación cumplió con las características definitorias del proceso. Se contó con la opinión en varias oportunidades, de los participantes a través de la utilización de un cuestionario formal y bien estructurado, por tanto, constituyó un proceso iterativo.

Como la técnica de consulta sobre la evaluación del instrumento a aplicar fue anónima, no existió la posibilidad del sesgo derivado del prestigio o liderazgo de algún miembro del grupo. El grupo coordinador fue el encargado de controlar el feedback. Dicho equipo garantizó que todas las opiniones de los expertos quedaran reflejadas en la nueva consulta y puso el énfasis que se requiere de acuerdo con los objetivos de trabajo.

Tras la ejecución de cada ronda se hicieron los análisis estadísticos y de contenidos pertinentes, cuyos resultados se informaron a los participantes. De modo que permitió un enfoque adecuado para la elaboración del siguiente cuestionario. Esta, es otra de las ventajas del método Delphi. 15,17

Por ello, se expusieron los análisis estadísticos pertinentes que apoyan y garantizan la fiabilidad y validez del método utilizado. Dicho análisis dio lugar a la conclusión de la consulta, una vez que se consiguió el grado de estabilidad y consenso deseado entre las opiniones de los participantes.

En este trabajo se demostró que la convergencia de las respuestas fue más común que la divergencia según se avanzó en el estudio. No existieron respuestas extremas. Por tanto, fueron suficientes tres rondas de consulta para alcanzar la estabilidad en las mismas. Algunos autores plantean que nuevas consultas tienden a mostrar muy pocos cambios y constituye además, un agravante por lo inaceptable de las repeticiones entre los participantes.15

La utilidad de este instrumento validado por un grupo de expertos, resulta de vital importancia para emprender la investigación que se propone sobre la contribución genética y ambiental en la aparición del asma bronquial en Pinar del Río. Además, trasciende al interés de la sociedad médica y la Inmunogenética como ciencia, puesto que los trastornos inmunitarios por asma bronquial son enfermedades complejas cuya base genética por sí sola no explica la aparición de casos más o menos severos en la descendencia, ni en la expresividad de sus síntomas.4 Se hace necesario entonces, estudios que ayuden a elegir la mejor opción diagnóstica y terapéutica en la atención primaria de salud

Notas al pie:
  • Los autores no recibieron financiación para el desarrollo de la presente investigación

  • Se puede consultar material adicional a este artículo en su versión electrónica disponible en: www.revcmpinar.sld.cu/index.php/publicaciones/rt/suppFiles/4246

REFERENCIAS BIBLIOGRÁFICAS
  • 1. Rich RRFA. Clinical Immunology: Principles and Practice. Fifth edit. Robert R. Rich, Thomas A. Fleisher, William T. Shearer, Harry W. Schroeder Jr., Anthony J. Frew CM, editor. Elsevier; 2019. 2019 p.
  • 2. Pérez TC. PRECISION MEDICINE AND THE ALLERGIC PATIENT. 2018;135(01):28-32.
  • 3. Bonser LR, Erle DJ. The airway epithelium in asthma. En: Advances in Immunology [Internet]. 1st ed. Vol. 142. Elsevier Inc. ; 2019. [citado el 20/05/2020]; 1-34. Available from: Available from: http://dx.doi.org/10.1016/bs.ai.2019.05.001
  • 4. Rodrígueza JAC, J.Krause B, Uauya R, Casanello P. Epigenética en enfermedades alérgicas y asma. Rev Chil Ped [Internet]. 2016 [citado el 20/05/2020]; 87(2): [aprox. 7p.]. Available from: Available from: https://doi.org/10.1016/j.rchipe.2016.02.006
  • 5. GINA. Global Strategy for Asthma Management and Prevention [Internet]. 2019 [citado el 20/05/2020]. Available from: Available from: https://ginasthma.org/reports/2019-gina-report-global-strategy-for-asthma-management-and-prevention/
  • 6 . Thibeault A-AH, Laprise C. Firmas de metilación de ADN específicas de células en el asma. Genes (Basel) [Internet]. 2019 [citado el 20/05/2020]; 10(11). Available from: Available from: https://doi.org/10.3390/genes10110932
  • 7. Lorena Orozco, Silvia Jiménez-Morales YS. La medicina y la genómica: una nueva síntesis. Primera ed. Laura Vargas-Parada JPL, editor. México: Fondo de Cultura Económica, Fundación mexicana para la salud, Instituto Nacional de Medicina Genómica; 2010. 197-2012 p.
  • 8. Caraballo L. El impacto de la genómica en las enfermedades alérgicas The impact of genomic on alergic diseases. ACTA MED COLOMB [Internet]. 2004 [citado el 20/05/2020]; 29(4): [aprox. 3p.]. Disponible en: Disponible en: http://www.actamedicacolombiana.com/anexo/articulos/03-2004-09.pdf
  • 9. MINSAP. Anuario estadístico [Internet]. 47th ed. Ministerio de Salud Pública. Cuba, editor. Dirección de Registros Médicos y Estadísticas de Salud; 2019. [citado el 20/05/2020]. Available from: Available from: https://salud.msp.gob.cu
  • 10. McKusick VA, Hamosh A. SUSCEPTIBILITY TO ASTHMA. OMIM Entry [Internet]. 2010 [citado el 20/05/2020]; (600807). Disponible en: Disponible en: https://www.omim.org/entry/600807
  • 11. Guio H. Hacia la medicina personalizada: implicancias de las ciencias básicas y las “ómicas” en la práctica clínica. Rev Peru Med Exp Salud Publica. [Internet]. 2015 [citado el 20/05/2020]; 32(4): [aprox. 3p.]. Disponible en: Disponible en: http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S1726-46342015000400001
  • 12. Lambrecht BN, Hammad H, Fahy J V. 25 Review The Cytokines of Asthma. Immunity [Internet]. 2019 [citado el 20/05/2020]; 50(4): [aprox. 15p.]. Available from: Available from: https://doi.org/10.1016/j.immuni.2019.03.018
  • 13. Wu. W, Bang S, Bleecker ER, Castro M, Denlinger L, Erzurum SC, et al. Multiview Cluster Analysis Identifies Variable Corticosteroid Response Phenotypes in Severe Asthma. Am J Respir Crit Care Med [Internet]. 2019 [citado el 20/05/2020]; 199(11): [aprox. 10p.]. Available from: Available from: https://doi.org/10.1164/rccm.201808-1543OC
  • 14. Gordon ED, Simpson LJ, Rios CL, Ringel L, Lachowicz-scroggins ME, Peters MC. Alternative splicing of interleukin-33 and type 2 inflammation in asthma. ResearchGate [Internet]. 2016 [citado el 20/05/2020]; 113(31): [aprox. 15p.]. Available from: Available from: https://www.researchgate.net/publication/305419006
  • 15. Fonseca MR-ÁYMT. El método Delphi. Revista d’Innovació i Recerca en Educació [Internet]. 2016 [citado el 20/05/2020]; 9(1): [aprox. 15p.]. Disponible en: Disponible en: http://diposit.ub.edu/dspace/bitstream/2445/110707/1/654735.pdf
  • 16. Lugo NT, Ferrer RL. Validation of a questionnaire about risk factors for congenital defects Introducción. Rev Cuba Investig Biomédicas [Internet]. 2019 [citado el 20/05/2020]; 38(4): [aprox. 18p.]. Disponible en: Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-03002019000400011&lng=en&nrm=iso&tlng=en
  • 17. Gil B, Pascual-Ezama D. The delphi method as a technique to study validity of content . An Psicol [Internet]. 2012 [citado el 20/05/2020]; 28(3): [aprox. 9p.]. Disponible en: Disponible en: https://revistas.um.es/analesps/article/view/analesps.28.3.156211
  • 18. Carvajal A, Centeno C, Watson R, Martínez M, Rubiales AS. [How is an instrument for measuring health to be validated?]. An Sist Sanit Navar [Internet]. 2011 [citado el 20/05/2020]; 34(1): [aprox. 9p.]. Available from: Available from: http://www.ncbi.nlm.nih.gov/pubmed/21532647
  • 19. George Reyes CE, Trujillo Liñan L. Aplicación del Método Delphi Modificado para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente. Rev Iberoam Evaluación Educ [Internet]. 2018 [citado el 20/05/2020]; 11(1): [aprox. 20p.]. Disponible en: Disponible en: https://revistas.uam.es/index.php/riee/article/view/9265
Historial:
  • » Recibido: 23/03/2020
  • » Aceptado: 30/06/2020
  • » Publicado : 01/07/2020


Licencia de Creative Commons
Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional.