Faculdade de Medicina da Universidade do Porto Serviço de Bioestatística e Informática Médica Introdução à Medicina 2004/2005 Qualidade dos dados nos Registos Clínicos Electrónicos (RCE) 2ª apresentação Regente: Professor Doutor Altamiro Pereira Orientadora: Dr.ª Filipa Almeida Autores: TURMA 7/ 1ºANO Fátima Seabra; Fernando Leite; Filipa Godinho; Filipa Fernandes; Filipa Moreira; Filipa Bianchi de Aguiar; Filipe Pacheco; Filipe Santos; Filipe Martins; Filipe Soares; Francisca Santos; Carlos Aguiar 1 Introdução Definição RCE Evolução e importância dos RCE Objectivos 2 Definição de RCE Ficheiros criados por profissionais de saúde, contendo dados pertinentes de carácter clínico e administrativo;1 Dados informatizados, permitindo acesso instantâneo e constante através de um terminal;1 Permite o armazenamento, consulta e partilha de informação clínica; 2 _____________________________________________________________________________________ 1 http://im.med.up.pt_RCE 2 The computer-based patient record. (1997) 3 Evolução e importância De 1991/1997 houve um boom tecnológico 2; Suporte na prestação de cuidados de saúde; Ajuda na decisão clínica; Avaliação da qualidade dos cuidados prestados; Gestão e planeamento dos recursos de saúde; Auxílio na investigação; Apoio na educação médica. 1,2 é essencial a observação periódica da qualidade dos dados: correctness e completeness 6,7 _____________________________________________________________________________________ 2 The computer-based patient record. (1997) 6 Hogan, WR, Wagner, MM. (1997) 7 Brennan, Stead. (2000) 4 Objectivos Objectivo primário Avaliar os resultados encontrados em publicações sobre a qualidade dos dados nos registos clínicos electrónicos. Objectivo secundário Revisão sistemática de estudos publicados sobre o tema proposto, com avaliação da qualidade metodológica dos mesmos. 5 Métodos 1. Identificação dos estudos 2. Selecção dos estudos 3. Avaliação dos estudos 4. Recolha de dados 5. Análise 6 1. Identificação dos estudos • Publicações entre 1997 e 2005, indexadas na MEDLINE, de artigos que relacionem a qualidade dos dados com sistemas electrónicos de informação clínica. "Medical Records Systems, Computerized“ [MeSH] AND (accuracy OR reliability OR completeness OR error OR quality) NOT ("Internet"[MeSH] OR "Letter"[Publication Type] OR "MetaAnalysis"[Publication Type] OR "Editorial"[Publication Type] OR "Review"[Publication Type]) • Limites: entre 1997 e 2005 7 2. Selecção dos Estudos 1ª selecção: aplicação dos critérios de exclusão Leitura de cada abstract por três revisores; Exclusão dos artigos que falhavam pelo menos um dos critérios de exclusão: 6 A: O Objecto de estudo é um RCE 2; B: Está bem determinado o gold standard; C: É abordada a Qualidade dos Dados;8 Para a exclusão foi exigida a concordância de dois revisores; Em caso de dúvida o artigo não é excluído; _____________________________________________________________________________________ 2. The Computer-based Patient Record. (1997) 6. Hogan, WR, Wagner, MM. (1997) 8. Thiru K, Hassey A, Sullivan F (2003) 8 2. Selecção dos Estudos 2ª selecção: aplicação dos critérios de inclusão Leitura de cada artigo por três revisores; Inclusão dos artigos que obedecem integralmente aos seguintes critérios de inclusão 8,9: 1) O tipo de dados em estudo é alfanumérico; 2) O RCE em estudo deve tratar mais do que uma variável; 3) A qualidade dos dados é definida pelos conceitos de correctness e completeness, ou sinónimos; 4) O gold standard utilizado não pode ser questionários nem estatísticas; _____________________________________________________________________________________ 8 Thiru K, Hassey A, Sullivan F (2003) 9 Stauberg et al. (2003) 9 3. Avaliação dos Estudos Uma vez seleccionados os artigos, é necessário avaliá-los quanto à sua qualidade metodológica; Dois avaliadores classificam cada artigo segundo uma escala de 0 a 18 considerando vários parâmetros: 6 Descrição do RCE: métodos de recolha de dados (1); abrangência (1); conteúdo geral dos dados (1); acessibilidade (1); registo oficial (1); Metodologia; técnicas de amostragem não enviesadas (2); ocultamento (4); gold standard próximo do verdadeiro estado do paciente (4); gold standards eram outros registos (2); ambos os conceitos de qualidade eram medidos claramente (2); Objectivos do estudo; (1) _________________________________ 6 Hogan, WR, Wagner, MM. (1997) Questionário 1 10 4. Recolha de dados É recolhida a informação de cada artigo, com o preenchimento de um questionário, no que respeita ao: Artigo (objectivo de estudo, tipo de estudo, gold standard utilizado, tempo de duração do estudo, alcance, amostra, etc.) RCE em estudo (nome, programação, registo oficial, forma de introdução de dados e seu conteúdo, acessibilidade, completeness, correctness, etc.) Os dados foram armazenados numa base de dados SPSS 12.0 Questionário 2 11 5. Análise Avaliados os artigos e recolhidos os seus dados mais relevantes, têm-se em conta as divergências metodológicas e passa-se ao tratamento de dados: Análise • da reprodutibilidade da primeira fase da selecção; • da qualidade dos artigos (avaliação): é introduzida e analisada na base de dados SPSS • da recolha de informação: sobre os artigos sobre os RCE NOTA: A análise estatística (metanálise) da informação sobre a qualidade metodológica dos artigos e dos dados nos RCE: Só pode ser executada se os estudos incluídos forem semelhantes, ou seja, se o método utilizado, a qualidade metodológica e as conclusões (correctness e completeness) forem homogéneas. 12 Resultados Progressão do trabalho 1.500 1.400 1.300 1450 1370 1250 1.200 1.100 1.000 Nº de artigos 900 825 800 700 600 500 Dos 108 artigos resultantes da 1ª fase de selecção: aplicação de critérios de exclusão, apenas foram recolhidos 42 e como tal, só estes foram submetidos à 2ª fase de selecção. 400 300 200 108 106 100 7 0 "Medical Exclusão de Exclusão de Limite 1ª fase de 2ª fase de Records arigos artigos Letter, temporal selecção: selecção: System, relacionados Editorial, [1997, 2005] aplicação de aplicação de computerized com Internet Meta-analysis critérios de critérios de " [MeSH] AND e Review exclusão inclusão "data accuracy" Fases do trabalho 13 Gráfico 1 – progressão do trabalho Resultados Reprodutibilidade inter-revisor: 1ª selecção de exclusão 100,00 825 80,00 108 60,00 50,93 40,00 34,25 % de artigos incluídos 20,00 14,82 0,00 Incluídos com unanimidade Incluídos com 2 revisores favoráveis Incluídos com dúvida 14 Gráfico 2 –reprodutibilidade inter-revisor Resultados Avaliação da qualidade metodológica dos artigos Método de recolha (1 ponto) Alcance/ abrangência (1 ponto) Charlton Wilson et al. Conteúdo de dados (1 ponto) Acessibilidade (1ponto) David B. Preen et al. Registo oficial (1 ponto) Amostragem não enviesada (2 pontos) Autores Jürgen Stausberg et al. Ocultamento ( 4 pontos) Gold standard: aproximação do verdadeiro estado do paciente (4 pontos) Dominik Aronsky et al. Gold standard: outros (2 pontos) Alan Hassey et al. Correctness e completeness medidos claramente (2 pontos) Charles R. Woods Objectivo primário: determinação da qualidade dos dados (1 ponto) Paul C. Tang et al. 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 [0,4] – Medíocre [5, 8] – Não Satisfaz [9, 12] – Satisfaz [13, 15] - Bom [16, 17] – Muito Bom [18] - Excelente Classificação final voltar 15 Gráfico 3 – avaliação Resultados Avaliação da qualidade metodológica dos artigos Estatística Classificação Final Média 10,86 Mediana 12,00 Variância 4,810 Desvio Padrão 2,193 Mínimo 8 Máximo 14 Âmbito (Range) 6 Erro Padrão ,829 Tabela 1 – avaliação voltar 16 Resultados Tabela da recolha de informação relativa aos artigos. Data de publicação do artigo Objectivo primário do estudo Ano do início do estudo Tempo de estudoa nb Paul C. Tang et al. 1999 1996 11 Aleatória Registo clínico em papel Charles R. Woods 2001 1994 30 32634 Aleatória Registo clínico em papel Alan Hassey et al. 2001 1994 72 13500 Dominik Aronsky et al. 2000 Jürgen Stausberg et al. David B. Preen et al. Autores do estudo Tipo de amostragem Gold-Standard Registo clínico em papel Não aleatória Examinação/ observação directa do paciente Entrevista 254 Aleatória Registo clínico em papel 2037 Aleatória Registo clínico em papel 465 Aleatória Registo clínico em papel 1995 17 241 2003 2001 4 2004 Charlton Wilson 2001 et al. A Número de registos que foram revistos b Duração do estudo efectuado acerca dos RCE Objectivo primário do estudo não é o RCE Objectivo primário do estudo é o RCE Desenho de estudo Transver sal Tabela 2 – Artigos voltar 17 Resultados Tabela da recolha de informação relativa ao RCE. Autores do estudo Paul C. Tang et al. 10 Nome do RCE Alcance do RCE Programa de Base de dados Forma de introdução de dados Acessibilidade - SPSS versão 7.0 Profissional de saúde introduzia directamente os dados no RCE - Departamento de Pediatria do Reywol Health Center of Forsyth Country, North Caroline Fisher Medical Center Registo Oficial Charles R. Woods 11 Alan Hassey et al.12 Correctness/ completeness do Conteúdo de dados RCE 72,6 / 84,5 % História clínica, exames físicos, diagnóstico, medicação/ tratamento Microssoft Access 90,0 / 86,0 % História clínica, exames complementares de diagnóstico, diagnóstico, medicação / tratamento, factores de risco, vacinas, serviços de prevenção Profissional de saúde ditava a outra pessoa que introduzia os dados 96,0 / 87 % Diagnóstico Tabela 3- RCE voltar 18 Dominik Aronsky et al.13 Jürgen Stausber g et al.14 David B. Preen et al.15 Charlton Wilson et al.16 Help (Health Evaluation through Logical Processing) system Departame nto de Emergênci a do Hospital de Salt Lake City - Departame nto Geral de Trauma e Cirurgia Vascular - Hospitais ligados à Western Australian Data Linkage System Hospital Morbidity Data System Record RPMS (Resource and Patient Management System) - Registo não é oficial - Registo oficial - Phoenix Indian Medical Center PAL (PTXT application) e TAL (Tanden Application Language) Profissional de saúde introduzia directamente os dados no RCE Havia 24 terminais de emergência, a maioria presente nos quartos dos pacientes onde se podia gravar e aceder ao HELP System 99,0 / 98,0 % Demográficos, história clínica, exames físicos, exames complementares de diagnóstico, medicação / tratamento Registo no próprio departamento O mecanismo electrónico desenvolvido obtém elevadas medidas de completeness Demográficos, análises clínicas, exames complementares de diagnóstico, diagnósticos, relatórios médicos Perda da qualidade de vida provocada pela doença Análises clínicas, medicação/ tratamento, relatórios médicos Microssoft Acess 2000 Profissional de saúde introduzia directamente os dados no RCE Hospital Morbidity Data System/Western Australian Data linkage system Profissional de saúde escrevia directamente no registo clínico em papel e depois outro indivíduo introduzia os dados no RCE Os RCE tinham menor correctness e completenees em relação aos registos clínicos hospitalares Profissional de saúde escrevia directamente no registo clínico em papel e depois outro indivíduo introduzia os dados no RCE 94,0 / 92,0 % 19 Resultados Conteúdo dos dados N Demográficos (+administrativos) Percentagem 3 42,9% Objectivo primário do estudo: determinação da qualidade dos dados Gold standard História Clínica (exame físico, factores de risco, comorbilidade, prevenção) 6 85,7% Exames complementares de diagnóstico (+análises clínicas) 4 57,1% Diagnósticos 4 57,1% 4 57,1% Medicação/tratamentos (+complicações de tratamentos, vacinas) Entrevista / Examinação / Observação do paciente Registo clínico em papel N Percentagem 5 71,4% 1 14,3% 6 85,7% Tabela 5 – objectivo e gold standard Tabela 4 – conteúdo dados Ignorando os dois artigos que classificavam qualitativamente a correctness e completeness, temos que a média: • Correctness: 90, 32% • Completeness: 89,5 % 20 Discussão Artigos (Objectivo Secundário) Avaliação da qualidade metodológica: homogénea Metodologia bastante homogénea em relação à qualidade: • média de Satisfaz (10,86 p.); • 1 artigo obteve uma classificação Bom (14 p.), • e um Não Satisfaz (8 p.). Parâmetros referidos em todos os estudos • método de recolha de dados • descrição do conteúdo dos dados do RCE; Parâmetros que falham com maior insistência • gold standard que mais se aproxime do verdadeiro estado do paciente (2 artigo) • ocultamento (só presente em 2 artigos); • registo oficial só é observada em 2 artigos. ver 21 Discussão Artigos (Objectivo Secundário) Recolha de informação: heterogeneidade de métodos A importância dada às conclusões sobre correctness e completeness pode ter sido influenciada: 71, 4 % dos artigos tinham como objectivo primário a determinação da qualidade dos dados nos RCE. Os restantes consideravam este objectivo como secundário; Várias características metodológicas eram díspares: Tempo de estudo variou significativamente: de 4 a 72 meses; Tamanho da amostra oscilou entre 241 e 32 634 registos clínicos individuais; O gold standard utilizado só foi aquele mais próximo do verdadeiro estado do paciente em 14,3% dos casos; No entanto, outras eram concordantes: Desenho de estudo, era em todos os casos transversal; O método de amostragem em apenas um é que não era aleatório. ver 22 Discussão Qualidade dos dados nos RCE (Objectivo Primário) Recolha de informação: heterogeneidade de RCEs Apenas 2 artigos se consideravam registos oficiais. Forma de introdução de dados no RCE era diversa: • 3 RCEs era por introdução directa, • 2 RCEs primeiramente registados em papel e depois transferidos para este. • Num artigo eram ditados a outro profissional de saúde, que os introduzia. • 1 artigo não referia. ver 23 Conteúdo dos dados não era constante: • dados demográficos são os que menos estão presentes nos RCEs (42,9%). No entanto, foi já um critério de exclusão; • a história clínica estava presente em 85,7% dos artigos, • tanto os exames diagnósticos e a complementares de diagnóstico, medicação/tratamentos os encontravam-se apenas em 57,1% dos artigos. Estes eram os mais relevantes no apoio à decisão médica e para a avaliação da qualidade dos dados nos RCE! 24 Conclusões Objectivo secundário: A metodologia é de qualidade satisfatória e homogénea. No entanto, a difere em muitos aspectos cruciais (tamanho da amostra, tempo do estudo, gold standard, objectivo do estudo). Este factor é o que impossibilitou a realização de uma metanálise. Objectivo primário: a heterogeneidade verificou-se também nos RCE (registo oficial, introdução dos dados, acessibilidade, conteúdos dos dados.) Este facto, associado à disparidade de métodos (objectivo primário), leva-nos a duvidar da sobrevalorização da avaliação da qualidade (Correctness: 90, 32% Completeness: 89,5 %). Sugestões: em estudos futuros é importante ter em conta pontos como um gold standard que mais se aproxime do verdadeiro estado do paciente, a relevância dada ao registo, que deve ser oficial, assim como o ocultamento, para assegurar a validade dos resultados. Também a acessibilidade, o método de introdução de dados e o conteúdos destes são essenciais para a validade da conclusão. 25 Distribuição de tarefas PARTE DO TRABALHO RESPONSÁVEIS Introdução Francisca Santos, Filipa Godinho, Filipe Martins Métodos/representante Filipa Aguiar Pesquisa na Internet; Filipa Moreira, Filipa Fernandes, Filipa Aguiar Procura dos artigos integrais Filipa Moreira, Filipa Fernandes 1ª selecção / 2ª selecção Grupo 1: Filipa Moreira, Filipa Fernandes, Filipa Aguiar Avaliação dos estudos /Recolha de dados Carlos Aguiar/Filipe Soares, Francisca Santos/Filipa Godinho, Filipa Aguiar/Filipe Martins, Filipe Santos/Fernando, Filipe Pacheco/Fátima Seabra, Filipa Fernandes/ Filipa Moreira reprodutibilidade da 1ªselecção Filipe Pacheco SPSS Fátima Seabra, Filipa Fernandes, Filipe Soares Discussão/Conclusões Filipa Godinho, Filipe Martins, Francisca Santos, Filipa Moreira Primeira apresentação Filipe Santos, Filipa Aguiar Segunda apresentação Fátima Seabra, Filipa Aguiar Tabelas e Questionários para preenchimento em cada fase Filipe Santos, Filipa Aguiar, Fátima Seabra, Filipa Godinho Página Web Filipe Pacheco, Carlos Aguiar Grupo2: Fernando Leite, Filipe Santos, Filipe Soares Grupo 3: Carlos Aguiar, Fátima Seabra, Filipe Pacheco Grupo 4: Filipe Martins, Francisca Santos, Filipa Godinho 26 Bibliografia (1) Curso de Informática Médica: Registos Clínicos Electrónicos. [página na Internet] SBIM (2002). Acesso em http://im.med.up.pt_RCE (2) The computer-based patient record: An essencial technology for health care. Committee on improving the patient record, Institute of Medicine. National Academic Press. Washington; 1997. (3) Leape LL, Bates DW, Cullen DJ, et al. Systems analysis of adverse drug events. ADE Prevention Study Group. JAMIA 1995; 274:35-43. (4) Johnson N, Mant D, Jones L, Randall T. Use of computerised general practice data for population surveillance: comparative study of influenza data. BMJ. 1991: 302:763-5. (5) Hogan WR, Wagner, MM. Using belief networks to enhance sharing of medical knowledge between sites with variations in data accuracy. Proc. of AMIA Annu Fall Symp. Philadelphia: Hanley & Belfus, 1995, 218-22. (6) Hogan WR, Wagner, MM. Accuracy of data in computer-based patient records. JAMIA. 1997; 5:342355. (7) Brennan, Stead. Assessing data quality: from concordance, through correctness and completeness, to valid manipulatable representations. JAMIA Editorial Comments. 2000 Jan / Feb. 7(1). (8) Thiru, K, Hassey A, Sullivan F. Systematic review of scope and quality of electronic patient record data in primary care. BMJ 2003; 326: 1070-1075. 27 (9) Stauberg et al. Comparing paper-based with electronic patient records: lessons learned during a study on diagnosis and procedure codes. JAMIA. 2003; 10: 470-477. (10) Paul C. Tang et al. , Use of computer-based records, completeness of documentation, and appropriateness of documented clinical decisions; JAMIA; 1999; 6:245-251 (11) Charles R. Woods ; Impact of different definitions on estimates accuracy of the diagnosis data in a clinical database; Journal of Clinical Epidemiology 54(2001); 782-785 (12) Alan Hassey et al.; A survey of validity and utility of electronic patient records in a general practice; BJM, 2001 (13) Dominik Aronsky et al.; Assessing the Quality of Clinical Data in a Computer-based Record for Calculating the Pneumonia Severity Index; Journal of the American Informatics Association;2000 (14) Jürgen Stausberg et al.; Comparing Paper - Based with electronic patient records: lessons learned during a study on diagnosis and procedure codes, J Am Med Inform Assoc, 2003; 10:470477 (15) David B. Preen et al.; Hospital chart review provided more accurate comorbidity informatics than data from a general practitioner survey or an administrative database ; Journal of Clinical Epidemiology 57(2004); 1295-1304 (16) Charlton Wilson et al.; Patients with Diagnosed Diabetes Mellitus Can Be Accurately Identified in an Indian Health Service Patient Registration Database; Public Helth Reports; 2001 28 FIM Fátima Leal Seabra Fernando Leite Filipa Godinho Filipa Fernandes Filipa Moreira Filipa Aguiar Filipe André Pacheco Filipe Lima Santos Filipe Martins Filipe Soares Francisca Santos Carlos Aguiar 29