Parecer do Grupo Técnico de Auditoria em Saúde 1 5 /0 6 Tema: Uso do Rituximab em doenças autoimunes. I – Data: 04/04/2006 II – Grupo de Estudo: Dra. Célia Maria da Silva Dra. Silvana Márcia Bruschi Kelles Dr. Lucas Barbosa da Silva Dra. Lélia Maria de Almeida Carvalho Bibliotecária: Mariza Cristina Torres Talim III – Tema: Uso terapêutico do Rituximabe em doenças autoimunes: artrite reumatóide e lupus eritematoso sistêmico. IV – Especialidade(s) envolvida(s): Clínica Médica Reumatologia V – Questão Clínica / Mérito: Há evidência científica para o uso clínico do rituximabe na artrite reumatóide e lupus eritematoso sistêmico? VI – Enfoque: Tratamento VII – Introdução: A Artrite reumatóide é uma doença auto-imune de caráter crônico e progressivo. Afeta aproximadamente 1% da população em todo o mundo. É mais comum na mulher (aproximadamente 3:1). Pode ocorrer em qualquer idade, sendo mais comum entre os 30 e 50 anos. A maioria dos pacientes apresenta curso clínico flutuante, que a despeito da terapêutica, pode resultar em destruição das articulações, com deformação, incapacidade e mesmo morte prematura. Apresenta processo inflamatório que se dirige principalmente contra o tecido sinovial e a medula óssea com supressão da eritropoiese, levando à anemia normocrômica. Serosite, esclerite, alveolite, síndrome Sicca (doença de Sjögren), hiperplasia do tecido linfóide e hepatomegalia podem também ocorrer. Em aproximadamente cada cinco pacientes, um desenvolve nódulos característicos da artrite reumatóide (AR). Em todos estes locais, exceto talvez na síndrome de Sjögren, há intensa ativação de macrófagos. A expressiva resposta terapêutica aos neutralizadores da citocina: fator de necrose tumoral α (FNTα) sugere que a sua secreção pelos macrófagos pode ser o mais importante mediador local na patogênese da AR (1, 2). A etiologia da doença está relacionada a fatores genéticos e externos, embora sua patogênese ainda permaneça obscura. Acredita-se que a doença se inicie com o reconhecimento de antígenos artritogênicos pelos linfócitos T (CD4+) no tecido sinovial. Os linfócitos T CD4+ estimulam monócitos, macrófagos e fibroblastos sinoviais que secretam metaloproteinases, enzimas envolvidas na erosão e destruição da cartilagem e do osso. Monócitos, macrófagos e fibroblastos sinoviais produzem também citocinas IL-1, IL-2 e fator de necrose tumoral α (FNTα) além de outros fatores mediadores solúveis. Os linfócitos CD4+ também estimulam a produção de imunoglobulinas pelos linfócitos B, incluindo o fator reumatóide (FR). As citocinas FNTα e IL-1 desempenham papel crítico no desenvolvimento da cascata inflamatória destrutiva da AR. O equilíbrio do sistema imune é essencial para a saúde e autopreservação dos indivíduos. O sistema imune apresenta especificidade para reconhecimento de antígenos (Ag) e mobilização da resposta imunológica, elevada habilidade para discriminação de proteínas do próprio organismo (self) e de proteínas estranhas (non-self) e memória capaz de acelerar ou amenizar a resposta à reexposição de antígenos. O sistema imune é dotado de alta complexidade e interdependência entre os seus componentes, podendo ocorrer disfunções em seu funcionamento. A expressão inadequada dos fenômenos inflamatórios, levando à lesão do organismo, ao invés de sua proteção, como destruição tecidual, é responsável pelo aparecimento de doenças auto-imunes como a artrite reumatóide e o lupus eritematoso sistêmico (1, 2). O sistema imune compreende uma rede complexa de células e seus produtos, dentre elas os linfócitos B derivados da medula óssea (MO) e dos linfócitos T do timo. Os linfócitos B têm seu papel na resposta humoral com produção de anticorpos (Ac) ou imunoglobulinas que são expressos em sua superfície desde sua origem na MO e ao longo de seus estágios de maturação (CD). Ao migrarem para os centros germinativos dos tecidos linfóides periféricos (como linfonodos), sofrem expansão clonal estimulados pelos linfócitos T e contato com Ag apresentados pelas células dendríticas foliculares. Os clones de células ativadas são selecionados e transformados em células plasmáticas produtoras de Ac para o antígeno específico. Nas doenças auto-imunes o linfócito B reconhece uma proteína própria (self) como um antígeno. Um dos mais conhecidos grupos de autoanticorpos é o FR que se liga ao sítio Fc da imunoglobulina (IgG). Atualmente, sabe-se que os linfócitos B apresentam outras funções além da produção de Ac, principalmente a maneira como interagem com outros elementos do sistema imune, regulando sua resposta. Parecem desempenhar importante papel no desenvolvimento da artrite reumatóide e outras doenças auto-imunes, as seguintes funções dos linfócitos B: 1. Eficiente apresentação de antígenos ao linfócito T, com profunda ativação e produção de citocinas proinflamatórias. 2. Produção de autoanticorpos (fator reumatóide, anti-citrulina cíclica e anti-DNA) com formação de imunocomplexos e aumento da produção de citocinas proinflamatórias pelos macrófagos pela ligação na superfície Fc e ativação do complemento. 3. Produção de citocinas proinflamatórias (FNT-α, IL-6) (1,2, 3). O lupus eritematoso sistêmico é uma doença auto-imune caracterizada pela produção de vários autoanticorpos, particularmente contra o duplo filamento do DNA (anti-dsDNA) e hiperreatividade das células B. Freqüentemente há redução de células B periféricas nos pacientes com lupus. A distribuição dos subgrupos das células é anormal e varia de acordo com a atividade da doença, com redução leve dos linfócitos B e aumento dos plasmoblastos. A presença de células B é crucial na fisiopatologia do lupus, embora a do anticorpo não o seja (2). A ativação do linfócito B e sua diferenciação são reguladas pelo estimulador de linfócito B (BLyS), ou fator ativador de célula B (BAFF). A interação entre o BLyS e seus receptores pode contribuir para a patogênese do LES. Níveis elevados de BLyS e de FL/A (um marcador da produção de BLyS) podem ser encontrados nos pacientes com LES e podem estar relacionados com a atividade da doença (3). Os avanços recentes na compreensão do papel do linfócito B e das citocinas na resposta inflamatória têm possibilitado a pesquisa de agentes biológicos dirigidos ao FNT α, à IL-1 e IL-6,como também inativação dos linfócitos B e T. A depleção seletiva dos linfócitos B, com o anticorpo monoclonal quimérico anti-CD20, rituximabe (MabThera /Rituxan ), vem sendo utilizada na prática reumatológica desde 1998, na maioria das vezes em estudos abertos ou como medicação não padronizada, com resultados preliminares promissores (4, 5). VIII – Registro ANVISA: Rituximabe: DCB: 6044.01-8 Registro: 17472231 Aprovado para uso no tratamento de linfomas de células B. IX – Metodologia 1. Bases de dados pesquisadas: Bireme, Cochrane Library, Pub Med, Medline, MD Consult, Lilacs. 2. Palavras-chave utilizadas: Artrite Reumatóide/ Arthritis, Rheumatoid, Lupus Eritematoso Sistêmico/Lupus Erythematosus, Sistemic , Rituximab (anticorpos monoclonais) 3. Desenhos de estudos procurados: revisão sistemática de ensaios clínicos controlados e randomizados, meta-análises, estudos prospectivos, série de casos, artigos de revisão, guidelines. 4. A pesquisa bibliográfica foi realizada no período 1995 a 2006. 5. Resultados encontrados: 1 ensaio clínico controlado, 7 artigos de revisão, 4 séries de caso, 1 comentário em periódico, 1 news FDA, 1 guideline. 6. População incluída: pacientes com artrite reumatóide e pacientes com lupus eritematoso sistêmico. X – Revisão Bibliográfica: A abordagem da artrite reumatóide vem sofrendo grandes mudanças nos últimos anos, devido ao avanço da compreensão dos mecanismos envolvidos na sua fisiopatogia, com pontos fundamentais no seu manuseio: • diagnóstico e tratamento precoces; • uso da combinação de drogas modificadoras da artrite reumatóide (DMCD) com alta efetividade; • uso dos inibidores das citocinas como estratégia efetiva; • inclusão de avaliação para doenças coexistentes como doença cardiovascular e osteoporose; • uso de inibidores da atividade de células B e células T em pacientes graves refratários aos tratamentos já padronizados com DMCD sintéticos e biológicos, com crescente evidência de efetividade (2, 4). Os estudos têm demonstrado outras funções do linfócito B na auto-imunidade como secreção de auto-anticorpos, apresentação dos auto-antígenos, produção de citocinas proinflamatórias e regulação da função das células dendríticas e na fisiopatologia das doenças auto-imunes. O uso de terapêutica para depleção das células B foi iniciado em 1998, em uma série de cinco pacientes com artrite reumatóide, refratários ao tratamento convencional. Este trabalho foi realizado por Edwards et al, em estudo aberto, baseado em protocolos com o anti-CD20 rituximabe, liberado para o tratamento de linfoma de células B, em 1997(5). A glicoproteína CD20 é expressa na membrana dos linfócitos pré-B e dos linfócitos maduros. As células hematopoiéticas progenitoras (stem cells) os linfócitos pró-B e as células plasmáticas não o expressam. Isto permite que a eliminação dos linfócitos B pelo tratamento biológico com o anticorpo monoclonal anti-CD20 preserve a regeneração das células B e que a produção de imunoglobulinas seja mantida pelos plasmócitos (6). O rituximabe é um anticorpo monoclonal quimérico que tem alta afinidade pelo antígeno CD20 na superfície do linfócito B. A ligação do rituximabe ao CD20 interfere com a ativação e diferenciação destas células. São descritos vários mecanismos possíveis para a depleção dos linfócitos B pelo anti-CD20: 1. Com a ligação ao sítio Fc do antígeno CD20 ocorre ativação do complemento com lise da célula alvo; 2. O anticorpo anti-CD20 induz a citotoxicidade, que ocorre após reconhecimento por receptores específicos na sua porção Fc, nas células citotóxicas; 3. O anticorpo pode alterar a habilidade de resposta da célula B aos antígenos ou outros estímulos; 4. E ainda, o anticorpo pode iniciar a morte programada da célula B (apoptose) (6). Os desfechos clínicos para medida de efetividade das drogas anti-reumáticas utiliza, na maioria das vezes, os critérios do Colégio Americano de Reumatologia (ACR): (ACR20 → redução de 20% do número de articulações dolorosas e edemaciadas, redução de 3 dos 5 critérios: 1. avaliação médica global da dor, 2. avaliação global da dor pelo paciente, 3. medida da função física, 4. escala da dor 5. marcadores de inflamação aguda. ACR50 e ACR70 são desfechos também utilizados (melhoria de 50% ou mais e melhoria de 70% ou mais, respectivamente) (2). Em 2004, Edwards et al publicaram o primeiro ensaio clínico randomizado, controlado e duplo cego com uso do rituximabe, em 161 pacientes com AR ativa não responsivos ao tratamento padrão com as DMCD, incluindo o metotrexate. Os pacientes foram divididos em 4 grupos: 1. Metotrexate em monoterapia (n=40), como controle ativo 2. Rituximabe em monoterapia (n=40) 3. Rituximabe mais ciclofosfamida (n=41) e 4. Rituximabe mais metotrexate (n=40). Os pacientes dos grupos 2, 3 e 4 receberam rituximabe na dose de 1000 mg nos dias 1 e 15. Todos os pacientes receberam curso de 17 dias de corticóide e foram acompanhados por 48 semanas. Na avaliação da 24a. semana, a resposta dos pacientes em terapia com rituximabe associado ao metotrexate ou à ciclofosfamida apresentaram resposta de 50% nos escores do Colégio Americano de Reumatologia (ACR50), diferença significativa em relação ao grupo dos pacientes com metotrexate em monoterapia: grupo 1 controle (13% ACR50), grupo 2 (33% ACR50), grupo 3 (41% ACR50) e grupo 4 (43% ACR50), com p= 0,059 e p=0,005, para a comparação entre a monoterapia com rituximabe e rituximabe combinado, em relação ao grupo controle. A segurança quanto ao uso do rituximabe foi comparável àquelas relatadas com o seu uso em pacientes com linfoma. Reações adversas ocorreram em 36% dos pacientes, mais freqüentemente na primeira infusão. Estas reações foram mais leves do que as relatadas com o uso em pacientes com linfoma. Anticorpos antiquiméricos humanos (HACA) foram observados em 4,3% dos pacientes. A despeito da depleção quase completa dos linfócitos B dos pacientes que receberam rituximabe, os níveis de imunoglobulinas não se alteram substancialmente. IgG, IgM, IgA se mantiverem dentro de níveis normais e nenhum efeito nos títulos de anticorpos antitetânicos foi observado. Estes dados mostram a importância da participação das células B na fisiopatologia da artrite reumatóide. Sabe-se que a membrana sinovial dos pacientes com AR contém grande quantidade de plasmócitos que produzem o FR. A positividade para o FR está associada a maior agressividade da doença articular, maior freqüência de manifestações extra-articulares e aumento da mortalidade. Imunocomplexos que contém FR se ligam aos receptores Fc nos macrófagos da membrana sinovial, induzindo a liberação de citocinas proinflamatórias como o FNT α. O FR pode ser um estímulo para as células B, potencialmente levando à ativação e apresentação de antígenos para as células T helper, que pode ser responsável pela produção de mais FR (7). Em 2002 Leandro e colaboradores publicaram um estudo sobre uma série de 22 pacientes com AR que foram tratados com rituximabe e que serviu de base para os estudos clínicos controlados já publicados ou em andamento: Tabela 1 - Desfecho clínico em 22 pacientes com artrite reumatóide tratados com depleção de linfócitos B:(8) n RTX PR CP Desfecho clínico Grupo I Grupo II 05 1400 mg/m2 60mgx22 2 +/- 2 120mgx5 04 300-700mg/m Grupo III 10 600-700mg/m 750x2 ACR70x3, ACR50x2 - ACR20x1, ACR0x3 750x2 ACR70x6, ACR50x2, ACR20x2 ACR70x2 2 Grupo IV 06 1200mg/m Grupo V 2 04 500mg/m Var. 750x2 ACR50x2,ACR20x1,ACR0x1 750x2 ACR0x4 O estudo mostrou que a depleção das células B foi mais acentuada nos pacientes que receberam 600 mg/m2 ou mais de rituximabe e quando associado à ciclofosfamida (8). Em 2005 Gottenberg et al publicaram estudo retrospectivo de uma série de 43 pacientes, com várias doenças auto-imunes sistêmicas refratárias, tratados com rituximabe. Dados foram coletados de questionários enviados a reumatologistas da Sociedade Francesa de Reumatologia. Mesmo sem a liberação comercial do produto para tratamento de doenças auto-imunes, o rituximabe é utilizado em vários pacientes com formas graves e refratárias ao tratamento convencional. Os dados mostraram boa tolerância e eficácia clínica, com acentuada redução da necessidade dos corticosteróides em pacientes com LES, Síndrome de Sjögren, vasculites e polimiosite. O rituximabe foi utilizado na dose de 375mg/m2/semana em 35 desses pacientes, em cursos de 4 semanas, com 70% de resposta. Tabela 2 - Tolerância e eficácia em curto prazo do RTX em 43 pacientes com doenças auto-imunes sistêmicas (9): AR LES SS VASC Outras art. Linf + d ai. Total n 14 13 06 05 05 02 43 Resposta RTX 11 09 05 02 03 30 ↓ corticóide 9,3mg p/5,9 mg 27mgp/8mg - % resposta 70% 70% 80% 40% 60% 00% - Em dezembro de 2005 Edwards et al encaminharam para publicação o follow up de 180 pacientes/ano submetidos a re-tratamento com rituximabe na UCL (University College London) para artrite reumatóide grave,desde o início do uso em 1998 (comunicação pessoal). Em um total de 37 pacientes todos alcançaram depleção das células B em todos os ciclos de tratamento com o rituximabe: • na dose de 1000 mg em duas infusões, com intervalo de 2 semanas há depleção de mais de 98% das células B. Depleção menor que 95% é ineficaz; • a duração média da remissão clínica foi de 15 meses, e máxima de 43 meses. Os seguintes casos foram retirados do programa: ausência de resposta (5, sendo 4 com fator reumatóide negativo), reação de hipersensibilidade à infusão (1), brevidade de resposta (8), complicações respiratórias (1) e controle adequado com tratamento convencional (2); • 80% dos pacientes com FR positivo respondem e 50-60% se tornam susceptíveis ao controle da doença, através de re-tratamento; • pode haver aumento da susceptibilidade às infecções pulmonares o que requer vigilância; • efeitos cumulativos nos níveis de imunoglobulinas podem ocorrer com o uso repetitivo da droga; • resistência secundária não parece ser problema até os 2-5 anos de tratamento (10). A depleção das células B vem sendo vista com também com otimismo para o tratamento do LES. A análise de 100 casos graves já tratados e descritos na literatura mostrou resultados favoráveis. Entretanto, nenhum estudo clínico controlado randomizado, comparando a sua eficácia foi realizado. A experiência com este grupo heterogêneo de 100 pacientes mostrou 80% de resposta clínica, com importante redução da atividade global da doença, incluindo nefrite proliferativa em atividade. Os níveis totais de imunoglobulinas e anticorpos protetores foram preservados, porém com decréscimo do anticorpo anti-DNA, o que nem sempre está associado com a reposta clínica (11). Anolik (2004) analisou o perfil dos subgrupos das células B após tratamento do LES com rituximabe. Através de citometria de fluxo comparou o perfil basal dos doentes com controles normais. Os pacientes com LES exibiram várias anormalidades nas células B periféricas antes do tratamento, inclusive discreta linfopenia, expansão de células B CD27, IgD negativas e expansão de plasmoblastos circulantes. Após a depleção terapêutica das células B estas anormalidades foram corrigidas. A persistência do elevado nível de autoanticorpos pode refletir a presença residual de células B auto-reativas de memória e/ou células plasmáticas autoreativas de longa sobrevida (12). Em março de 2006 o FDA (The US Food and Drug Administration) aprovou a indicação do rituximabe para o tratamento da artrite reumatóide moderada ou grave, em combinação com metotrexate, para os casos que não tenham respondido ao tratamento com um ou mais agentes biológicos (13). Tabela 3 - Esquema para administração do rituximabe na AR (1, 13, 14, 15). Posologia por ciclo 1000 mg x 2 (intervalo 1 semana) Via de administração EV Medicação prévia Metilprednisolona 100 g EV antes da droga 1a. infusão: começar com 50mg/h e ↑ 50 mg/h a cada 30’, máximo: 400m/h Tempo de infusão subseqüentes: iniciar com 100mg/h e ↑ 100mg/h a cada 30’, máximo 400 mg/h Associação c/ droga imunossupressora ± Curto prazo: Picadas na garganta, urticária, febre, possível reação grave durante infusão Reações adversas Longo prazo: Ainda não bem definidos. Tratamentos repetidos: queda níveis de IgG, principalmente IgM ↑ Infecções trato respiratório inferior Tempo de remissão 15 meses (média) Tempo para re-tratamento (se indicado) Não inferior a 12 meses A administração do rituximabe deve ser realizada em clínica ou hospital, sob supervisão médica, com materiais de ressuscitação disponíveis. Há risco de reações graves com a infusão do medicamento, inclusive choque anafilático. XI- Análise de Custo: Figura 1. Inferência dos gastos para população Unimed-BH 3.302 ≥ ! " #$ % ! 990 50 AR 1% DMCD - 30% T.Esp. 5% O gasto com o Rituximabe nos pacientes refratários ao tratamento convencional gira em torno de 1.500 dólares/mês (990 pacientes). Destes 5% não entrarão em remissão e estão esperando por outras terapias, como o anticorpo monoclonal anti-CD20 ou outros. O gasto para esses 50 pacientes ficaria em aproximadamente ≅ R$ 1.460.000,00/ano. (Observação 1 frasco 500mg rituximabe ≅ R$ 7.300,00). Inferência baseada no número de usuários Unimed-BH (fornecido pelo sistema de informações da Unimed-BH) e dados literatura (4). XII- Considerações finais: A terapia anti-células B assinala um avanço importante tanto na compreensão dos mecanismo fisiopatológicos, como no tratamento das formas graves e refratárias das doenças auto-imunes. Apesar disso, os dados da literatura ainda não são suficientes para o seu uso em escala estendida. Apenas um ensaio clínico randomizado, para tratamento de artrite reumatóide refratária, foi publicado até o momento (7), apesar de mais dois estarem disponíveis em abstract na Sociedade Americana de Reumatologia. Cumpre ressaltar que se observam neste trabalho possíveis conflitos de interesse, como financiamento do trabalho pela indústria farmacêutica. As séries de casos, tanto para artrite reumatóide, como para o LES também mostram alguns autores consultores das indústrias farmacêuticas produtoras do rituximabe. O FDA apresentou liberação recente (março/2006) para o uso da droga no tratamento das doenças auto-imunes, baseado nos três ensaios clínicos disponíveis (13). A Anvisa, agência reguladora nacional, tem o registro do rituximabe para o tratamento de linfoma de células B, mas ainda não regulamentou o seu uso para o tratamento das doenças auto-imunes. O uso da droga neste caso, no Brasil, permanece como medicação off label (fora de bula), com as implicações éticas e jurídicas pertinentes a esta situação. A avaliação do uso do medicamento em doenças auto-imune, apesar de resultados iniciais promissores, ainda não identifica os efeitos em longo prazo. XIII- Parecer do GTAS: Diante das evidências científicas atuais o GTAS não é favorável à incorporação do rituximabe para o tratamento da artrite reumatóide grave refratária, neste momento. ! ! "# $ % % % %! ! XIV – Referências Bibliográficas: % % %% % % & %% & ' %$ 1. Edwards JCW, Leandro MJ, Cambrigde G. Lymphocyte Depletion in Rheumatoid Arthritis: Targeting of CD20. Curr Dir Autoimmun 2005; 8:1275-192. 2. Doan T and Massaroti E. Rheumatoid Arthritis: An Overview and Emerging Therapies. J Clin Pharmacol 2005; 45:751-762. 3. Cohen SB. B-Cell Depletion for Rheumatic Diseases: Where Are We? Medscape General Medicine 2005; 7(2):72. http://www.medscape.com/viewprogram/4144, acesso em 03/04/06. 4. O'Dell JA. Therapeutics Strategies for Rheumatoid Arthritis. NEJM 2004; 2591-2602. 5. Edwards JCW, Cambridge G. Sustained improvement in rheumatoid arthritis following a protocol designed do deplete B lymphocytes. Rheumatology 2001; 40:205-211. 6. Tsokos GC. B Cells, Be Gone – B-Cell Depletion in the Treatment of Rheumatoid Arthritis. NEJM 2004; 350(25): 2546-2548. 7. Edwards JCW, Szcpanski L, Szechinski J, Fillipowicz-Sosnowska A, Emery P, Close DR, Stevens RM, Saw T. Efficacy of B-Cel Targeted Therapy with Rituximab in Patients with Rheumatoid Arthritis. NEJM 2004; 350(25): 2572-2581. 8. Leandro MJ, Edwards JCW and Cambridge G. Clinical outcome in 22 patients with rheumatoid arthritis treated with B lymphocyte depletion. Ann Rheum Dis 2002; 61:883-888. 9. Gottenberg J-E, Guillevin L, Lambotte O, Allanore Y, Cantagrel A, Larroche C et al. Tolerance and short term efficacy of rituximab in 43 patients with systemic autoimmune diseases. Ann Rheum Dis 2005; 64: 913-920. 10. Popa C, Leandro MJ, Cambridge G, Edwards JCW. Repeated B Lymphocyte Depletion with Rituximab in Rheumatoid Arthritis Over 7 years. Submetido à publicação no BMJ 2005 (comunicação pessoal). 11. Sfikakis PP, Boletis JN and Tsokos GC. Rituximab anti-B-cell therapy in systemic lupus erythematosus: poiting to the future. Curr Opin Rheum 2005; 17: 550-557. 12. Anolik JH, Barnard J, Cappione A, Pugh-Bernard AE, Felgar RE, Looney RJ and Sanz I. Rituximab Improves Peripheral B Cell Abnormalities in Human Systemic Lupus Erythematosus. Arthritis & Rheumatism 2004; 50(11): 3580-3590. 13. WaknineY. FDA approvals: Rituxan and Emsam http://www.medscape.com/viewarticle/524747, acesso em 05/04/06). 14. Edwards JCW, Leandro MJ, Cambridge G. B Lymphocyte Depletion Therapy with Rituximab in Rheumatoid Arthritis. Rheum Dis Clin North Am 2004; 30(2): 393-403. ' (www.cancercare.on.ca/pdfdrugs/Appendix3a% ! #! $