Apresentação do PowerPoint
Propaganda
Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Primeiras experiências do DEAEX na utilização do R para análise de dados estatísticos do comércio exterior brasileiro Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Objetivos • Apresentar histórico da divulgação estatística do DEAEX • Apresentar aspectos do processo de adoção do R pelo DEAEX • Apresentar principais projetos em andamento • Apresentar o Comex Vis Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Divulgação Estatística do Comércio Exterior Brasileiro • Ministério da Indústria, Comércio Exterior e Serviços (MDIC) • Secretaria de Comércio Exterior (SECEX) – Departamento de Estatística e Apoio à Exportação (DEAEX) • Coordenação Geral de Estatística: DECRETO Nº 8.663, DE 3 DE FEVEREIRO DE 2016 (Art. 21): “(...) VII - coletar, analisar, sistematizar e disseminar dados e informações estatísticas de comércio exterior e elaborar e divulgar a balança comercial brasileira, em observância às recomendações internacionais que tratam sobre o tema; VIII - elaborar estudos, indicadores, publicações e informações sobre produtos, setores e mercados estratégicos para o comércio exterior brasileiro; IX - gerenciar sistemas de consultas, análise e divulgação de dados de comércio exterior; (...)” Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Divulgação Estatística do Comércio Exterior Brasileiro • Coordenação Geral de Estatística – Tutela dos dados estatísticos do comércio exterior brasileiro – Mantém rotinas e processos de cargas, produção e análise de dados – Divulgações oficiais – Demandas gerais relacionadas a estatística de comércio exterior Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Tipos de Produtos e Público Alvo Historicamente o DEAEX produz e fornece conteúdo e produtos da seguinte forma: Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Principais produtos consolidados • Todos disponíveis em www.mdic.gov.br • Relatórios da Balança Mensal • Relatórios da Balança Semanal • Relatórios específicos: Estados, Blocos, Países, Municípios, Cooperativas e Tradings, Produtos, etc • Relatórios de séries históricas • Fornecimento das bases de dados brutos (integrais) • Portal AliceWeb: http://aliceweb.mdic.gov.br/ • Portal AliceWeb Mercosul: http://alicewebmercosul.mdic.gov.br/ Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Evolução dos Processos e Produtos • Há pouco tempo atrás: – Access e Visual Basic: armazenamento e processamento de dados – Word, Excel e Macros: relatórios, análises e rotinas de dados • Atualmente (em fase de migração): – Oracle e SQL: armazenamento e processamento de dados – Excel e R: relatórios, gráficos, análises e rotinas de dados Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Motivação para mudanças • Aumento de demandas • Respostas mais rápidas • Manter compatibilidade com evoluções tecnológicas • Criar mais produtos para atender leis de acesso à informação • Facilitar o acesso aos dados • Melhorar qualidade das análises Esse cenário criou a necessidade de reformular e aprimorar processos e rotinas Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Escolha do R • Com a necessidade de aprimorar alguns processos de trabalho, iniciou-se a busca por ferramentas mais adequadas • Após experimentos, o R foi escolhido: – Código Livre – Gratuito – Amplamente difundido e adotado por outras instituições • Universidades, órgãos públicos, etc. – Se mostrou robusto e versátil: • • • • Coleta e limpeza de dados Análise estatística Criação de relatórios e gráficos Criação de rotinas sistematizadas Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Processo de Adoção do R • Começou experimentalmente em iniciativas isoladas, baseado em conhecimentos individuais • Aos poucos, mais membros da equipe passaram a usar em iniciativas ainda individuais • Após algumas provas de conceito, iniciaram-se alguns projetos pilotos e mais membros se engajaram • Uma parte da equipe conseguiu atingir um bom patamar de experiência em R Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Processo de Adoção do R • DEAEX passou a adotar o R como uma das ferramentas oficiais de trabalho • Foi lançado o primeiro produto oficialmente construído com o R: Comex Vis • DEAEX está lançando um curso interno para disseminar o conhecimento da ferramenta e capacitar equipes de outros departamentos Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Desafios • Reforçar a equipe com mais membros engajados em aprender R – A equipe é formada principalmente por economistas e especialistas sem formação em tecnologia da informação – R requer desenvolver habilidades de programação – Capacitar e engajar a equipe para sustentabilidade e manutenção de longo prazo dos projetos • Oficializar a ferramenta para todo o ministério – Sensibilizar a alta gerência das vantagens e potencial do R; – Sensibilizar e disseminar o conhecimento a outros departamentos – Quanto mais departamentos adotarem, mais suporte e apoio vai existir Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Projetos R em andamento Reformulação de processos e rotinas sistemáticas • Substituição gradual do Access e Visual Basic por R e Oracle (banco de dados) – Geração de relatórios, cargas e validação de dados, fornecimento de dados, etc... • Melhoria dos relatórios antigos • Criação de novos relatórios • Melhoria no tempo de resposta de análises ad hoc • Substituição dos processos manuais por processos automáticos • Em desenvolvimento Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Projetos R em andamento Sistematização do Índice de Preço e Quantum • Implementação da metodologia de Fisher • Resultados gerados automaticamente para toda série histórica • Resultados menos sujeitos a erros de processo manual e mais rápido • Cálculo do Índice para diferentes agregações (fator agregado, CUCI, etc.) • O Índice de Preço e Quantum é um produto de consumo interno (sem divulgação) • Em fase experimental Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Projetos R em andamento Sistematização do Índice de Preço e Quantum Resultado preliminares do cálculo do índice, mês a mês. (fase experimental) Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Projetos R em andamento Ajuste Sazonal • Utilização de pacotes para ajuste sazonal (X13Arima-SEATS) • Criação de dashboards com os resultados – Os dashboards de ajuste sazonal são de consumo interno (sem divulgação) • Em fase experimental Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Projetos R em andamento Ajuste Sazonal Resultados preliminares dos Dashboards para análise de ajuste sazonal (fase experimental) Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Projetos R em andamento Previsões • Utilização de pacotes para previsão de séries temporais (VAR e Arima) • Em fase inicial Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Projetos R em andamento Detecção de outliers • As estatísticas de comércio exterior são elaboradas com dados fonte de um sistema administrativo (SISCOMEX) – O input dos dados está sujeito a erros de digitação do exportador – O DEAEX mantém uma equipe para realizar depuração preventiva, antes da exportação. • Utilização de algoritmos de detecção de outliers para aprimorar o processo de depuração dos dados – Identificar registros com alta probabilidade de erro de digitação • Em fase inicial Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Comex Vis • O que é: – Ferramenta com representações gráficas e interativas dos dados de comércio exterior brasileiro – Primeiro projeto oficialmente desenvolvido com o R e publicado para consumo do público externo • Utilização do R integrado com gráficos do D3Plus (MIT) • Desenvolvido pela própria equipe do DEAEX Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Comex Vis • Objetivo: – Auxiliar na análise e comunicação dos dados de comércio exterior – Exploração rápida dos dados sem precisar de ferramentas complexas – Facilitar o acesso aos dados de forma intuitiva e atrativa para o público externo e interno Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Comex Vis • Visualizações disponíveis: – Dados gerais do Brasil: série histórica, fator agregado, parceiros, UF, principais produtos – Países parceiros: série histórica, fator agregado, principais produtos – Blocos e continentes: série históricas, países membros, fator agregado e principais produtos – Em breve: • Visualizações por Unidade da Federação • Visualizações por Município Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Comex Vis • Demonstração – Acesso gratuito, sem cadastro – Responsivo: funciona em desktops, tablets e celulares • Caminho de acesso no portal: – Menu Assuntos > Comércio Exterior > Estatísticas de Comércio Exterior > Comex Vis • Link: www.mdic.gov.br/comercio-exterior/estatisticas-de-comercio-exterior/comex-vis Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Conclusão • O R tem atendido bem em tarefas bem distintas: – – – – Reformulação das rotinas de carga de dados Geração de relatórios Aplicação de modelos estatísticos Criação de novos produtos • A curva de aprendizado da equipe vem se mostrando bastante favorável – Cada vez mais membros vem mostrando interesse em aprofundar os conhecimentos • A alta gerência vem ganhando confiança e gostando do resultado dos projetos em R. Primeiras experiências do DEAEX com R para análise de dados do comércio exterior brasileiro Obrigado Saulo S. Guerra Castro [email protected]
