1 UNIVERSIDADE FEDERAL DE ITAJUBÁ UNIVERSIDADE ABERTA DO BRASIL INSTITUTO DE FÍSICA E QUÍMICA UMA ANÁLISE DO PROJETO WIKIPÉDIA NA UNIVERSIDADE Trabalho Final de Graduação JÚNIOR CÉSAR SILVA ITAJUBÁ-MG Dezembro de 2017 2 UNIVERSIDADE FEDERAL DE ITAJUBÁ UNIVERSIDADE ABERTA DO BRASIL INSTITUTO DE FÍSICA E QUÍMICA UMA ANÁLISE DO PROJETO WIKIPÉDIA NA UNIVERSIDADE por Júnior César Silva Monografia apresentada ao curso de graduação de Licenciatura em Física, da Universidade Federal de Itajubá (UNIFEI), como requisito parcial para obtenção do grau de Licenciado em Física. Orientador: Dr. NEWTON DE FIGUEIREDO FILHO ITAJUBÁ-MG Dezembro de 2017 3 UNIVERSIDADE FEDERAL DE ITAJUBÁ UNIVERSIDADE ABERTA DO BRASIL INSTITUTO DE FÍSICA E QUÍMICA UMA ANÁLISE DO PROJETO WIKIPÉDIA NA UNIVERSIDADE Júnior César Silva Monografia apresentada ao curso de graduação de Licenciatura em Física, da Universidade Federal de Itajubá (UNIFEI), como requisito parcial para obtenção do grau de Licenciado em Física. Orientador: Dr. NEWTON DE FIGUEIREDO FILHO Aprovado em _____ de Dezembro de 2017, com a média_______. BANCA EXAMINADORA PROF. Dr. Newton de Figueiredo Filho PROF. Dr. Thiago Costa Caetano ITAJUBÁ-MG Dezembro de 2017 4 Agradecimentos Agradeço primeiramente a Deus pela saúde, inteligência, fé, serenidade e por permitir o alcance deste objetivo. Aos meus pais, além do amor incondicional, pelo apoio e pela perseverança nos momentos de dificuldades. À minha irmã e à minha mulher, pela força, incentivo e ajuda nos estudos. Ao meu professor e orientador Dr. Newton de Figueiredo Filho, pela paciência, sapiência e pela grande contribuição, tanto como professor regente de aulas, quanto na orientação do meu trabalho final de graduação. A Janine Ameku Neves, pela motivação e grande ajuda nas várias matérias em que foi tutora, principalmente na disciplina “Trabalho Final de Graduação I”. Aos meus colegas de curso e amigos Bruno Chagas Santos, Fernando Souza Pinto e Silas Guida Vilhena, pela ajuda mútua, amizade e pelo incentivo e força nos momentos de fraqueza. A meu primo Marcos Antônio Piza, pela ajuda nas diversas matérias no decorrer do curso. 5 “Não está na natureza das coisas qualquer homem fazer uma descoberta súbita e violenta, a ciência vai passo a passo, e cada homem depende do trabalho de seus antecessores”. (Ernest Rutherford) 6 Resumo Este trabalho versa sobre o programa “Wikipédia na Universidade”, desenvolvido pela Wikimédia Foundation, de modo a verificar o que é este programa, e o seu impacto para a melhoria dos verbetes da Wikipédia que foram editados pela turma escolhida. Neste programa ocorre a proposta a edição dos verbetes como atividade pedagógica. Para verificar este impacto, foi escolhido o curso de Física IIIC, da Universidade Federal do Rio Grande do Sul, que participou do programa no primeiro semestre do ano de 2016, e foi realizada a análise dos artigos editados durante este curso, de modo a verificar o que foi acrescido, o quanto foi acrescido, e a contribuição dessa edição para a melhoria dos artigos. De um modo geral as edições efetuadas pelos alunos acarretaram melhorias para os verbetes, tanto qualitativa quanto quantitativamente, de modo que a maior parte das contribuições feitas pelos alunos ainda estão incorporadas ao corpo dos artigos mesmo tendo se passado mais de um ano do término do curso, e, além disso, foi acrescido bastante conteúdo que ainda não continha na Wikipédia, remetendo a um aprimoramento do artigo. Palavras Chave: Wikipédia, melhoria e verbetes. 7 Sumário 1 – Introdução ................................................................................................................. 8 2 – Revisão Bibliográfica .............................................................................................. 11 2.1 – O princípio wiki .............................................................................................. 11 2.2.1 – Wikipédia no Ensino ........................................................................... 12 2.2.2 – Wikipédia na Universidade ................................................................. 12 2.2.2.1 – Física III- UFRGS ....................................................................... 13 4.1 – Análise Qualitativa ............................................................................................... 21 4.2 – Análise Quantitativa ............................................................................................. 25 4.3 – Avaliação Automática .......................................................................................... 26 5 – Conclusão ................................................................................................................ 29 6 – Referências Bibliográficas ...................................................................................... 30 8 1 – Introdução O mundo em que vivemos está passando por diversas transformações nos mais diversos setores do conhecimento, da cultura e da vida social. Muitas dessas transformações são decorrentes do crescente avanço tecnológico, e da popularização da internet, e afetam os meios de comunicação e informação e, além disso, as várias formas de construção e circulação do conhecimento, acarretando consequências para educação, surgindo ainda, várias opções de aperfeiçoamento e implantação de novas práticas pedagógicas (GARCIA et al., 2011; PRETTO & PINTO, 2006). A cada dia que passa, mais a mídia computadorizada vai substituindo a gráfica, mais o material impresso vai sendo substituído pelo digital, e segundo Baptista (2004), a abrangência da Internet a nível global, fez com que passasse a investigar a capacidade de utilizar seus recursos para melhorar as técnicas educacionais existentes até o momento, visto a facilidade de acesso à rede e a ampla distribuição desta nos centros educacionais e instituições de ensino, existido a oportunidade de utilizar seus recursos em prol da educação, gerando uma reflexão sobre o uso de tal tecnologia no ensino. Uma das mudanças possibilitadas pelo o advento da internet é o favorecimento da capacidade de cooperar, aprender e produzir conhecimento (STREY E KAPITANSKI, 2011), podendo considerar a Web como uma potencial ferramenta para educação, ao passo que ela permite essa nova forma de aprender e de construir o conhecimento de modo colaborativo e cooperativo, podendo citar como um exemplo a Wikipédia (PRETTO & PINTO, 2006). A Wikipédia surgiu no ano de 2001, criada pelos norte-americanos Jimmy Wales e Larry Sanger, e apoiada pela Wikimedia Foundation, uma organização sem fins lucrativos. De acordo com a própria Wikipédia, ela é um projeto de enciclopédia colaborativa, universal escrita em diversos idiomas, estabelecido na internet sob o princípio wiki, que compreende documentos em hipertexto ou softwares que podem ser produzidos de forma colaborativa. Tem como finalidade fornecer um conteúdo livre, objetivo e verificável, que possam ser editados e melhorados (WIKIPÉDIA, 2017b). Segundo Vieira e Christofoletti (2008), a grande diferença da Wikipédia para as demais enciclopédias não está no fato dela ser uma enciclopédia que está na internet, já que existem outras nesta mesma mídia, sendo que o seu diferencial é a possibilidade de participação, de colaboração na edição dos verbetes. Isto significa que qualquer usuário com acesso à internet, pode incluir um novo verbete ou editar um verbete já existente. Ela vai sendo escrita de modo colaborativo por diversas pessoas espalhadas pelo planeta, e de acordo com o website Alexa (2017), no mês de novembro de 2017, a Wikipédia está entre os dez websites mais acessados do 9 planeta, “podendo ser considerada a maior e mais popular obra de referência geral na internet” (WIKIPÉDIA, 2017a.). Até maio de 2017, a Wikipédia tinha cerca de 43 milhões de artigos, sendo quase um milhão em português, e todos escritos de forma conjunta ao redor do mundo (WIKIPÉDIA, 2017a). De acordo com Brescia et al. (2015) foram vários os aspectos que fizeram que a Wikipédia se tornasse um sucesso entre os usuários e tivesse uma rápida aceitação. Dentre estes aspectos favoráveis, podemos citar o acesso fácil, rápido e sem oneração, além da possibilidade do usuário participar da edição e atualização de artigos. Por se tratar de uma enciclopédia livre e colaborativa, onde qualquer pessoa com acesso à internet possa incluir e editar os verbetes, algumas questões sobre a confiabilidade e veracidade dos artigos, para uso como fontes e ferramenta de ensino, foram levantadas por professores em escolas e universidades. Contudo, segundo Bortolazzo e Marcon (2012), a própria Wikipédia vem desenvolvendo um conjunto de políticas, procedimentos e regras para a remoção de conteúdos que possam não ser verdadeiros, fazendo com que a maioria dos artigos apresente um grau de veracidade e confiabilidade muito alto. Em 2010, a Wikimedia Foundation iniciou o Programa Wikipédia no Ensino (Wikipedia Education Program) para fornecer mais apoio aos professores interessados em usar a Wikipédia como uma ferramenta de ensino. Um dos projetos mais importantes que a Wikimedia Foundation tem na área da educação é o Projeto Wikipédia na Universidade, que integra o projeto Wikipédia no Ensino. Este projeto, criado em meados de 2011, é fomentado pela Wikimedia Foundation e pela Wiki Educational Foundation, e tem como principal objetivo incentivar estudantes, professores e universidades a utilizarem a Wikipédia como uma ferramenta de ensino, melhorando a qualidade da Wikipédia. Neste programa, a criação, melhora e ampliação de verbetes da Wikipédia é proposta aos alunos como atividade didática, a ser desenvolvida durante o ano letivo. Uma vez que a Wikipédia é uma plataforma livre e colaborativa, com verbetes podendo ser criados e editados por qualquer pessoa, é possível utilizar esta ferramenta em um projeto de ensino participativo, onde os alunos poderiam utilizar, criar e editar os verbetes de modo a verificar se chegam a um aprendizado significativo acerca de um tema. 10 Neste trabalho foi realizada uma análise do impacto do projeto Wikipédia na Universidade na melhoria dos artigos publicados na Wikipédia, além de analisar os benefícios desta ferramenta no processo de ensino e aprendizagem. Para analisar o projeto como um todo, foi realizado um recorte do projeto Wikipédia na Universidade, sendo realizada a análise dos trabalhos realizados por uma turma participante deste projeto. Este trabalho foi realizado sob a forma de uma pesquisa exploratória e descritiva. Exploratória, pois se pretende se familiarizar mais com a temática de ensino colaborativo e com o funcionamento do projeto Wikipédia na Universidade, sendo desenvolvido um trabalho em que houve análise de trabalhos e dados contidos na internet. Descritiva por descrever um fenômeno, relacionando o trabalho colaborativo e edição dos verbetes o com aprendizagem do aluno. Este trabalho tem como objetivo principal analisar o impacto do projeto Wikipédia na Universidade na melhoria dos artigos da Wikipédia editados no decorrer deste projeto, mais precisamente os artigos editados no primeiro semestre de 2016 do curso de Física IIIC da Universidade Federal do Rio Grande do Sul. 11 2 – Revisão Bibliográfica 2.1 – O princípio wiki O primeiro wiki foi criado no ano de 1995 por Ward Cunningham, sendo um site de edição pública e aberto à leitura, que tinha como objetivo armazenar algoritmos de soluções para problemas variados. Wiki vem da expressão havaiana wiki wiki, que significa algo rápido, veloz, e é um software que gerencia conteúdos, operando como um site onde o usuário pode ser, ao mesmo tempo, autor, leitor e editor dos conteúdos (GOMES, 2007). Para Gomes (2007): O internauta assume, potencialmente, todas essas funções, uma vez que qualquer um, acessando o site, pode publicar texto, ler o que já foi escrito por outras pessoas e, eventualmente, intervir nos textos que estão disponíveis. Não existe um gerenciador da qualidade do texto, apenas os próprios usuários que se policiam entre si. A expansão do trabalho de autoria e edição encontra sua chave mestra na utilização de links, já como barra de ferramentas, para alcançar e inserir outros conteúdos, com o que se chega a um desenho não só imprevisível como certamente bem diferenciado daquele inicialmente colocado (GOMES, 2007, p. 99). Existem diversos sites que tem seu funcionamento baseado no princípio wiki, como por exemplo, o Wikibooks ((http://wikibooks.org), a Wikinews ((http://wikinews.org) e a Wikipédia (wikipedia.org). O foco da wiki está conteúdo do texto, que pode ser editado ou modificado por qualquer pessoa, e não nos autores que realizam a edição. Já o foco da maioria das ferramentas da internet está nos autores, como por exemplo, os blogs, onde o autor da mensagem lista o conteúdo e todo comentário representa a opinião individual de cada usuário. Por sua natureza livre, mas destacadamente quando abertas a contribuições de um grande número de pessoas as wikis giram em torno do seu conteúdo e não dos seus autores. Isso também a diferencia da maioria das ferramentas da internet. (ABDO, 2009, p. 57/58). 2.2 – Um pouco da história da Wikipédia A Wikipédia foi criada no dia 15 de janeiro de 2001 pelos norte-americanos Jimmy Wales e Larry Sanger, e apoiada pela Wikimedia Foundation, como uma enciclopédia multilíngue, de licença livre, on-line, escrita de modo colaborativo e aberta para qualquer pessoa editar seus verbetes. Nestes 16 anos desde seu surgimento, uma grande quantidade de voluntários, chamados de wikipedistas, incluiu cerca de 43 milhões de artigos, sendo quase um milhão de artigos na Wiki- 12 pédia em português. Contudo, a qualidade dos artigos pode variar bastante. Pelo fato dos wikipedistas serem voluntários, há a tendência de que eles escrevam sobre os assuntos que são do seu interesse (MCDOWELL E STEWART, 2017). 2.2.1 – Wikipédia no Ensino No ano de 2010, a Wikimedia Foundation iniciou o Programa Wikipédia no Ensino (Wikipedia Education Program), do qual faz parte o projeto “Wikipédia na Universidade”, com intuito de fornecer mais apoio aos professores interessados em usar a Wikipédia como uma ferramenta de ensino e preencher as lacunas de conteúdo nas áreas acadêmicas. [...] Tal projeto objetiva difundir a Wikipédia e suas potencialidades como ferramenta de ensino e auxiliar professores a utilizá-la como recurso para o desenvolvimento de atividades práticas e avaliativas, servindo a dois propósitos: 1) o desenvolvimento de habilidades/competências por parte dos alunos e professores; e 2) a melhoria da qualidade do projeto Wikipédia como um todo. (BRESCIA et al. , 2015) 2.2.2 – Wikipédia na Universidade O projeto Wikipédia na Universidade ocorre em diversos países e tem como objetivo usar a Wikipédia como ferramenta de ensino, ao propor para os estudantes universitários a criação, a melhora e ampliação de verbetes da Wikipédia como atividade didática, capacitando, ensinando habilidades e competências aos alunos de modo a contribuir para a melhoria da qualidade dos artigos da Wikipédia. Os voluntários da Wikipédia fornecem, também, treinamento e assistência aos professores que querem usar a Wikipédia como ferramenta pedagógica. No segundo semestre do ano de 2011, professores da UNESP, UNIRIO e USP, foram os pioneiros a aderirem a este projeto no Brasil (AZEVEDO, 2013). Mcdowell e Stewart (2017) afirmam que programa Wikipédia na Educação veio para preencher uma lacuna na área acadêmica. Neste programa os professores atribuem a seus alunos o papel de editar verbetes na Wikipédia relacionados aos tópicos do curso como sendo uma atribuição de aula. Em 2010, foi lançado um acordo especifico para atender as lacunas nas áreas acadêmicas especificas. Neste acordo, faculdades e universidades atribuem aos alunos, editar tópicos nas áreas dos seus cursos. Os voluntários da Wikipédia fornecem treinamento e experiências, portanto, as universidades não precisam ter experiência em editoração. (MCDOWELL e STEWART, 2017; tradução nossa) 13 Segundo Azevedo (2013), ao realizar uma atividade pelo projeto Wikipédia na Educação, o professor pode fazer uso de estrutura comum a uma plataforma wiki, da estrutura e do conteúdo já existente na enciclopédia, além de suas políticas e regras, e da ajuda da comunidade de wikipedistas. Tanto os professores quantos os alunos podem contar com o suporte de usuários voluntários mais experientes, conhecidos por embaixadores. Estes embaixadores, por sua vez, se subdividem em dois grupos: embaixadores de campus, que atuam de maneira presencial em faculdades e em campi universitários, e embaixadores online, que atuam como tutores à distância e prestam auxílio aos professores e alunos que estão fazendo uso da Wikipédia em sala de aula. Cada usuário pode criar uma conta na Wikipédia, e todas as edições efetuadas por um usuário são públicas e ficam registradas na lista de edições, na aba “Contribuições”. Do mesmo modo, qualquer página da Wikipédia dispõe de uma aba chamada de “Histórico”, na qual é possível acessar todo histórico de alterações sofridas por esta página desde que foi criada, sendo registrado também o momento exato, com a data e hora em que foi editada. Essas funcionalidades possibilitam ao professor acompanhar o andamento das atividades, cada passo, todas as edições feitas por seus alunos acerca de determinado tema em uma página da Wikipédia, podendo, inclusive, participar juntamente com seu aluno da edição dos verbetes. Neste projeto os alunos, juntamente com os professores, e os voluntários da comunidade Wikipédia, desenvolvem atividades para melhorar a qualidade dos verbetes relacionados ao tema escolhido. Brescia et al. (2015) salientam essa melhoria dos verbetes proporcionada pelo formato colaborativo da Wikipédia: O formato colaborativo de edição e escrita adotado pela Wikipédia reverbera na atividade dos editores e na produção de conteúdos, já que frequentemente eles são alterados, comentados e atualizados por outros usuários, o que torna os artigos dessa enciclopédia mais ricos e heterogêneos, ao mesmo tempo em que possibilita o aprendizado intermediado pelo coletivo e o desenvolvimento de habilidades necessárias ao trabalho em equipe. (BRESCIA et al. , 2015) 2.2.2.1 – Física IIIC- UFRGS A Universidade Federal do Rio Grande do Sul é uma das universidades participantes do programa Wikipédia na Universidade, tendo participado pela primeira vez no segundo semestre de 2012, e já tendo participado do programa com 20 turmas, sendo que a disciplina que mais participou foi a Física IIIC, tendo participado em 5 semestres. A última turma de Física IIIC no progra- 14 ma Wikipédia na Universidade foi no primeiro semestre de 2016 (UNIVERSIDADE Federal do Rio Grande do Sul/FísicaIII-C). Este curso de Física IIIC era voltado a estudantes de engenharia e bacharelado em matemática, tendo como tópicos: temperatura, calor, teoria cinética dos gases, termodinâmica, ondas mecânicas, ondas sonoras, ondas eletromagnéticas e óptica geométrica. O intuito deste curso era criar ou melhorar artigos na Wikipédia Lusófona relacionados aos tópicos supracitados. O curso teve duração de um semestre letivo, e nele foi proporcionado aos alunos: uma introdução à Wikipédia, de modo a explicar a forma como a Wikipédia seria utilizada no curso e a explicação dos princípios e regras básicas da Wikipédia, contidas no verbete “Cinco pilares” (UNIVERSIDADE Federal do Rio Grande do Sul/FísicaIII-C); explicação feita pelo embaixador de campus sobre noções de edição, sobre o que faz um artigo ter qualidade e como distinguir bons e maus artigos (WIKIPÉDIA, 2017c). Cada aluno deveria criar uma conta de usuário, que não necessitava indicar o nome real do discente, e em seguida se inscrever na lista de alunos na respectiva página do curso. O aluno tinha de realizar uma avaliação crítica de um verbete existente na Wikipédia, ou propor a criação de novo verbete, de modo que a sua relevância fosse justificada (UNIVERSIDADE Federal do Rio Grande do Sul/FísicaIII-C, 2016). Antes de iniciar a edição do verbete, o aluno deveria enviar para o professor, por e-mail, uma proposta de edição de verbete. Nessa proposta deveria constar o nome do verbete em um tema relacionado ao curso; o nome real do aluno; o nome de usuário do aluno na Wikipédia; um parágrafo descrevendo, de modo crítico o estado em que se encontra o artigo; e um ou dois parágrafos contendo a proposta de melhoria do verbete (ENSINO Discussão). Tendo em mãos os nomes de usuário, era possível acompanhar e monitorar cada contribuição que o aluno fizesse nos verbetes da Wikipédia, como mostra a figura 1: 15 Figura 1 – Levantamento das contribuições da conta E-xuao à Wikipédia. Fonte: goo.gl/Fui5Am. 16 3 – Metodologia Primeiramente foi escolhida uma disciplina de Física do projeto Wikipédia na Universidade, disponível na página da Wikipédia: o curso de Física III da Universidade Federal do Rio Grande do Sul, do primeiro semestre de 2016. Foi realizada uma pesquisa de métodos mistos que avaliou, qualitativa e quantitativamente, as contribuições dos alunos do curso acima citado para a melhoria dos verbetes da Wikipédia. No final da página deste curso na Wikipédia há uma tabela com a lista de alunos inscritos no curso, os artigos por eles editados ou criados, e a lista de revisores. Todos os nomes contidos nessa tabela estavam sob a forma de link interno, que é um link que ao ser clicado direciona para a página-destino (neste caso do aluno, do revisor, ou do artigo editado pelo aluno). Havia 20 alunos inscritos, porém apenas 7 desses realizaram edições e editaram 14 verbetes relacionados aos tópicos referentes a temperatura, calor, teoria cinética dos gases, termodinâmica, ondas mecânicas, ondas sonoras, ondas eletromagnéticas e óptica geométrica. Figura 2 – Tabela com a lista de alunos inscritos em Física IIIC 2016/01. Fonte: goo.gl/vrJJkJ. 17 Em frente do nome de cada aluno do curso, nesta tabela, tem 3 links internos: “discussão”, “contribs” e “página de testes”. O link discussão direciona o internauta para todas as mensagens que foram enviadas para aquele aluno. O link contribs encaminha para todas as contribuições que foram feitas pelo aluno, sendo possível verificar o exato momento em que o aluno fez cada edição, acessar como verbete ficou logo após a contribuição do aluno, a quantidade de bytes que ele acrescentou ou diminuiu do artigo em cada intervenção. Em frente do link que indica o momento exato em que o aluno executou alterações naquele verbete há dois links, o “dif” e o “his”. O dif encaminha para uma página onde é possível ver as diferenças entre edições do verbete, podendo verificar o que exatamente o aluno modificou ou acrescentou, como mostra a figura 3. Já o link “his” encaminha para todo o histórico de edições do verbete. Figura 3 – Contribuição do aluno E-xuao para o verbete “Hidrostática” da Wikipédia no dia 26 de maio de 2016 às 09 horas e 28 minutos. Fonte: goo.gl/6bY6RL. O primeiro passo foi fazer um levantamento qualitativo nos quatorze verbetes, detalhando toda contribuição que cada aluno fez para os verbetes, de modo a qualificar a melhora que o aluno trouxe para o artigo. Foram levantadas as modificações feitas pelo aluno no conteúdo, no tocante ao acréscimo textual, inclusão de imagens, fórmulas e referências bibliográficas. Para fazer este levantamento, foi feito o acesso à página do curso na Wikipédia e o acesso às contribuições feitas por cada aluno, e foi verificado o que foi acrescido e alterado em cada intervenção do discente. O segundo passo foi fazer o levantamento quantitativo de modo a verificar o quanto o aluno contribuiu para ampliação do verbete. Neste levantamento foi verificado qual era o número de bytes do artigo antes do aluno fazer sua primeira edição; quantos bytes foram acrescentados 18 pelo aluno; qual o tamanho do artigo após a última contribuição do aluno; e qual o percentual da contribuição do aluno frente ao conteúdo já existente. Para fazer este levantamento quantitativo, também foi utilizada a página de contribuições do aluno. Por fim foi realizado o levantamento da avaliação dos artigos, antes e após as edições as edições feitas pelos alunos, com o propósito de levantar a contribuição feita pelos alunos no tocante a melhoria da “qualidade” dos artigos. Pelo fato dos autores da Wikipédia serem voluntários, eles tendem a escrever mais sobre os assuntos que são do seu interesse, fazendo com que a qualidade dos artigos varie bastante. Os artigos que são do interesse de muitos wikipedistas tendem a ter maior qualidade que os artigos que são do interesse de poucos wikipedistas (MCDOWELL e STEWART, 2017). A avaliação dos artigos tem como principais objetivos, informar o leitor acerca da qualidade do texto que ele está lendo, e informar o editor sobre quais artigos necessitam de atenção. Esta avaliação pode ser feita de dois modos distintos: uma feita de forma manual, onde o usuário da Wikipédia avalia a qualidade do artigo adotando uma escala de avaliação que leva em consideração, dentre outras coisas, a verificabilidade, imparcialidade, redação correta, ligações internas e externas, wikificação, seções definidas e layout do artigo; e outra feita automaticamente que é determinada por um algoritmo que avalia quais quesitos o artigo atende. Na Tabela 1 constam os parâmetros de qualidade feitos pela avaliação automática: 19 Tabela 01 – Avaliação automática - Parâmetros de qualidade Tamanho Nº mínimo Qualidade mínimo da de página referências 1 indiferente indiferente 2000 bytes 1 Nº mínimo de ligações internas indiferente 2 Nº mínimo de seções ou parágrafos indiferente Nº mínimo de imagens Comprimento máximo dos parágrafos Predefinições que não podem ter Outros indiferente indiferente indiferente Não se enquadrar nos critérios para ter qualidade maior 10 5 parágrafos indiferente 2500 {{contexto}}, {{reciclagem}} e {{reciclar-sobre}} - - 8000 bytes indiferente 3 12000 bytes 5 30 3 seções 1 2500 {{esboço}}, {{wikificação}} {{revisão}} e as já listadas na qualidade 2 4 20000 bytes 10 50 5 seções 2 2500 Qualquer predefinição Ter referências em todas que indique um aviso de seções com mais de um "artigo com problemas" parágrafo 5 indiferente indiferente indiferente indiferente indiferente indiferente indiferente Ter {{artigo bom}} (passou pela EAD) 6 indiferente indiferente indiferente indiferente indiferente indiferente indiferente Ter {{artigo destacado}} (passou pela EAD) Fonte: https://pt.wikipedia.org/wiki/Wikipédia:Avaliação_automática. Neste trabalho, o método de avaliação das contribuições feitas nos artigos, foi o método da avaliação automática. Pereira (2011) contesta a avaliação automática estrutural, no que se refere a poder não representar a real qualidade do artigo: No entanto, as avaliações automáticas são quantitativas, baseadas em métricas normalmente relacionadas a estrutura. Assim, embora possam ser úteis é possível que nem sempre sejam precisas. Por exemplo, pode-se ter uma estrutura de artigo excelente, com texto consolidado, mas se ele está consolidado por que ninguém tem interesse suficiente para discuti-lo, ele pode ser de baixa qualidade. (PEREIRA, 2011) Para realizar a avaliação automática do artigo, antes e após as edições efetuadas pelos alunos, foi seguido o seguinte procedimento: Primeiramente foi criada uma conta na Wikipédia, e foi utilizada a página de testes para realização desta tarefa; Em seguida, foi identificada na aba "Histórico" a versão do artigo anterior a primeira edição do aluno; 20 Usando a aba "Editar código-fonte", foi copiado o conteúdo completo do artigo e em seguida colado na página de testes; Após colar o conteúdo, foi clicado em "Publicar alterações" para gravar esse conteúdo na página de testes; Em seguida foi clicado na aba "Discussão" da página de teste e depois em "Editar código-fonte", abrindo, assim, uma janela de edição. O próximo passo foi digitar, e em seguida gravar, nesta janela de edição, a seguinte predefinição: {{Marca de projeto|?}}; Em seguida foi clicado em "Publicar alterações", gravando esse conteúdo na página de discussão. Com isso apareceu a avaliação da qualidade do artigo, sendo essa avaliação um número que vai do 1 ao 4; Passando o mouse sobre o algarismo que indica a avaliação do artigo aparece o motivo pelo qual o artigo foi classificado com aquela qualidade. Foi anotado esse motivo. Foi repetido todos esse procedimentos na última edição feita pelo aluno, de modo a verificar se houve alguma variação na avaliação após a contribuição do aluno. 21 4 – Resultados 4.1 – Análise Qualitativa Foi feito o levantamento de toda contribuição realizada por cada aluno no curso de Física IIIC do primeiro semestre do ano de 2016, verificando o conteúdo que foi acrescido. Este levantamento está resumido na Tabela 1: Tabela 01 – Contribuição feita pelos alunos do curso de Física III da UFRGS, do primeiro semestre de 2016, para Wikipédia Aluno/Usuário Artigos Lei dos gases ideais: Adição de um novo tópico ao verbete: “Exemplo de aplicações reais”; escreveu cinco parágrafos, U1 incluiu uma fórmula, uma imagem e uma referência. No quarto parágrafo ela colocou uma referência bibliográfica, ao citar um exemplo. Incluiu uma linha em branco entre cada parágrafo para separar. Escalas termométricas: Aumentou a introdução, modificando o parágrafo existente e acrescentando dois novos parágrafos a esta seção. Acrescentou duas novas referências bibliográficas. Incluiu uma subseção ao tópico “Escalas Térmicas” com título “Construindo uma escala térmica”. Alterou completamente a tabela existente na subseção “Correspondência entre algumas temperaturas”: antes a tabela continha apenas alguns pontos de temperatura e seus respectivos valores na escala Celsius e Fahrenheit, e a nova tabela acrescida pela aluna mostrava como fazer a conversão de temperatura entre 8 escalas termométricas diferentes. Incluiu no tópico “Correspondências entre Temperaturas” duas novas subseções: “Pontos importantes” e “Representação gráfica”. Na subseção “Pontos importantes” foi acrescentada uma tabela conU2 tendo alguns pontos de temperatura importantes em 8 escalas termométricas distintas. Na subseção “Representação gráfica” foi incluído um gráfico que permite a comparação dos pontos importantes entre as 8 escalas termométricas diferentes. Teve a correção de um erro ortográfico ou de digitação: Acrescentou um espaço após a vírgula numa frase. Alterou o título de um tópico principal de “Correspondências Principais” para “Correspondências entre Temperaturas”. Acrescentou um novo tópico com título “O Ponto Triplo da Água” e um novo parágrafo para este tópico com duas linhas e uma nova imagem para ilustrar o ponto triplo da água. Acrescentou nove novas palavras de busca à seção “Ver também”. Excluiu alguns conteúdos do tópico “Correspondências Principais”. 22 Interferência: Editou e modificou o título de duas seções, transformando-as em subseções. Acrescentou ao tópico “Mecanismos” uma nova subseção com nome “Múltiplas ondas” adicionando quatro novos parágrafos e duas equações a este título. Excluiu duas referências bibliográficas e acrescentou três novas referências. Retirou três imagens: “Franjas de interferência em sobreposição de ondas planas”, “interferência construtiva” e “interferência destrutiva”; Editou o tópico “Mecanismos”, alterando alguns conteúdos, acrescentando algumas equações. Incluiu uma tabela contendo características das ondas, imagens ilustrativas e equações de onda. Fez alterações no parágrafo do tópico “Experiências de Young”. Óptica: Incrementou três parágrafos que falavam dos meios ópticos transparentes, translúcidos e opacos. No tópico “Equações”, acrescentou a “Equação de Gauss” e a equação de “Associação de espelhos planos”. Fez uma correção da digitação, incluindo um espaço onde não tinha e era necessário. Incluiu duas novas seções: “Aplicações” e “Polarização”. Na seção Aplicações ainda subdividiu em duas subseções: “Olho humano” e “Instrumentos ópticos”. Nisso foram incluídos 17 novos parágrafos. Acrescentou 5 novas imagens ilustrativas. Acrescentou nove novas opções de busca à seção “Ver também”. Entropia: Adição do item “força associada à entropia”, com quatro subtítulos com exemplos e adição de uma imagem. Nesta adição foram incluídos 7 parágrafos, e duas novas equações. Até a data em que esta análise foi concluída, não foram feitas alterações na inclusão feita pela Isadorafraga, estando no Wikipédia exatamente como ela publicou. Acrescentou uma nova referência bibliográfica. U3 Lente: Adição do item “Distâncias focais”, com três subtítulos: Método de Bessel; Pontos conjugados e Lentes divergentes. Foram acrescentados 7 novos parágrafos, 3 novas imagens (uma para cada subtítulo). No item “Método de Bessel” foi feita a definição da fórmula do Método de Bessel. Acrescentou uma referência bibliográfica ao final de “Lentes divergentes”. 23 Distribuição de Maxwell-Boltzmann: A página não estava wikificada (formatada conforme o padrão das diretrizes estabelecidas pela Wikipédia), então a primeira intervenção da aluna foi começar a wikificar a página: A aluna deixou uma introdução (Uma pequena parte já existia no artigo, e ela acrescentou mais conteúdo, e modificou mais um parágrafo). Foram acrescentadas 4 novas seções: Verificação experimental; aplicações; chuva e Brilho do Sol. Na seção aplicação, ela colocou uma parte de um parágrafo que já existia no verbete. Nas demais seções criadas pela a aluna, os conteúdos foram novos, com alguns wikilinks. Acrescentou 3 novas referências bibliográficas. Acrescentou uma vírgula que estava faltando em uma frase, e foi realizada a correção de concordância nominal de uma palavra. Onda: U4 Acrescentou a seção “Energia e potência de uma onda progressiva em uma corda”, e nesta seção colocou quatro subtítulos. Foram acrescentados 5 novos parágrafos e duas novas equações (uma da taxa média com a qual a energia cinética é transportada, e outra da potência média), e adicionou uma imagem “Ondasfisica3”. Nesse complemento ela disponibilizou informações sobre Energia e Potência de uma onda progressiva em uma corda, incluindo transporte de energia cinética e energia potencial elástica e taxa de transmissão de energia. Pressão de radiação: Acrescentou duas seções: a seção “Absorção total e reflexão total”, contendo 7 parágrafos e fórmulas da a pressão de radiação, absorção total e reflexão total retornando ao longo da trajetória; e a seção “comprovação experimental” contendo um parágrafo, explicando como foi feita a primeira medida da pressão de radiação, por Nichols e Hulls, que comprovaram as previsões teóricas de Maxwell e adicionou uma nova imagem ilustrativa. Pressão hidrostática: Adicionou 3 referências bibliográficas no artigo que não tinha nenhuma. Fez uma correção de ortografia (acrescentou o acento grave onde precisava). Focou suas alterações apenas na seção “Pressão hidrostática”, modificando completamente toda esta U5 seção; acrescentou a definição da fórmula da pressão hidrostática; incluiu duas imagens ilustrativas; Foi acrescido bastante conteúdo. 24 Dispersão (óptica): Acrescentou 3 imagens e excluiu duas. Adicionou duas seções: “Fórmulas físicas” e “exemplos”. Acrescentou uma fórmula (lei de Snell-Descartes). Incluiu uma referência bibliográfica (não tinha nenhuma). Mudou completamente os conteúdos deste verbete, aproveitando apenas uma imagem e uma fórmula do editor anterior. Telescópio refrator: Foi adicionado ao verbete Telescópio refrator, o tópico "Exemplos de Telescópios" e todo o conteúdo deste tópico. Foram adicionadas duas imagem já existentes na Wikipédia: “Exemplo de Telescópio” e “Representação do telescópio Schmidt-Cassegrain”. Foram citadas três fontes. Os conteúdos adicionados neste artigo foram todos revertidos. U6 Alvenaria: Foi adicionado ao verbete Alvenaria, o tópico "Fissuras na alvenaria, causadas por dilatação térmica" e todo conteúdo deste tópico, com 12 novos parágrafos ; Foram adicionadas duas imagem já existentes na Wikipédia: “Fissuras em alvenaria” e “Fissuras causadas por dilatação térmica”; Foram incluídas três fontes (no tópico “Ver Também”). Os conteúdos adicionados neste artigo foram todos revertidos. Teorema de Carnot: Criou um verbete ainda não existente sobre o teorema de Carnot, com 3 seções: introdução, dedução U7 da equação do rendimento e prova do teorema para máquinas reversíveis e irreversíveis, junto com um enunciado que generaliza o teorema. Utilizou 3 referências bibliográficas. Fonte: Autor (2017). Ao analisar as contribuições efetuadas pelos alunos, verificamos que dos 20 alunos inscritos na página do curso na Wikipédia, 7 realizaram edições com a finalidade de aprimorar os verbetes. Os 7 alunos realizaram melhorias em 14 artigos, porém as modificações realizadas em 2 artigos não foram aceitas por infringir regras vigentes da Wikipédia. Dos 12 artigos que foram aceitas as edições, 11 foram artigos editados e 1 novo artigo foi criado. Foram acrescido de conteúdo, nos 12 verbetes, cerca 96 parágrafos, 22 novas fórmulas, 15 novas referências bibliográficas, 26 novas imagens para ilustrar, 3 tabelas, 18 novas opções de busca na seção “Ver também”, 1 novo gráfico, e foram efetuadas 4 deduções de fórmulas e 4 cor- 25 reções ortográficas ou de formatação. Na parte estrutural dos artigos, foram acrescentadas 19 seções, 15 subseções e mais 4 subtítulos. Passado pouco mais de um ano do término do curso, alguns dos artigos sofreram alguma edição, mas a maior parte do conteúdo acrescido no programa ainda está disponível nos 14 verbetes, sendo que em 8 verbetes, a parte acrescentada pelos alunos do curso Física IIIC está do mesmo modo que a última edição feita por estes alunos. Os verbetes que a parte acrescentada pelos alunos do curso Física IIIC está do mesmo modo que a última edição feita por estes alunos são: “Lei dos Gases Ideais”, “Entropia”, “Óptica”, “Interferência”, “Lente”, “Dispersão (óptica)”, “Pressão de Radiação” e “Onda”. 4.2 – Análise Quantitativa Foi efetuado, também, um levantamento quantitativo das contribuições dos alunos nos verbetes da Wikipédia de modo a verificar quantos bytes foram acrescentados ou diminuídos com a edição. Para efetuar esse levantamento foi necessário fazer o acesso à página de contribuições do aluno, onde em cada intervenção feita por este, vem discriminado o quanto de bytes foi acrescido, ou diminuído do artigo. Os dados do levantamento estão disponíveis na Tabela 2: Tabela 02 – Contribuição, em bytes, feita pelos alunos do curso de Física III da UFRGS, do primeiro semestre de 2016, para Wikipédia Aluno Artigos Bytes do artigo Bytes acres- Tamanho do Percentual da antes do aluno cidos pelo artigo após a contribuição fazer sua pri- aluno última contri- do aluno meira edição buição do aluno (bytes) U1 U2 U3 U4 Lei dos gases ideais 42651 2349 45000 5,5% Escalas termométricas 3471 7708 11179 222,1% Interferência 9991 3193 13184 32,0% Óptica 6237 13128 19365 210,5% Entropia 31286 3302 34588 10,6% Lente 24197 3177 27374 13,1% Distribuição de Maxwell-Boltzmann 2390 3531 5921 147,7% Onda 15926 2960 18886 18,6% 26 U5 U6 U7 Pressão de radiação 2707 4388 7095 162,1% Pressão hidrostática 5250 3242 8492 61,8% Dispersão (óptica) 7482 -2283 5199 -30,5% Telescópio refrator 12163 3968 16131 32,6% Alvenaria 1622 4233 5855 261,0% 0 7207 7237 - Teorema de Carnot Fonte: Autor (2017). Em quase todos os verbetes houve aumento da quantidade de bytes do artigo, ocorrendo decréscimo em apenas um. Vale destacar que em seis ocasiões houve um acréscimo superior a 100% após as contribuições feitas pelos alunos, sendo, nestes casos, o acréscimo superior ao conteúdo já existente. 4.3 – Avaliação Automática A última etapa da pesquisa foi averiguar o impacto das contribuições na melhora da “qualidade” do artigo. A palavra qualidade em si, é muito vaga, sendo necessário estabelecer parâmetros para verificar, e classificar tal qualidade. Estes parâmetros existem e os artigos são avaliados de duas formas distintas: Uma manual, realizada pela comunidade de editores da Wikipédia, onde o usuário, de posse do artigo, analisa a redação, estrutura, conteúdo, e demais componentes do artigo, e classifica a qualidade dos verbetes de acordo com parâmetros de verificabilidade, imparcialidade, redação correta, ligações internas, wikificação, seções definidas, layout e imagens do artigo, e se o artigo está completo. Essa qualidade é classificada numérica e progressivamente de um até seis, sendo o nível de qualidade seis o maior possível. Contudo, para avaliar os artigos nos níveis cinco e seis de qualidade, é necessário um processo próprio de avaliação. Outra automática, determinada por um algoritmo que avalia quais quesitos o artigo atende. Estes quesitos mencionados levam em conta o tamanho da página (em bytes), número de referências, ligações internas, imagens e de seções ou parágrafos, comprimento dos parágrafos e as predefinições que não podem constar no artigo. A qualidade do artigo é avaliada de modo progressivo e numérico de um até quatro, sendo o nível de qualidade quatro o maior possível para a avaliação automática. 27 O foco principal não foi fazer a avaliação do artigo todo, mas apenas verificar o quanto as contribuições feitas pelos alunos impactaram na classificação de qualidade automática do verbete, e para tanto, foi realizada a avaliação automática do artigo da última edição do verbete antes das edições dos alunos, e outra avaliação na última edição feita pelo aluno no artigo, e foi verificado se algo mudou nesta avaliação. Na Tabela 03 constam as avaliações do artigo antes e após as edições efetuadas pelos alunos: Tabela 03 – Classificação automática do verbete antes e após as edições efetuadas pelos alunos do curso de Física III da UFRGS, do primeiro semestre de 2016, na Wikipédia Classificação Classificação Motivo antes Não encontrada referência na seção Lei dos gases ideais Qualidade 3 "A equação de estado para gases Não encontrada referência na Qualidade 3 ideais". Escalas termométri- Menos de 12000 bytes (3471 bytes) Qualidade 2 Interferência Qualidade 1 Menos de 10 ligações internas Qualidade 3 Óptica Qualidade 2 Menos de 12000 bytes (6237 bytes) Qualidade 3 Entropia Qualidade 2 Lente Qualidade 2 Distribuição de Maxwell-Boltzmann Qualidade 1 Onda Qualidade 3 Pressão de radiação Qualidade 2 Pressão hidrostática Qualidade 1 Dispersão (óptica) Qualidade 1 Telescópio refrator Qualidade 2 Encontrada pré-definição: Wikificação Encontrada pré-definição: Revisãosobre Menos de 8000 bytes e não tem seção de referencias (2390 bytes) Menos de 20000 bytes (15926 bytes) Menos de 12000 bytes (2707 bytes) Menos de 8000 bytes e não tem seção de referencias (5250 bytes) Menos de 8000 bytes e não tem seção de referencias (7482 bytes) Menos de 5 referências seção "A equação de estado para gases ideais". Qualidade 2 cas Motivo depois Qualidade 2 Qualidade 2 Menos de 12000 bytes (11179 bytes) Menos de 30 ligações internas Menos de 20000 bytes (19365 bytes) Encontrada pré-definição: Wikificação Encontrada pré-definição: Revisão-sobre Menos de 8000 bytes e não Qualidade 1 tem seção de referencias (5921 bytes) Qualidade 3 Qualidade 2 Qualidade 2 Menos de 20000 bytes (18886 bytes) Menos de 12000 bytes (7 095 bytes) Menos de 12000 bytes (8492 bytes) Qualidade 1 Menos de 10 ligações internas Qualidade 2 Menos de 5 referências 28 Menos de 8000 bytes e não Alvenaria Qualidade 1 Menos de 2000 bytes (1622 bytes) Qualidade 2 tem seção de referencias (7482 bytes) Teorema de Carnot - - Qualidade 2 Menos de 12000 bytes (7237 bytes) Fonte: Autor (2017). Analisando estas avaliações é possível verificar que em cinco dos quatorze artigos houve uma classificação melhor de qualidade após as edições feitas, o que dá um total de cerca de 36% dos artigos, e se tirar da conta os artigos “Telescópio refrator” e “Alvenaria”, que tiveram suas edições revertidas, este percentual sobe para aproximadamente 42%. Além disso, teve um caso do artigo a qualidade avaliada em nível um antes das edições do aluno e teve avaliação nível três após estas edições, o que demonstra uma melhoria substancial. Em nenhum artigo, após as edições feitas, ocorreu uma classificação pior do que a classificação que o artigo já tinha. 29 5 – Conclusão O desenvolvimento deste trabalho permitiu uma análise sobre o programa “Wikipédia na Universidade”, de modo a refletir sobre as contribuições deste programa para a melhoria e aprimoramento dos verbetes da Wikipédia, além disso, possibilitou a utilização de diferentes tipos de pesquisa e avaliar como estas contribuições acarretam para a melhoria dos verbetes. De um modo geral as edições efetuadas pelos alunos acarretaram melhorias para os verbetes, tanto qualitativa quanto quantitativamente, de modo que a maior parte das contribuições feitas pelos alunos ainda estão incorporadas ao corpo dos artigos mesmo tendo se passado mais de um ano do término do curso, e, além disso, foi acrescido bastante conteúdo que ainda não havia na Wikipédia, remetendo a um aprimoramento do artigo, tanto de conteúdo novo quanto de quantidade de novas informações. A análise qualitativa possibilitou verificar especificamente toda intervenção, todo conteúdo acrescido e modificações feitas pelos alunos, e, com isso foi possível ter uma noção de como era o verbete antes da edição, do conteúdo que foi adicionado, e o que foi alterado pelo aluno, mostrando como o verbete ficou após as contribuições do estudante, sendo possível analisar a pertinência e também a qualidade do conteúdo que estava sendo inserido. A análise quantitativa permitiu verificar o quanto que o aluno contribuiu para ampliação do artigo, mostrando de forma detalhada o tamanho, em bytes, que o artigo tinha antes das contribuições do aluno, e o tamanho do artigo após as edições. A avaliação automática possibilitou verificar o impacto que as edições tiveram para a qualidade do artigo, mostrando, de forma efetiva, o quão cada contribuição do aluno propiciou para uma melhor avaliação da qualidade do verbete. Haja vista que se trata de uma nova ferramenta pedagógica, se faz necessário novas pesquisas, que além de verificar as melhorias dos verbetes, possam também mostrar o impacto para o processo de ensino e aprendizagem. Com tudo que foi visto, pode-se afirmar que o projeto Wikipédia na Universidade traz benefícios significativos para melhoria dos verbetes. 30 6 – Referências Bibliográficas ABDO, Alexandre Hannud. Para entender a internet: noções, práticas e desafios da comunicação em rede. 2009, p 57-58. Disponível em: <http://www.cecm.usp.br/>. Acesso em: 18 de outubro de 2017. ALEXA. Disponível em: < https://goo.gl/wC1aXc>. Acesso em 20 de novembro de 2017. AZEVEDO, Fábio Souto de. A Wikipédia Como Ferramenta De Ensino. XLI Congresso Brasileiro de Educação em Engenharia, Gramado-RS, 2013. BAPTISTA, Michele Marques. Internet: auxílio à educação. BIBLOS: Revista do Instituto de Ciências Humanas e da Informação, Rio Grande-RS, Brasil, v. 29, n. 2, 201. /Mai. 2004, p. 37. BORTOLAZZO, Sandro. ; MARCON, Carla. Wikipédia? Atire a primeira pedra quem nunca usou. IX Amped Sul, Seminário de pesquisa em educação da região sul, 2012. BRESCIA, Amanda Tolomelli; CIRINO, Sergio Dias; CONCEIÇÃO, Leandro Galhardo Ballestreros; SANTOS, Mariana Rubia Gonçalves dos. Wikipédia: Um Recurso De Ensino E Aprendizagem Na Universidade. Rev. Docência Ens. Sup., v. 5, n. 2, out. 2015. GARCIA, Marta Fernandes; et al. Novas competências docentes frente às tecnologias digitais interativas. Teoria e Prática da Educação, Rev. Teoria e Prática da Educação. Campinas-SP, v.14, n.1, p.79-87, jan./abr. 2011. ENSINO Discussão: Universidade Federal do Rio Grande do Sul/Física III-C. In: WIKIPÉDIA: a enciclopédia livre. Disponível em: <https://goo.gl/LYWB59> Acesso em: 20 de maio de 2017. GOMES, Mayra Rodrigues. A ferramenta wiki: uma experiência pedagógica. Revista ECA/USP, comunicação & educação, ano XII, número 2, São Paulo, mai./ago. 2007. MCDOWELL, Zachary James; STEWART, Mahala Dyer. Student Learning Outcomes using Wikipedia-based assignments Fall 2016. Relatório de pesquisa. Wiki Education Foundation. Jun. 2017. Disponível em: <https://goo.gl/s3aDwv> Acesso em: 20 de novembro de 2017. 31 PEREIRA, Raquel Lara Dos Santos. Qualidade De Artigos Na Wikipédia Para Seus Usuários: Análise e Proposta de Interação. Dissertação (Dissertação em Ciências da Computação) - UFMG. Belo Horizonte, mai. 2011. Disponível em: < https://goo.gl/GbK4EZ> Acesso em: 20 de novembro de 2017. PRETTO, Nelson; PINTO, Cláudio da Costa. Tecnologias e novas educações. Rev. Bras. Educ. Jan./abr. 2006, vol.11, n.31, pp.19-30. STREY, Marlene Neves; Kapitanski, Renata Chabar . Educação e Internet: A era da informação e a vida cotidiana. 1. ed. São Leopoldo: Sinodal, 2011. v. 1. UNIVERSIDADE Federal do Rio Grande do Sul/FísicaIII-C. In: : WIKIPÉDIA: a enciclopédia livre. Disponível em: < https://goo.gl/Njoq9t> Acesso em: 20 de maio de 2017. VIEIRA, Marli e CHRISTOFOLETTI, Rogério. Confiabilidade no uso da Wikipédia como fonte de pesquisa escolar. Revista Tecnologias na Educação, Ano 1, n. 1, nov. 2008. Disponível em: < https://goo.gl/2eFhBv>. Acesso em: 12 de maio de 2017. WIKIPÉDIA. In: WIKIPÉDIA: a enciclopédia livre. Disponível em: livre. Disponível em: livre. Disponível em: <https://goo.gl/SS7ygq> Acesso em: 20 de novembro de 2017a. WIKIPÉDIA. In: WIKIPÉDIA: a enciclopédia <https://goo.gl/9mJeGs> Acesso em: 20 de maio de 2017b. WIKIPÉDIA. In: WIKIPÉDIA: a enciclopédia <https://goo.gl/4JBhCP> Acesso em: 20 de maio de 2017c.