Baixando dados de um site

[Garabujo7]

Todos nós tivemos a necessidade de baixar os dados de um site, o principal problema que enfrentamos é que é um processo manual, temos que entrar no site, encontrar o arquivo correto e baixá-lo e depois prepará-lo no Excel.

Seria ótimo se pudéssemos automatizar o processo e até preparar os dados com um clique, não acham?

Não só seria, é excelente e podemos fazer isso facilmente usando o Alteryx.

Neste artigo irei mostrar os passos para configurá-lo e também compartilhar o fluxo finalizado para que você possa segui-lo passo a passo ou modificá-lo para usá-lo com seus dados.

Este é o processo completo, vou descrevê-lo passo a passo para torná-lo mais claro.

Localização de arquivo

Primeiro você deve localizar onde o arquivo que deseja baixar está localizado.

Para este exemplo, será um arquivo com casos confirmados de coronavírus do site github.com

https://github.com/CSSEGISandData/COVID-19/blob/master/csse_covid_19_data/csse_covid_19_time_series/...

Como você pode ver no link acima, é um arquivo separado por vírgulas e contém semanalmente as informações de casos COVID19 verificados por país.

Se quiséssemos ter esses dados para atualizar nossos relatórios, teríamos que entrar no site, encontrar o arquivo e baixá-lo manualmente, em seguida, alterar o formato ou intervalo no Excel para poder criar um novo relatório que inclui uma nova semana ; Este processo é trabalhoso e demorado e está sujeito a erros.

Para começar, baixamos o arquivo no formato CSV para usá-lo como um modelo no fluxo de trabalho que será criado posteriormente.

Com o Alteryx, podemos usar a poderosa e simples ferramenta Download para fazer isso automaticamente.

Download do arquivo

Começaremos com o arquivo que queremos baixar, para este exemplo será um arquivo com casos confirmados de coronavírus do site github.com

A sua configuração é muito simples e requer mais dois elementos para funcionar de forma otimizada e de fácil manutenção.

Primeiro, exigimos uma entrada de texto onde colocaremos o endereço da página à qual queremos nos conectar e o nome do arquivo que queremos baixar.

Um campo é adicionado para o URL e outro para o nome do arquivo.

No download.

As configurações são selecionadas como na tela.

Em URL, o campo URL da entrada de texto que colocamos é selecionado.

Na saída, um campo é selecionado, como String.

Na guia de cabeçalhos.

O nome do arquivo é selecionado e isso é tudo que você precisa configurar para fazer o download automático.

A saída do download são os cabeçalhos HTML, se funcionar deve indicar um código 200, OK:

Se der qualquer código diferente da faixa de 200 é um erro, os erros são padrão e é devido a uma variedade de condições, para consultá-los eles podem entrar aqui:

https://www.restapitutorial.com/httpstatuscodes.html

Os dados estarão no campo DownloadData, em um único registro.

Como vemos na mensagem, o campo possui novas linhas incorporadas e caracteres truncados. Para preparar isso, usaremos um bloco de Texto em Colunas.

Selecionamos o campo DownloadData que possui o conteúdo que procuramos, pois possui novas linhas usamos o delimitador \ n com o qual dividiremos o conteúdo cada vez que houver uma nova linha.

A última opção a selecionar é dividir em linhas, desta forma podemos garantir que independentemente da quantidade de registros que você possui, sem especificá-los, esta opção os dividirá, independentemente de variarem a cada vez.

Finalmente, usamos um selecionar para ocultar as colunas que não usaremos mais tarde.

Ao marcar a caixa de seleção à esquerda dos campos, vamos descartar colunas que não serão úteis no processo.

Contêiner

Como pode ser visto no fluxo, cada processo é agrupado dentro de um contêiner, que atende a várias funções.

A primeira é classificar os itens do fluxo e separá-los para facilitar a manutenção e a documentação.

A segunda é que podemos desativar os processos que estão dentro para tornar a execução mais rápida ou se for uma parte do processo que não é necessário rodar sempre.

A terceira é que podemos simplificar o fluxo ocultando os processos que você possui ao clicar na guia à direita. Nesta opção, os blocos analíticos que estão dentro do container continuarão sendo executados.

Preparação de dados

Pegado do giphy.com

A próxima etapa, uma vez que temos os dados no Alteryx, será dar a eles um formato que possamos usar para analisar, já que ele faz o download como uma página da web com tags html que não serão úteis para nós. Para isso separaremos o conteúdo em 2, de um lado, os cabeçalhos e de outro os registros que posteriormente uniremos para ter o arquivo pronto.

Conteúdo baixado com tags HTML

Prepare os cabeçalhos

A primeira etapa é adicionar um filtro para ter todos os cabeçalhos das colunas.

A condição a ser avaliada será se ele contém Province/State que é o campo para indicar que é o título de cada categoria.

Adicionamos expressões regulares para limpar os caracteres de que não precisamos.

A coluna a ser analisada é selecionada.

A expressão regular que fará a limpeza é colocada.

<\ s * [^>] *>

Sem entrar em grandes detalhes, o que ele faz é substituir tudo entre <> e entre [], com isso removemos as tags html e temos apenas os dados que estamos procurando.

Se você quiser aprender mais sobre expressões regulares e como usá-las, recomendo este curso interativo e muito simples que encontrei.

https://regexone.com/

Na Saída, o método que neste caso é substituir é selecionado para alterar esse texto e colocar um espaço.

Antes da regex:

Após a regex:

Usamos a limpeza de dados para remover os espaços em branco no início e no final do campo.

Como os campos estão em uma coluna e para nosso formato exigimos que sejam títulos de colunas, temos que fazer um pivô ou girá-los, função semelhante ao que se faz no Excel com uma tabela dinâmica.

Para fazer isso, a primeira etapa é adicionar uma ID automática.

Esse processo adiciona um campo de numeração automática incremental que nos permitirá girar o conteúdo, mesmo se novas colunas forem adicionadas automaticamente.

Este bloco não precisa de configuração.

A tabulação cruzada é a próxima etapa.

Para poder girar os dados, altere-os de colunas para linhas. Desta forma, faremos os títulos das colunas da maneira correta.

Pegado do giphy.com

Se seleciona o campo que permanecerá como cabeçalho, RecordID, que criamos na etapa anterior, é selecionado; os valores das colunas são os de DownloadData.

Quando é girado, tem a seguinte aparência:

Já temos os títulos das colunas prontos.

Agora você deve preparar o conteúdo dos registros.

Gravar conteúdo

Filtramos os campos que possuem a tag <td>.

Em seguida, aplicamos as mesmas três etapas do processo que usamos para os cabeçalhos.

Com o regex, removemos as tags html, limpamos os espaços em branco extras e adicionamos um id aos registros para uni-los novamente mais tarde.

Certifique-se de que o fluxo funcione quando novas colunas diárias forem adicionadas

Para isso, utilizaremos um resumo que obterá o último registro cada vez que for executado. Como nesta etapa as informações ainda estão em linhas, ao contar as linhas nos dará o número de colunas que o arquivo terá.

Selecionamos o RecordID e a opção Último para nos dar o registro final e desta forma não importa se os registros aumentam ou diminuem, sempre teremos o número total dinamicamente.

Para utilizar esse registro, adicionaremos um append para uni-lo com o conteúdo dos registros e poder calcular um ID para transpor os dados e que o conteúdo de cada registro seja dividido corretamente.

A única opção a ser selecionada é Permitir que todas as operações de acréscimo replicem o valor em cada um dos registros.

Com o valor do último registro.

Utilizamos uma fórmula para poder dividir o total de registros pelo número de cabeçalhos que o arquivo possui, de forma a separar o conteúdo de cada registro.

Para isso, usamos uma fórmula.

Selecionamos a coluna que queremos calcular, é uma já existente.

Digitamos a divisão dos registros pelo total de cabeçalhos com o operador teto que se comporta da mesma forma que a função de arredondamento do Excel.

O resultado desta fórmula será que cada linha terá o mesmo número de identificação para que, ao girá-las, elas se fixem no lugar correto.

Se você deseja conhecer todas as funções disponíveis na fórmula e na descrição, pode consultar o seguinte artigo:

https://help.alteryx.com/current/designer/math-functions

O próximo ponto necessário para acomodar os dados é adicionar uma fórmula de várias linhas que criará um ID para cada grupo de registros que acabamos de fazer com a fórmula.

Vamos criar um novo campo; Selecionamos um agrupamento porque o número começará a cada vez que eu atingir o número de colunas que o arquivo possui, neste caso 333. Ao final é colocada a expressão que irá criar o id, neste caso é [Linha-1: Novo campo] + 1, irá adicionar um ao campo imediatamente anterior que é zero e irá zerá-lo toda vez que eu atingir o final do valor do campo que selecionamos no agrupamento.

Agora vamos girar os dados de maneira semelhante à que fizemos com os títulos usando uma crosstab.

A única diferença neste caso será que iremos selecionar um campo para agrupar os valores, isto porque temos várias linhas que se repetem e desta forma serão colocadas corretamente no resultado.

Agrupamos por recordID para que ele distribua os dados em cada registro de acordo.

Os cabeçalhos serão o conteúdo do novo campo e os valores de cada coluna o conteúdo dos dados de download.

Dessa forma, passamos de ter os dados em linhas para colunas.

A próxima etapa é ocultar o id que não será mais útil posteriormente.

Para isso, usaremos um bloco de seleção.

Agora que preparamos os cabeçalhos e o conteúdo do arquivo, devemos unir os dois para ter as informações completas.

Para isso, usaremos um bloco de junção.

Selecionamos a opção Configurar automaticamente por posição para que empilhe o conteúdo de cada coluna de acordo com a ordem em que aparece no arquivo.

O resultado da união é o seguinte:

O conteúdo já faz sentido e está em um formato que podemos usar.

A única coisa que resta a fazer é renomear cada coluna que agora tem números consecutivos enquanto o nome aparece como o primeiro registro.

Para fazer isso, você deve trabalhar com uma mudança de nome dinâmica, que pode ser encontrada na aba do desenvolvedor.

Com este bloco é possível alterar o nome das colunas, com a opção de Tirar nome dos campos da primeira linha de dados.

O que deixará o arquivo no formato correto.

Foi assim que baixamos e preparamos o arquivo que estava no formato de página da web (HTML) com o Alteryx.

Qual é a vantagem de fazer isso com o Alteryx?

1. Pode ser automatizado
2. É criado uma vez e pode ser executado diariamente para ter as informações atualizadas dia a dia sem modificar o fluxo original

Espero que este artigo seja útil para você, se você tiver alguma dúvida sobre o processo, pode perguntar nos comentários.

Pegado do giphy.com

Download da análise COVID e preparação de dados para o artigo da comunidade PT.yxzp