Arquivo para Tag: Obter dados

A utilização API vem crescendo muito, a medida que os desenvolvedores, permitem cada vez mais, interações diretas em seus programas e aplicativos. Ao longo deste artigo vocês aprenderão a trabalhar com os conectores de API no Power BI.

Como vocês bem sabem o Power BI é um programa voltado para a extração, tratamento e apresentação de dados. Conectar a uma fonte de dados via API no Power BI pode ser uma ótima alternativa para poupar trabalho e garantir dados diretamente da origem.

Por exemplo, quer extrair todo seu planejamento de atividades diretamente a um aplicativo que usa frequentemente? Conecte-se a sua API no Power BI, trabalhe no processo de ETL e pronto. Conseguirá extrair as informações, trata-las e apresenta-las de forma visual, fluída, com diversas opções de visualizações, inclusive no celular.

Mas antes de entrar no exemplo prático que separamos para este artigo sobre como trabalhar com API no Power BI, vamos entender o que é API.

 

O que é API

o que é API

API é um conjunto de rotinas e padrões de programação para acesso a um aplicativo de software ou plataforma baseado na Web. A sigla API refere-se ao termo em inglês “Application Programming Interface” que significa, em tradução livre para o português, “Interface de Programação de Aplicativos”.

Uma API é desenvolvida quando um criador tem a intenção de que outros criadores de software desenvolvam produtos associados ao seu serviço. Existem vários deles que disponibilizam seus códigos e instruções para serem usados em outros sites. O Google Maps é um dos grandes exemplos na aplicação de APIs. Por meio de seu código original, muitos outros sites e aplicações utilizam os dados do Google Maps adaptando-o da melhor forma no uso desse serviço.

É o que acontece com os softwares e aplicações que disponibilizam uma porta, por meio de APIs, para acessarmos os dados que eles produzem. Assim é possível acessar dados e fazer interações com o Facebook, Instagram, Linkedin, Google Analytics, Youtube, Trello, Asana, etc. Além desses inúmeros outros programas conectando-se às API de gráfico e dados deles.

Conectar API no Power BI é possível com todas as plataformas citadas acima. Com o conteúdo neste artigo você conseguirá utilizar os conectores predefinidos do Power BI sem grandes dificuldades. Agora que entendeu o que é API vamos para nosso exemplo.

 

Conectando uma API no Power BI

 

Para melhor explicar o funcionamento de uma API no Power BI vamos utilizar a analogia de uma academia. No caso, uma academia chamada MAILCHIMP. O Mailchimp, para quem não conhece, é o site de e-mail marketing muito utilizado por ser gratuito até certa quantidade de inscritos. A recepção da academia é o API (a porta de entrada a todas as possibilidades que o MAILCHIMP pode oferecer).

Por esta porta de entrada (API) eles podem dar acesso a ler informações, inserir, modificar e deletar. Através da recepção da academia você pode ter acesso a várias partes dela. Podemos citar: vestiários, lanchonete, salas de pilates, salas de lutas e mais. Estes locais dentro da estrutura (na conexão via API) são chamados de “endpoints”. Mas para passar para cada um destes “endpoints” é necessário passar também pela catraca, neste caso no API estamos falando do “Token de Autorização”, que garante entrar dentro da API e explorar tudo que o mesmo lhe der permissão de explorar.

Agora falando de forma mais técnica a recepção da academia pode ser acessada no seguinte endereço: https://us19.api.mailchimp.com/3.0, mas o endereço exato da sala de pilates seria:  https://us19.api.mailchimp.com/3.0/sala-pilates. Para ir diretamente à sala de pilates utilizando esta API no Power BI ou o Power Query do Excel, podemos criar uma consulta, utilizando a URL acima. Nesta URL, provavelmente será necessário adicionar um token de autorização. No caso de sala-pilates é um endpoind apenas para ilustrar o exemplo, não existe, mas podemos dar outro exemplo mais real: https://us19.api.mailchimp.com/3.0/lists.

Mas como ter autorização?

Você deve estar se perguntando agora, como eu consigo este Token de Autorização? Isto vai depender, na verdade, do serviço de API disponibilizado. Simplesmente você pode usar algo chamado “API Key” ou em outros casos o método “OAuth”. Para este exemplo utilizaremos OAuth, que consiste em ser autenticado, através de um formulário, durante o processo de conexão. A conexão será feita pelo conector direto com o mailchimp que já vem na lista de conectores pré-instalados do Power BI.

O processo normal para acessar dados a partir de uma API no Power BI, consiste em:

  • Chegar na recepção e pedir sua autorização de entrada. API com token de autorização de acesso.
  • Ir até o “endpoint” desejado (Sala de pilates, de lutas, etc.);
  • Solicitar o que deseja (ler dados, inserir dados). Se está na lanchonete seria o equivalente a pedir um shake. Para ler dados você lança uma solicitação GET, para inserir uma solicitação POST.

Conseguimos conectar pela API do mailchimp no Power BI apenas via conector próprio dentro de Obter Dados do Power Query (Editor de Consultas). De certa forma isto é uma limitação, pois poderia ser disponibilizado uma conexão pelo endereço da Web colocando um token na URL e todo o caminho dos endpoints. Em algumas APIs isto é possível de ser fazer, por exemplo as do Facebook e Instagram.

 

Usando um conector de API no Power BI Desktop

Faremos neste artigo a demonstração de como se conectar a API no Power BI por conectores disponíveis em Obter Dados, em artigos futuros demonstraremos também como se conectar diretamente, sem utilizar os conectores.

Utilizaremos então, como exemplo, a conexão com o MAILCHIMP. Caso queira acompanhar e fazer os mesmos passos abaixo você precisará:

  • Conta no MailChimp, de preferência que tenha lista de e-mails e campanhas de e-mail marketing;
  • Última versão do Power BI Desktop.

Vá até Obter Dados, na caixa de diálogo que se abre, clique em Serviços Online, em seguida Mailchimp (Beta) e finalmente Conectar. Vai aparecer nesse momento uma janela onde você entrará com o login e senha da sua conta do Mailchimp. Esta é a autenticação OAuth 2.0 acontecendo bem neste momento.

Obter Dados Mailchimp API no Power BI

Na caixa com a lista de conectores dos serviços online, você verá todas as opções disponíveis de conexões diretas e nativas do Power BI. Há diversos tutoriais para cada um deles na internet, mas caso não encontre nos fale que tentamos te ajudar.

Na próxima janela, Navegador, é onde terá todas as opções disponíveis deste conector.

Navegador API Mailchimp Pasta

Veja que aparece 2 pastas e 2 funções na janela. Estas opções podem mudar no caso de conectores para outras aplicações.

Pastas
  • Campaigns: Esta pasta contém consultas pré-definidas que lhe trará dados relativos às suas campanhas de e-mail marketing. São funções GET prontas para serem trabalhas apenas escolhendo qual irá utilizar nesta pasta.
  • Lists: Esta pasta contém consultas pré-definidas que lhe trará dados relativos às suas listas de e-mail. Também são funções GET prontas para serem trabalhas.
Funções
  • Mailchimp.collection: Esta é uma função simples (não é um conjunto de funções ou pacote de consultas), que tem um fluxo que cria sua própria função GET ou POST ou qualquer outra solicitação que deseja que seja feita. A única entrada necessária é o nome da coleção de dados, por exemplo. Lists ou Reports.
  • Mailchimp.Instance: É parecida com a função anterior, mas com esta pode apontar diretamente a um elemento específico da API no Power BI, como o “endpoint”: email activity.

Utilizando as opções das Pastas

Continuando nosso exercício, selecione a opção Campaign Summary da pasta Campaigns.

Resultado Consulta da API Mailchimp no Power BI

Clique em seguida em Editar.

Esta consulta trará todas as campanhas feitas na sua conta em todas as listas de e-mails criadas até então. Se quiser focar nas campanhas de uma lista específica é só filtrar na tabela pelo ID da lista. No processo de tratamento dentro do Editor de Consultas é possível fazer isso. Além disso, você consegue também fazer uma série de tratativas e transformar esta consulta em uma rica fonte de informações sobre suas campanhas.

Começa com as informações gerais de cada uma das campanhas e daí dá para expandir mais linhas por uma série de outras colunas. Podemos expandir aberturas de e-mails, cliques, encaminhamentos, status e mais. Você pode fazer do jeito que melhor lhe convier. Perceba que há várias possibilidades nesse processo de extração das informações via API no Power BI.

Como estamos tratando um exemplo simples, veja abaixo que filtramos apenas 3 colunas, data do envio da campanha e id e id da lista.

Utilizando função get API do Power Query

Esta tabela pode ser usada como uma tabela de dimensões num modelo de dados e com isto se relacionar com outras tabelas para outras buscas nesta API do Mailchimp.

Utilizando uma função na API do Mailchimp

Vamos agora complementar a tabela utilizando a função Mailchimp.Instance. É uma forma de fazer nossa própria função GET nas atividades de e-mails (email activities).

Vá em Adicionar Coluna e em seguida Coluna Personalizada. Dê o nome para a coluna e digite a fórmula que está na figura abaixo.

A partir deste ponto você poderá ir expandindo as colunas, registros e listas até chegar no resultado desejado.

O intuito do artigo é lhe dar uma introdução no trabalho com os conectores de API no Power BI. Não era propósito desenvolver um relatório completo. Através da sua curiosidade, pesquisa e necessidade você conseguirá desenvolver o relatório conforme precisar.

Através dos conectores de API no Power BI é possível se plugar a uma série de informações de vários sites e aplicativos, mas como dito mais acima é possível também fazer isso por APIs externas também.

Cada aplicativo, software e site tem sua forma de fazer isso e em todos você encontrará tutorias de como fazer. Procure na documentação destas aplicações para maiores detalhes. Explore este mundo de possibilidades.

Compartilhe este conteúdo nas suas redes sociais (utilize os botões abaixo) e ajude seus colegas a compreender melhor sobre o assunto. Ajude-nos também a espalhar bons conteúdos sobre o Power BI.

Tem dúvidas? Nos pergunte! Utilize a sessão de comentários deste artigo logo abaixo.

Até a próxima!

Neste artigo você encontrará, as melhores práticas que nós da uaiSmart consideramos para as atividades de importação de dados no Power BI.  Lembrando que essas recomendações servem também para o Power Pivot do Excel.

Nos seus modelos de dados no Power BI, considere sempre utilizar os nomes de forma intuitiva, padrão e quais colunas incluir. Isto lhe trará melhoras na interface e na performance deles.

Nem todas as práticas descritas poderão ser aplicadas a todos os modelos de dados. Será necessário então adaptar nossas sugestões conforme sua realidade. O mais importante é que você consiga passar sua mensagem em seus arquivos, então considere as vantagens e desvantagens de cada escolha.

 

Utilize nomes que façam sentido na importação de dados no Power BI

Tanto os nomes para as tabelas quanto para as colunas devem ser amigáveis, intuitivos e ter significado para quem utiliza o modelo.

Deve-se remover qualquer prefixo ou sufixo que existam nas tabelas ou colunas que dão origem aos dados importados. É comum ver prefixos como “tb”, “tbl”, “vw”. Não há necessidade destes na hora da importação de dados no Power BI. Assim é melhor ter uma tabela de nome “Clientes” do que “tb_Clientes”. Este nome pode ser necessário no banco de dados SQL, Oracle ou qualquer outro, para identificação e padronização, mas para o Power BI não. Quanto mais intuitivo e simples o nome melhor para identificar e trabalhar com ele.

Evite também abreviações, prefixos e sufixos nos nomes das colunas. Mas para casos de abreviações bastante conhecidas tudo bem, pois estas não causarão confusões. Exemplo, utilize “Total de Vendas” ao invés de “Ttl Vendas”, ou “# Vendas” ou “TotalVendas”. Você pode usar espaço, caracteres especiais ou letras com acentuação sem nenhum problema dentro da importação de dados no Power BI. A ideia é simplificar a vida de quem utiliza os modelos.

Nome da coluna na importação de dados no Power BI

 

Evite nomes repetidos ou parecidos nas colunas e medidas

Sempre carregue as colunas numéricas no modelo de dados utilizando nomes que não se confundam com as medidas. Caso não vá utilizar a coluna pura, oculte para que não apareça na Visualização de Relatório. Assim poderá criar à medida que utiliza aquela coluna com o nome que melhor descrever e não irá ficar repetindo, pois uma se manterá oculta.

Pense no nome da medida já de forma antecipada. Se quer apresentar o nome “Total de Vendas” como a soma de todas as vendas, então não use o nome como um nome de coluna. Se usar o nome de uma coluna como medida após a importação de dados no Power BI, este vai negar, pois não se pode ter o mesmo nome de coluna em medida.

Usar nomes tais como “Soma do Total de Vendas” para medidas não é uma boa solução. Nomes assim não soam bem.  Por exemplo, você pode importar o “Total de Vendas” como “Valor das Vendas” ou “ValorVendas” (sem espaços mesmo, já que vai ficar escondida). Assim crie a medida “Total de Vendas” a partir desta coluna e esta ficará à disposição do usuário.

 

Remova colunas desnecessárias na importação de dados no Power BI

Não mostre na visualização de relatórios uma coluna que não seja necessária para o modelo de dados do Power BI.

Mesmo que não saiba antecipadamente qual coluna será ou não útil para seu modelo. Durante a confecção do relatório você acabará descobrindo todas, mas mesmo assim tente mostrar somente aquelas necessárias. Após apurar que uma coluna não precisa ser mostrada, volte e oculte a mesma.

Com a redução de colunas expostas na visualização do relatório, reduz também a quantidade de memória utilizada pelo Power BI. Esta prática evita também expor colunas de informações sensíveis que são utilizadas somente por razões técnicas, tais como colunas de chaves numéricas, nomes de usuários, quem fez a última modificação, etc.

Menor número de colunas no processo de importação de dados no Power BI significa menor número de dependências entre tabelas físicas e relatórios. Evita assim também grandes necessidades de manutenções futuras em caso de mudança de base, por exemplo.

Colunas ocultas na importação de dados no Power BI

As colunas em cinza na imagem acima estão ocultas na Visualização do Relatório.

 

Divida as colunas de data e hora

No caso de uma coluna que tenha tanto a data quanto a hora juntas é melhor dividir em duas. Uma para Data e outra para Hora.

Uma coluna contendo data e hora contém dados mais complexos que exige mais do Power BI. Dividindo em duas colunas conseguirá economizar memória, vai melhorar a performance e deixar o modelo de dados mais fácil de usar.

Sabe trabalhar com mapas no Power BI? Não? Temos um e-book que desvenda todos os segredos dos mapas no Power BI. Clique na figura abaixo e baixe gratuitamente.

Banner aprenda a trabalhar com mapas no Power BI

 

Aplique a opção “Marcar como tabela de data” em tabelas com datas

As funções de inteligência de tempo têm melhor desempenho quando a tabela “Calendário” tem esta categorização. Em alguns casos de relacionamento isto se faz até mandatório para que o mesmo funcione. É o caso de coluna chave substituta.

Mas mesmo nos casos não obrigatórios é uma boa prática fazer a marcação. Assim a interface de usuário e outras funcionalidades do Power BI serão melhoradas e dará ao usuário uma melhor experiência na utilização do modelo.

 

Conclusão

Boas práticas de importação de dados no Power BI estão sempre surgindo, neste artigo disponibilizamos algumas. Caso você conheça outras deixe seu comentário abaixo que pesquisaremos e agregaremos no conteúdo. Caso também descubramos mais atualizaremos aqui.

Estas práticas se aplicam também se você é administrador de banco de dados SQL e irá disponibilizar a usuários de Power BI uma “View” do banco. Aplique estas práticas e o melhor é por “View” mesmo.

Este processo faz parte da parte de ETL, quer saber mais sobre este assunto leia o artigo: O que é ETL e sua importância para o Business Intelligence.

Compartilhe este conteúdo nas suas redes sociais (utilize os botões abaixo) e ajude seus colegas a compreender melhor sobre o assunto. Ajude-nos também a espalhar bons conteúdos sobre o Power BI.

Tem dúvidas? Nos pergunte! Utilize a sessão de comentários deste artigo logo abaixo.

Até a próxima!

Economize tempo aprendendo a importar arquivos de uma pasta no Power BI de uma única vez. O Power BI aceita arquivos CSV (neste exemplo tratamos este tipo), XLS e XLSX (que são do excel), TXT entre outros. Transforme uma atividade lenta e maçante em algo feito de uma vez só, sem repetições. Neste artigo você aprenderá a fazer isso de forma fácil e objetiva.

Importar arquivos de uma pasta no Power BI Desktop-0

Em programas de BI tradicionais, para gerenciar vários arquivos sequenciais é necessário copiar e colar os dados em um único arquivo. Depois disso, transformar e modelar todos os dados só pra conseguir criar um simples gráfico de coluna. Esse processo é lento e maçante.

No Power BI é possível importar um grupo de arquivos de uma pasta de forma muito simples, economizando tempo na importação dos seus dados, assim sobra mais tempo para analisar e focar no trabalho que vai gerar mais valor para você e sua empresa.

Vamos utilizar um exemplo prático para solucionarmos esse problema.

O primeiro passo para importar arquivos de uma pasta no Power BI é ter uma pasta com os arquivos. No caso serão arquivos CSV a serem importados. Se você não possui nenhum, clique aqui e baixe a pasta zipada de exemplo. Após fazer o download, extraia a pasta na sua Área de Trabalho.

Com o Power BI Desktop aberto, clicamos em Obter Dados e selecionamos a opção Pasta na lista de opções Tudo.

Importar arquivos de uma pasta no Power BI Desktop-1

 

Ao clicar em Conectar no canto inferior da tela, uma janela aparecerá e nela selecionaremos o caminho da pasta.

Importar arquivos de uma pasta no Power BI Desktop-2

 

Após informar o caminho em que a pasta se encontra, basta clicar Ok.

A próxima janela mostra quais arquivos o Power BI conseguiu enxergar dentro da pasta selecionada. Nessa etapa, a maneira mais direta de importar a pasta é clicando em Combinar e depois em Combinar e Carregar.

Importar arquivos de uma pasta no Power BI Desktop-3

Na janela Combinar Ficheiros basta selecionar a Tabela padrão (no caso abaixo “Tabela1”) e clicar em Ok, conforme imagem abaixo.

Importar arquivos de uma pasta no Power BI Desktop-4

 

Pronto! Viu como é simples importar arquivos de uma pasta no Power BI? Seus arquivos foram unificados em uma tabela só e estão prontos para serem transformados em insights!

Observe que foi criada uma coluna “Source.Name” para indicar à qual arquivo aquela informação pertence. Se não houver a necessidade de identificar o nome do arquivo, basta excluir essa coluna.

“Mas e se eu precisar incluir mais arquivos na pasta? Vou ter que fazer tudo de novo?”

Claro que não! Estamos falando de Power BI!

Caso você insira novos arquivos na pasta, basta clicar no botão “Atualizar” no Power BI que a própria ferramenta vai fazer o trabalho duro de consultar a pasta e incluir as novas informações na tabela principal. Muito mais prático, não é mesmo?

Agora que a tabela está importada, podemos criar relatórios e visualizações!

Está em dúvidas se o Power BI é bom mesmo? Leia este artigo e veja que ele é o futuro, tem uma infinidade de outras funcionalidades que falamos em vários posts.

Gostou da dica? Agora ficou fácil importar arquivos de uma pasta no Power BI!

Quer mais facilidade ainda? Veja este passo a passo em vídeo! Clique no link e assista o vídeo Como importar todos os arquivos de uma pasta no Power BI.

 

 

Guia SMART para Iniciantes em Power BI

Aproveite a oportunidade de aprender um pouco mais de Power BI clicando aqui!

 

Se tiver qualquer dúvida, comente nesse post para enriquecermos nossa base de conhecimento! E não se esqueça de compartilhar com seus colegas!

Até a próxima!