API do IBGE
A API do IBGE possibilita baixar os dados diretamente para o script. Para baixar as malhas, ou seja, informações geoespaciais, é possivel baixar os dados em três diferentes formatos:
- ?formato=application/vnd.geo+json, para baixar os dados em GeoJson;
- ?formato=application/json, para baixar os dados em TopoJson;
- ?formato=image/svg+xml, para baixar os dados em SVG;
É possível definir a resolução que, na prática, refere-se ao nível de detalhamento do dado obtido.
- ?resolucao=0, Nenhuma divisão político-administrativa é inserida no interior da malha
- ?resolucao=1, Inclui na malha as macrorregiões. Válido apenas quando a localidade for BR.
- ?resolucao=2, Inclui na malha as Unidades da Federação. Válido apenas quando a localidade for BR ou uma macroregião
- ?resolucao=3, inclui na malha as mesorregiões. Válido apenas quando a localidade for BR, macroregião ou Unidade da Federação
- ?resolucao=4, Inclui na malha as microrregiões. Válido apenas quando a localidade for BR, macroregião, Unidade da Federação ou mesorregião
- ?resolucao=5, inclui na malha os municípios
E a qualidade.
- ?qualidade=1, pior qualidade;
- ?qualidade=2, razoável qualidade;
- ?qualidade=3, boa qualidade;
- ?qualidade=4, melhor qualidade;
Aviso: Esse post tem a finalidade de mostrar os comandos básicos e me deixar com uma “cola” rápida para meu uso cotidiano. Todas os códigos são exemplificativos e podem/devem ser alterados, indicando o nome dos arquivos e diretórios corretamente.
Nota: É possível acessar esse post em formato pdf, diretamente por meio do repositório do GitHub ou ainda, de maneira interativa, usando o 
.
Pastas: início do projeto
Inicialmente faz-se necessário criar uma pasta que receberão os dados.
# %load '~/Documents/SourceCode/codes/files/create_folders.py'
def create_folders(path, folders=['data', 'docs', 'maps']):
"""
:param folders: Name os folders that you want create; E.g.: ['folder1', 'folder2']
:return: Create directories if not exist
"""
# Import Packages
import os
for folder in folders:
directory=os.path.join(path, folder)
try:
if not os.path.exists(directory):
os.makedirs(directory)
print('Directory "', directory, '" created!', sep='')
else:
print('Directory "', directory, '" already exists...', sep='')
except OSError:
print('Error: Creating directory "', directory, '" fail.', sep='')
create_folders('')
Directory "data" already exists...
Directory "docs" already exists...
Directory "maps" already exists...
Com a estrutura de pastas criada, é possivel fazer o download dos arquivos disponiblizados pelo IBGE. Há uma infinidade de dados e ainda, há a API do SIDRA que possibilita obter mais dados.
import os
import urllib.request
import shutil
url = 'https://servicodados.ibge.gov.br/api/v2/malhas/35/?resolucao=5&formato=application/vnd.geo+json&qualidade=4'
#url = 'http://servicodados.ibge.gov.br/api/v1/localidades/estados/35/municipios/?formato=application/vnd.geo+json/?resolucao=5'
filename = os.path.join('data', 'divadmin_sp.json')
# Download the file from 'url' and save it locally under 'filename'
with urllib.request.urlopen(url) as response, open(filename, 'wb') as out_file:
shutil.copyfileobj(response, out_file)
Enfrentei problemas com o encoding do arquivo baixado. COm a função abaixo é possivel conferir que o encoding está correto (ascii) para dar continuidade.
# %load '~/Documents/SourceCode/codes/files/predict_encoding.py'
def predict_encoding(file_path, n_lines=30):
"""
ssss
:param file_path:
:param n_lines:
:return:
"""
import chardet
# Open the file as binary data
with open(file_path, 'rb') as f:
# Join binary lines for specified number of lines
rawdata = b''.join([f.readline() for line in range(n_lines)])
return chardet.detect(rawdata)['encoding']
# file_encoding = predict_encoding('./data.csv')
# print(file_encoding)
# df = pd.read_csv('./data.csv', delimiter=';', encoding=file_encoding)
file_encoding = predict_encoding(filename)
print(file_encoding)
ascii
import folium
# Cria o mapa
webmap = folium.Map(
location=[-23.9619271,-46.3427499],
zoom_start=8
)
folium.GeoJson(filename, name='Trajetos').add_to(webmap)
webmap
Uma vez com o mapa na mão, de qualquer que seja o meio que foi obtido, é possivel analisar a “tabela de atributos”. Lá descobrimos que existe o par de coordenadas que define o centroide e, ainda, o ‘codarea’ que tem o código do IBGE do município.
Missão é: Renomear o campo. Dar joins entre jsons plotar colorido!
#url = 'http://portalgeo.seade.gov.br/wp-content/uploads/2019/03/LimiteMunicipal_IGC.zip'
# Se lê certo, no notepad aparecer UTF-8 BOM WO
Exportando o Juptyter Notebook para outros formatos
O arquivo .ipynb pode ser exportado em formatos diversos. Abaixo carrego uma função que escrevi para facilitar o processo de exportação do arquivo em diferentes locais do PC para, posteriormente, atualizar os repositórios contidos no GitHub.
# %load '~/Documents/SourceCode/codes/files/export_jupyter.py'
def export_jupyter(path, extensions=['html', 'markdown', 'latex', 'pdf', 'python'], today=True):
"""
Export .ipynb file to others formats
:return: File in other formats
"""
# Import Packages
import os
import datetime
# Data
timestamp = datetime.datetime.now()
srt_today = (str(timestamp.year) + '-' +
str(f"{timestamp.month:02d}") + '-' +
str(f"{timestamp.day:02d}"))
# Extensions
for extension in extensions:
if today==True:
os.system('jupyter nbconvert --to {} {} --output {}'.
format(extension, get_jupyternotebook_name(),
os.path.join(path, srt_today+'-'+get_jupyternotebook_name().split('.')[0])))
print('Arquivo {} exportado corretamente para o formato {} usando prefixo da data.'.
format(get_jupyternotebook_name(), extension))
else:
os.system('jupyter nbconvert --to {} {} --output {}'.
format(extension, get_jupyternotebook_name(),
os.path.join(path, get_jupyternotebook_name().split('.')[0])))
print('Arquivo {} exportado corretamente para o formato {} sem usar prefixo da data.'.
format(get_jupyternotebook_name(), extension))
# %load '~/Documents/SourceCode/codes/files/get_jupyternotebook_name.py'
def get_jupyternotebook_name():
"""
Returns the name of the current notebook as a string
From https://mail.scipy.org/pipermail/ipython-dev/2014-June/014096.html
:return: Returns the name of the current notebook as a string
"""
# Import Packages
from IPython.core.display import Javascript
from IPython.display import display
display(Javascript('IPython.notebook.kernel.execute("theNotebook = " + \
"\'"+IPython.notebook.notebook_name+"\'");'))
# Result
return theNotebook
Com as funções para exportar o Jupyter Notebook e para obter o nome do arquivo .ipynb carregadas, basta exportar o arquivo, inicialmente para a pasta docs dentro do projeto e também, visando atualizar os posts do site, para a respectiva pasta.
export_jupyter('docs',['pdf'], False)
export_jupyter('/home/michel/Documents/SourceCode/michelmetran.github.io/_posts', ['markdown'], True)
<IPython.core.display.Javascript object>
<IPython.core.display.Javascript object>
<IPython.core.display.Javascript object>
Arquivo api_ibge.ipynb exportado corretamente para o formato pdf sem usar prefixo da data.
<IPython.core.display.Javascript object>
<IPython.core.display.Javascript object>
<IPython.core.display.Javascript object>
Arquivo api_ibge.ipynb exportado corretamente para o formato markdown usando prefixo da data.
Atualizando Repositórios
Após as exportações dos arquivos nos formatos necessários, basta atualizar o repositório diretamente pelo Jupyter Notebook. Abaixo é atualizado o repositório desse projeto específico, bem como a derivação desse projeto no site.
%run '~/Documents/SourceCode/codes/git/update_github.py'
git_full('/home/michel/Documents/SourceCode/api_ibge', '.', 'Atualizando')
git_full('/home/michel/Documents/SourceCode/michelmetran.github.io', '.', 'Atualizando')
b'' b''
b'[master 098a00f] Atualizando\n 2 files changed, 110 insertions(+), 470 deletions(-)\n delete mode 100644 .ipynb_checkpoints/api_ibge-checkpoint.ipynb\n' b''
b'' b'To github.com:michelmetran/api_ibge.git\n 0684fb4..098a00f master -> master\n'
Done!!
b'' b''
b"On branch master\nYour branch is up to date with 'origin/master'.\n\nnothing to commit, working tree clean\n" b''
b'' b'Everything up-to-date\n'
Done!!
Requirements
Abaixo é criado o arquivo requirements.txt na raiz do projeto para possibilitar o correto funcionamento do Jupyter Notebook no My Binder. Após a criação do arquivo, sugere-se a edição manual, visando manter apenas os packages realmente essenciais, listados com o comando import no início do script.
#pip freeze > requirements.txt
Deixe um comentário