-
Notifications
You must be signed in to change notification settings - Fork 128
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Adiciona crawler para o Ceará #29
base: master
Are you sure you want to change the base?
Adiciona crawler para o Ceará #29
Conversation
README.md
Outdated
@@ -54,6 +54,9 @@ por lá. | |||
Necessita de Python 3 (testado em 3.8.2). Para montar seu ambiente: | |||
|
|||
- Instale o Python 3.8.2 | |||
- Instale o Docker | |||
- Baixe a imagem do splash: docker pull scrapinghub/splash | |||
- Inicie o container com o splash: docker run -p 5023:5023 -p 8050:8050 -p 8051:8051 scrapinghub/splash |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Você poderia colocar isso num docker-compose?
@turicas Refatorei o spider. Agora os dados estão todos em JSON e não precisa mais do splash como dependência. |
@csmaniottojr tu consegue fazer rebase com a master, e dar squash nesse commit 37acc35 ? só pra deixar o histórico mais linear 😉 |
pelo que entendi, só precisa deste commit 3a35fec |
3a35fec
to
5a13646
Compare
feito @endersonmaia |
Pessoal, atualização sobre os crawlers e a forma como estamos preenchendo os dados: vamos mudar a forma de subida dos dados pra facilitar o trabalho dos voluntários e deixar o processo mais robusto e confiável e, com isso, será mais fácil que robôs possam subir também os dados; dessa forma, os scrapers ajudarão bastante no processo. Com isso, criei algumas regras gerais e em breve farei algumas atualizações sobre:
Nesse momento não temos muito tempo disponível para revisão, então por favor, só crie um pull request sugerindo com código de um novo scraper caso você possa cumprir os requisitos acima. |
@turicas atualizei o PR seguindo as novas diretrizes |
@csmaniottojr eu criei na |
@turicas beleza, vou dar uma olhada pra fazer um merge entre os dois spiders |
f95c329
to
fed1976
Compare
@turicas corrigi o PR. o script está coletando corretamente casos confirmados e óbitos de cidades. |
Obrigado! Revisarei assim que terminarmos a nova forma de coletar os dados dos voluntários (que também possibilitará coletar de robôs). |
No description provided.