Skip to content
This repository has been archived by the owner on Oct 28, 2021. It is now read-only.

データ収集 #4

Closed
TetraMiyazaki opened this issue Sep 4, 2021 · 5 comments
Closed

データ収集 #4

TetraMiyazaki opened this issue Sep 4, 2021 · 5 comments

Comments

@TetraMiyazaki
Copy link
Collaborator

TetraMiyazaki commented Sep 4, 2021

https://scrapbox.io/f-lab-students/2021%2F08%2F31_geek_party%E5%AE%9A%E6%9C%9FMTG
より,
3. Google か何かの検索エンジンで情報を引っ張ってくる

def collect_data() 引数:string
返り値: 配列(string)

@TetraMiyazaki
Copy link
Collaborator Author

bingっていうmicrosoftの検索エンジンのほうがスニペットが長くて良さそう

@TetraMiyazaki
Copy link
Collaborator Author

スクレイピングは各検索エンジンでどんどん厳しくなっていて,単純にスクレイピングをしてできるようにはなっていないらしい

  • Google: うまくいかない
  • Bing: できるときとできないときがある
  • Yahoo: そもそもできないらしい

@TetraMiyazaki
Copy link
Collaborator Author

色々とImportしたらできる可能性はあるが処理時間も増える.実際の運用にはAPIを使うのが丸い気がする

@TetraMiyazaki
Copy link
Collaborator Author

田中くんのをMergeして,そこから作る

@TetraMiyazaki
Copy link
Collaborator Author

Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant