modified: robots.txt statement

afunTW · Dec 19, 2017 · a9100c3 · a9100c3
1 parent 1e20f32
commit a9100c3
Showing 1 changed file with 6 additions and 0 deletions.
diff --git a/README.md b/README.md
@@ -37,6 +37,12 @@ pip3 install numpy pandas matplotlib scipy scikit-learn jieba wordcloud
 - 楊証琨 Cheng-Kun Yang：[[email protected]]([email protected])
 - 楊鎮銘 Chen-Ming Yang：[[email protected]]([email protected])
 
+## 請遵守別人定義的爬蟲規則
+
+有些網站會在目錄底下加上 robots.txt, 基本上這就是對方定義的爬蟲規則，請大家在練習爬蟲的時候要尊重對方的規則
+
+> robots.txt 詳細的語法與用途請參考 [wiki](https://zh.wikipedia.org/zh-tw/Robots.txt) 與 [google 文件](https://support.google.com/webmasters/answer/6062608?hl=zh-Hant)
+
 ## Q&A
 
 **Q: 有哪些常用的 API**