github屏蔽百度爬虫的解决办法

google上可以搜到github博客的内容,但是百度是搜不到的。用百度的站长工具抓取也总是抓取失败。是因为github把百度爬虫给屏蔽了,而且将会长期下去。导致百度是无法收录自己的网站。     阅读全文
Youthy's avatar
Youthy 8月 04, 2015