防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

文章来源：互联网会员：naizuihenzhuai发布时间：2024-08-22 13:30:01

据快科技讯今日（8月22日）报道，有消息称，百度百科近期开始屏蔽Google、Bing等大部分搜索引擎。有望阻止这些搜索引擎和其他爬虫未经授权抓取百度百科内容。用于训练人工智能。

百度百科的robots.txt文件显示，目前仅允许百度搜索、搜狗搜索、中国搜索（Chinaso）、YYSpider、易搜蜘蛛等少数搜索引擎抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及所有其他搜索引擎爬虫均明确禁止爬取百度百科内容。

虽然360搜索没有单独列入禁止名单，但百度百科的政策是禁止所有非白名单爬虫，因此360搜索等搜索引擎也被屏蔽。

但百度百科的这种做法，其实只是防君子，不防小人。一定有很多爬虫通过各种方式不断地爬取内容，并用它来训练AI。

温馨提示：

本文章【防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎】由网友naizuihenzhuai提供。该文观点仅代表网友本人，热力游网系信息发布平台，仅提供信息存储空间服务，若存在侵权问题，请及时联系管理员或作者进行删除。

相关新闻

手游新品榜

热门推荐

我的世界珍妮slipperyt网站原版视频完整版