随着AI时代数据价值的凸显，百度近期采取措施保护自家百科平台数据。据报道，百度通过更新“robots.txt”文件，阻止了Google、Bing等外部网络爬虫对其百科内容的抓取。

此前，百度百科的近3000万条目内容对这两大搜索引擎开放，但现在大部分内容已被设为爬取禁区。

百度此举旨在加强在线资产的安全，反映出数据在生成式AI时代的重要性。网络爬虫模拟人类浏览行为抓取信息，而“robots.txt”文件则成为网站管理者控制内容访问权限的重要工具。

值得注意的是，数据已成为企业竞相争夺的宝贵资源。Reddit等社交平台也采取了类似措施，限制爬虫访问，以保护用户内容和数据隐私。而Google与Reddit签订的高额内容授权协议，更是凸显了数据在AI领域的巨大价值。