文章讨论了Cloudflare如何帮助网站过滤恶意流量和AI爬虫,特别是那些用于训练机器学习模型的爬虫。Cloudflare推出一项新服务,要求AI公司为抓取网站内容付费。文章还提到了作者使用robots.txt文件来阻止某些爬虫,并使用Cloudflare的工具来阻止不希望的AI爬虫访问其网站。
本文介绍了如何使用Cloudflare rolls-up CDN存储库提供的JavaScript集成crypto-js库来实现HMAC(Hash-based Message Authentication Code)消息认证码。通过简单的JavaScript代码集成,可以选择不同的哈希算法(如MD-5, SHA-1, SHA-256等)生成消息的签名。