单独从Nginx日志文件access.log中提取出关于百度爬虫的日志记录并将其存到另一个单独的文件中。可以简单的通过Linux中的管道命令实现,如下所示:
cat access.log | grep Baiduspider > bs.log
这样就可以将百度相关的访问记录都存到bs.log文件中。可以通过查看bs.log就可以知道百度访问了我们的哪些页面了。
cat bs.log
如果Nginx是通过Docker容器部署的,那道理也是一样,可以通过以下命令实现。
docker logs nginx_container grep Baiduspider > bs.log
这样就可以了。
本文介绍了如何从Nginx日志access.log中筛选出百度爬虫的访问记录,通过Linux管道命令`grep Baiduspider`将这些记录存入新的bs.log文件,便于分析百度爬虫的活动。对于Docker部署的Nginx,可以使用`docker logs nginx_container grep Baiduspider > bs.log`达到相同目的。


被折叠的 条评论
为什么被折叠?



