本文探讨了在云原生背景下，如何应对海量日志管理的挑战，包括容器内的日志持久化、高效传输和微服务日志管理。重点介绍了轻量级日志采集工具fluentd及其与Docker的结合使用，以及基于k8s的日志采集器架构设计，以应对高负载下的日志处理需求。
随着云原生技术的快速发展，微服务架构、容器及 Kubernetes 等技术的不断迭代，对于海量日志的管理提出了更高的要求，包括容器内磁盘是否持久化、HPA 时如何保证数据不丢失、海量日志如何进行可靠的传输、微服务数量达到一定规模时日志该如何管理、如何了解不同云商的收费策略以最大化节省成本，等等。
【云资源优化服务 SpotMax 充分利用云原生特性，基于微服务架构，可在保障用户服务稳定的同时充分利用Spot实例，实现云端降本增效。戳链接了解SpotMax】
“云原生日志流实战”将会通过实操+讲解，探讨云计算背景下收集海量日志的架构及实现细节。
下文中将为大家展示的这套架构，目前已经经过实践检验，稳定支撑了线上每日百亿至千亿级别的日志的收集。沿着这一架构，我们将一步步带领大家动手完成一个部署在 k8s 集群的日志采集器。
fluentd 与 Docker
市面上常用的开源日志采集工具一般有logstash、FLUME、 fluentd。其中 FLUME、 fluentd 的设计理念比较相像。fluentd 是基于C + Ruby的一套开源工具，FLUME是分布式的、可靠、可用的 Apache 项目，但是相对 fluentd来说，配置较为复杂。本次课程我们主要使用的是较为轻量级的开源工具 fluentd。
fluentd 配置简单，对日志的预处理也非常方便。我们来看一下fluentd官网的document（docs.fluentd.org)：
首先来看 input
扫一扫
965
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
