fluentd收集k8s集群日志写到到文件完整-Go服务器开发

要将Kubernetes集群的日志收集到文件中，可以使用Fluentd和Fluent Bit。以下是一个完整的步骤：

在Kubernetes集群上安装Fluentd或Fluent Bit。
创建一个ConfigMap来定义日志收集器配置。例如：

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
  namespace: kube-system
data:
  fluent.conf: |
    <source>
      @type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd-containers.log.pos
      tag kubernetes.*
      format json
      read_from_head true
    </source>

    <match **>
       @type file
       path /var/log/kube-logs/${tag}/%Y/%m/%d/kubernetes.${tag}.log
       flush_interval 5s
       create_symlink true  
    </match>

这个配置指定了从/var/log/containers/*.log路径下读取容器日志，并将其标记为kubernetes.*。然后将所有标签匹配到的日志写入到/var/log/kube-logs/${tag}/%Y/%m/%d/kubernetes.${tag}.log路径下，并设置了一个刷新间隔和创建符号链接选项。

部署一个DaemonSet来运行Fluentd或Fluent Bit实例。例如：

apiVersion: apps/v1beta2 
kind: DaemonSet 
metadata:
  name: fluent-bit 
  namespace: kube-system 
spec:
  selector:
    matchLabels:
      app: fluent-bit 
  template:
    metadata:
      labels:
        app: fluent-bit 
    spec:
      containers:
      - name: fluent-bit 
        image: fluent/fluent-bit:latest 
        env:
          - name: FLUENT_UID 
            value: "0" 
        volumeMounts:
        - name: config-volume
          mountPath: /fluent-bit/etc/
      volumes:
      - name: config-volume
        configMap:
          name: fluentd-config
  updateStrategy:
    type: RollingUpdate

这个DaemonSet使用Fluent Bit镜像来运行，并指定了一个ConfigMap挂载到/fluent-bit/etc/路径下。

在Kubernetes中启用聚合层。例如：

apiVersion: v1
kind: ServiceAccount
metadata:
  name: fluentd-aggregator
  namespace: kube-system

---

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: fluentd-aggregator-rolebinding
subjects:
- kind: ServiceAccount
  name: fluentd-aggregator
  namespace :kube-system 
roleRef:
  kind : ClusterRole     
  name : view            
  apiGroup : rbac.authorization.k8s.io 

---

apiVersion : extensions/v1beta1   
kind : Deployment               
metadata :
   namespace : kube-system    
   labels :
     k8s-app : aggregator-fluentd  
   name : aggregator-fluentd      
spec :
   replicas : 2                 
   template :
     metadata :
       labels :
         k8s-app : aggregator-fluentd  
     spec :
       serviceAccountName : fluentd-aggregator  
       containers :
       - image : kiwigrid/fluentd-kubernetes-daemonset:v0.12.43-kafka-0.10.2
         name : fluentd-aggregator

这个配置将创建一个聚合器，它会收集所有节点的日志，并将其发送到Fluentd实例。