ESTUDO DE CASO
Quem já ouviu a frase: “Mais vale tirar a bala da arma do que atirar em alguém de colete!” vai entender muito bem o artigo de hoje haha’
Em um dos clientes que atendo precisamos criar uma ingest pipeline para remover alguns campos “desnecessários” que vinham nos logs, pois o ambiente possuia uma média de ingestão de trilhões de logs em um curto período de tempo e armazenar esses campos não fazia sentido, além de gerar custo desnecessário.
Nesse cliente usamos Ingest Pipeline pois era uma premissa utilizar Elastic Agent gerenciado pelo Fleet Server, até mesmo pela quantidade considerável de agents. Os logs tinha origem em um ambiente K8S, desta forma usamos uma policy com integrations de kubernetes (v1.20) que ainda não possuia suporte a processors, então a unica saída foi remover os campos via Ingest Pipeline, vulgo: “Atirar em alguém de colete.”
Porém em uma outra PoC que fiz usando a versão 1.29.2 notei algo novo, a opção “Processors” e ao testá-la descobri que a mesma atendia perfeitamente a necessidade!
Com essa integration definida na minha policy eu adicionei o seguinte processor para dropar o campo message de qualquer evento que tivesse o campo “kubernetes.container.name”:
E isso funcionou maravilhosamente lindo! Desta forma o drop do campo passou a ser feito direto pelo Elastic Agent, vulgo: “Tirar a bala da arma”.
Benefícios rápidos:
- Eliminei uma volumetria considerável de saída dos clusters de k8s;
- Redução de processamento no Elasticsearch, pois não mais era necessário passar pela Ingest Pipeline;
Legal né? Espero que seja útil para você como é útil para mim!!
Essa era a dica que tinha para hoje, te vejo em breve!
REFERÊNCIA
Link da documentação oficial: https://www.elastic.co/guide/en/beats/filebeat/current/defining-processors.html
