Пошаговая настройка вывода логов из .NET-автотестов в ELK (Filebeat → Logstash → Elasticsearch → Kibana)

Всем привет, с вами Юрий Ковальчук, backend разработчик в ВебРайз. В этой статье разберем процесс вывода логов из приложения c автотестами на .NET в ELK с последующей визуализаций в Kibana. ELK представляет из себя достаточно массивный инструмент для сбора, хранения, обработки и анализа логов, организации мониторингов. С наскоку разобраться с ним вряд ли получится, поэтому подготовили небольшую инструкцию с примерами - на базе простого теста прокинуть результаты до Kibana.

https://habr.com/ru/articles/966038/

#elk #elasticsearch #logstash #kibana #filebeat #логирование #логи #net #net_core #c#

This project is a SIEM with SIRP and Threat Intel, all in one.

https://github.com/V1D1AN/S1EM

#docker #elasticsearch #kibana #logstash #filebeat #malware #suricata #misp #thehive #cortex #sigma #yara #zeek #opencti #mwdb #n8n #velociraptor #arkime #zircolite

Разбираем архитектуру. Часть 2. Чистая архитектура на примере FastAPI приложения

Идея проекта - создать относительно небольшой пример приложения, демонстрирующий распространённый функционал: логирование, мониторинг, хранение и обработку данных, интеграцию с внешними системами и работу с фоновыми задачами. Функционально проект реализует систему сбора и анализа вакансий с агрегаторов вроде HeadHunter. Но гораздо важнее не то, какие задачи решает система, а то — как именно она это делает. Этот проект — прежде всего о структуре, архитектуре и принципах. Основные используемые технологии : Python 3.13, FastAPI, Nginx, Uvicorn, PostgreSQL, Alembic, Celery, Redis, Pytest, FileBeat, LogStash, ElasticSearch, Kibana, Prometheus, Grafana, Docker, Docker Compose.

https://habr.com/ru/articles/908082/

#python3 #fastapi #clean_architecture #filebeat #logstash #elasticsearch #kibana #prometheus #grafana

[Friday evening Nick]: "It's been a while since I tried Elasticsearch, I should set it up on my homelab..."

[Saturday evening Nick]: "What have I done."

#homelab #elasticsearch #filebeat

Slow Query Logging for Elasticsearch and Elastic Cloud
https://xeraa.net/blog/2020_slow-query-logging-elasticsearch-elastic-cloud/

#elastic #cloud #elasticsearch #log #slow #query #index #kibana #ui #filebeat #module

#Malcolm v6.4.3 is a minor #release containing enhancements, component version updates and bug fixes.

• Enhancements

  • Import the NetBox Device Type Library on NetBox first run to populate manufacturers, device types, models and modules
  • idaholab/Malcolm#127 have install.py --configure ask about other storage locations for PCAP, Zeek logs and OpenSearch indices
  • idaholab/Malcolm#128 have install.py --configure prompt for Arkime to manage uploaded PCAP files or not

• Component version updates

  • #Alpine Linux to v3.17 for some Docker containers' base images
  • #Filebeat to v8.5.2
  • #NetBox to v3.3.9
  • #Zeek to v5.0.4
  • #opensearch-py to v2.0.1
  • #FluentBit to v2.0.6

• Fixes

  • Fix some bad links in the documentation and other minor documentation improvements
  • Fix idaholab/Malcolm#126, suricata logs show up in Arkime as "notip" for the protocol
  • Fix idaholab/Malcolm#129, filtering by rootId in Arkime returns no results
  • Fix Docker health checks for NetBox and supporting containers
  • Fix "read-only" version of nginx.conf
  • Tweaks to install.py memory recommendations

#Malcolm and #HedgehogLinux may be obtained by pulling or building the #Docker images and/or building the ISO installer images as described in the documentation. Unofficial ISO installer images for Malcolm and Hedgehog Linux are not hosted on #GitHub, but may be downloaded from https://malcolm.fyi/.

#cybersecurity #pcap #networktrafficanalysis #zeek #arkime #ICS #INL #CISAgov