Elasticsearch отказоустойчивость и целостность данных

Logstash

Logstash по умолчанию хранит очередь сообщений в памяти, поэтому в случае программного или аппаратного сбоя данные будут потеряны.

Для повышения надёжности можно включить запись очереди сообщений на диск queue.type: persisted, тогда в случае сбоя с последующим перезапуском приложения данные будут переданы.

Ограничениями использования этого подхода является отсутствие возможности репликации этих самых данных: умрёт файловая система или диск – данных не будет, и невозможность применения при использовании плагинов, которые работают с протоколами без подтверждения получения данных: udp, zeromq push+pull и другие.

Filebeat