技术总舵
如果我没有在装逼,那么就是在去装逼的路上!

Tagged: Apache Flume

六大主流大数据采集平台架构分析

随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台:Apache Flume、Fluentd、Logstash、Chukwa、Scribe、Splunk Forwarder。 大数据平台与数据采集 任何完整的大数据平台,一…

基于可视化配置的日志结构化转换实现

导读:数据总线DBus的总体架构中主要包括六大模块,分别是:日志抓取模块、增量转换模块、全量抽取程序、日志算子处理模块、心跳监控模块、Web管理模块。六大模块各自的功能相互连接,构成DBus的工作原理:通过读…

Flume日志收集之Logger和HDFS数据传输方式

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)…

应用统计平台架构设计:智能预测APP统计数据

前言:近期,智能大数据服务商“个推”推出了应用统计产品“个数”,今天我们就和大家来谈一谈个数实时统计与AI数据智能平台整合架构设计。 很多人可能好奇,拥有数百亿SDK的个推,专注消息推送服务多年,现在为什…

Flume工作流程及相关介绍

Flume工作流程及相关介绍 这一篇我将给大家介绍Flume相关的技术点及应用。 一、概述 Flume(日志收集框架)是分布式的,可靠的,用于从不同的来源有效收集、聚集和移动大量的日志数据用以集中式管理的系统。目前是…