在把Kafka集成到spring之前，我们首先要了解Kafka是什么？由什么东西组成？主要的使用场景是哪些？
Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。
无论是kafka集群，还是consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。
简单架构理解图
详细架构图
https://www.shusite.com/server/3313.html
网络是开放的，这样是为了访问方便，但也带来一些安全隐患，总有一些不明身份的人，不断尝试着想非法进入你的系统，比如你架一个FTP服务器,是为了网站客户方便上传文件，却发现，每天都会收到大量的FTP失败登陆的警告信息，原来网络上有很多人会不停地尝试登陆FTP服务器,其目的咱就不说了，想必很多架服务器的人都有一个想法，怎么防备这些非法请求呢？
因为开放的网络，客户分布得也是比较随机，同时也就没办法通过具体IP限制来阻拦这些非法请求，但如果客户是在一个固定的范围，比较全部来自大陆，那就好办了，我们可以通过阻拦非该区域的访问即可达到目的。
接下来就讲讲怎么在DEBIAN下利用IPTABLES+geoip来阻拦一些非法请求。
为了方便，直接通过apt-get方式安装。
apt-get install xtables-addons-common libtext-csv-xs-perl iptables-dev |
无论您需要监控主机还是连接它们的网络来识别最新的威胁，都有一些很棒的开源入侵检测(IDS)工具可供使用。
一、开放源码IDS工具列表
Snort
Suricata
Bro (Zeek)
OSSEC
Samhain Labs
OpenDLP…
https://my.oschina.net/u/3754001/blog/1811243
1.配置
安装Hadoop：需要安装HDFS模块和YARN模块，spark运行时要把jar包放到HDFS上。
安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_DIR目录，Spark程序将作为yarn的客户端用户提交任务。
export JAVA_HOME=/usr/local/jdk1.8.0_161 export HADOOP_CONF_DIR=/usr/local/src/hadoop-2.6.1/etc/hadoop
启动HDFS和YARN
…
https://blog.csdn.net/shmily_lsl/article/details/81877447
本系列文章为对《Kafka：The Definitive Guide》的学习整理，希望能够帮助到大家
应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。在我们深入这些API之前，先来看下几个比较重要的概念。
假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。我们可以创建一个消费者实例去做这件事情，但如果生产者写入消息的速度比消费者读取的速度快怎么办呢？这样随着时间增长，消息堆积越来越严重。对于这种场景，我们需要增加多个消费者来进行水平扩展。
Kafka消费者是消费组…
官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。
（注：以下截图为windows下运行结果）
Transformation：
1.map
map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），map函数执行10次，而mapPartitions函数执行3次。
2.filter（function）…
https://nosec.org/home/detail/4357.html
近期，微软公开了Windows图形设备接口（Graphics Device Interface）中的远程代码执行（RCE）漏洞。0patch平台（着重打造微软平台补丁，有时比官方还快）已针对Windows 7和Server 2008 R2平台的用户发布了修复补丁。
该补丁适用于那些未能注册微软的扩展安全更新服务（ESU）的0Patch（Windows 7或Server 2008 …
https://www.cnblogs.com/LLBFWH/p/11660530.html
视频文件是多媒体数据中比较常见的一种，也是入门门槛比较高的一个领域。视频数据相关的领域任务包括视频物体检测、视频物体追踪、视频分类、视频检索和视频摘要抽取等。
视频数据与图像数据非常类似，都是由像素点组成的数据。在视频数据在非音频部分基本上可以视为多帧（张）图像数据的拼接，即三维图像的组合。由于视频数据与图像数据的相似性，在上述列举的视频领域任务中大都可以借助图像方法来完成。
文本将讲解视频抽帧的几种方法，具体包括以下几种抽帧方式：
在进行讲解具体的抽帧方式之前，我不得不介绍下FFmpeg。FFmpeg是一套可以用来编码、解码、合成和转换音频和视频数据的开源软件，提供了非常全面的音视频处理功能。如果你的工作内容是视频相关，那么ffmpeg是必须要掌握的软件了。FFmpeg提供了常见音视频和编解码方式，能够对众多的音视频格式进行读取，基本上所有的软件都会借助FFmpeg来完成音视频的读取操作。
FFmpeg的学习资料可以参考：…
一、消息队列概述
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ
二、消息队列应用场景
以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。
2.1异步处理
场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式
a、串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。
b、并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间
假设三个业务节点每个使用50毫秒钟，不考虑网络等其他开销，则串行方式的时间是150毫秒，并行的时间可能是100毫秒。…
