linux中利用iptables+geoip过滤指定IP[转]

https://www.cnblogs.com/alibai/p/3550255.html

1. 前提条件

iptables >= 1.4.5

kernel-devel >= 3.7

2.  …

发表在 Skill, 隐私安全 | 标签为 , | linux中利用iptables+geoip过滤指定IP[转]已关闭评论

iptables+geoip阻拦来历不明的区域访问[转]

https://www.shusite.com/server/3313.html

网络是开放的,这样是为了访问方便,但也带来一些安全隐患,总有一些不明身份的人,不断尝试着想非法进入你的系统,比如你架一个FTP服务器,是为了网站客户方便上传文件,却发现,每天都会收到大量的FTP失败登陆的警告信息,原来网络上有很多人会不停地尝试登陆FTP服务器,其目的咱就不说了,想必很多架服务器的人都有一个想法,怎么防备这些非法请求呢?

因为开放的网络,客户分布得也是比较随机,同时也就没办法通过具体IP限制来阻拦这些非法请求,但如果客户是在一个固定的范围,比较全部来自大陆,那就好办了,我们可以通过阻拦非该区域的访问即可达到目的。

接下来就讲讲怎么在DEBIAN下利用IPTABLES+geoip来阻拦一些非法请求。

为了方便,直接通过apt-get方式安装。

apt-get install xtables-addons-common libtext-csv-xs-perl iptables-dev
发表在 Skill, 隐私安全 | 标签为 , | iptables+geoip阻拦来历不明的区域访问[转]已关闭评论

开源IDS工具:比较Suricata、Snort、Bro (Zeek)和Linux[转]

无论您需要监控主机还是连接它们的网络来识别最新的威胁,都有一些很棒的开源入侵检测(IDS)工具可供使用。

一、开放源码IDS工具列表

Snort

Suricata

Bro (Zeek)

OSSEC

Samhain Labs

OpenDLP…

发表在 未分类 | 标签为 | 开源IDS工具:比较Suricata、Snort、Bro (Zeek)和Linux[转]已关闭评论

Spark on yarn模式[转]

https://my.oschina.net/u/3754001/blog/1811243

1.配置

安装Hadoop:需要安装HDFS模块和YARN模块,spark运行时要把jar包放到HDFS上。

安装Spark:不需要启动Spark集群,在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_DIR目录,Spark程序将作为yarn的客户端用户提交任务。

export JAVA_HOME=/usr/local/jdk1.8.0_161

export HADOOP_CONF_DIR=/usr/local/src/hadoop-2.6.1/etc/hadoop

启动HDFS和YARN

 …

发表在 大数据 | 标签为 , | Spark on yarn模式[转]已关闭评论

Kafka消费者:从Kafka中读取数据[转]

https://blog.csdn.net/shmily_lsl/article/details/81877447

本系列文章为对《Kafka:The Definitive Guide》的学习整理,希望能够帮助到大家

应用从Kafka中读取数据需要使用KafkaConsumer订阅主题,然后接收这些主题的消息。在我们深入这些API之前,先来看下几个比较重要的概念。

Kafka消费者相关的概念

消费者与消费组

假设这么个场景:我们从Kafka中读取消息,并且进行检查,最后产生结果数据。我们可以创建一个消费者实例去做这件事情,但如果生产者写入消息的速度比消费者读取的速度快怎么办呢?这样随着时间增长,消息堆积越来越严重。对于这种场景,我们需要增加多个消费者来进行水平扩展。

Kafka消费者是消费组

发表在 大数据 | 标签为 , | Kafka消费者:从Kafka中读取数据[转]已关闭评论

Spark32个常用算子总结[转]

https://blog.csdn.net/

官方文档上列举共有32种常见算子,包括Transformation的20种操作和Action的12种操作。

(注:以下截图为windows下运行结果)

Transformation:

1.map

map的输入变换函数应用于RDD中所有元素,而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize(1 to 10, 3),map函数执行10次,而mapPartitions函数执行3次。

2.filter(function)…

发表在 大数据 | 标签为 , | Spark32个常用算子总结[转]已关闭评论

Windows系统中的图形设备接口漏洞[转]

https://nosec.org/home/detail/4357.html

近期,微软公开了Windows图形设备接口(Graphics Device Interface)中的远程代码执行(RCE)漏洞。0patch平台(着重打造微软平台补丁,有时比官方还快)已针对Windows 7和Server 2008 R2平台的用户发布了修复补丁。

该补丁适用于那些未能注册微软的扩展安全更新服务(ESU)的0Patch(Windows 7或Server 2008 …

发表在 漏洞攻击 | Windows系统中的图形设备接口漏洞[转]已关闭评论

视频抽帧[转]

https://www.cnblogs.com/LLBFWH/p/11660530.html

视频文件是多媒体数据中比较常见的一种,也是入门门槛比较高的一个领域。视频数据相关的领域任务包括视频物体检测、视频物体追踪、视频分类、视频检索和视频摘要抽取等。

视频数据与图像数据非常类似,都是由像素点组成的数据。在视频数据在非音频部分基本上可以视为多帧(张)图像数据的拼接,即三维图像的组合。由于视频数据与图像数据的相似性,在上述列举的视频领域任务中大都可以借助图像方法来完成。

文本将讲解视频抽帧的几种方法,具体包括以下几种抽帧方式:

  • 抽取视频关键帧(IPB帧)
  • 抽取视频场景转换帧
  • 按照时间进行均匀抽帧
  • 抽取制定时间的视频帧

在进行讲解具体的抽帧方式之前,我不得不介绍下FFmpeg。FFmpeg是一套可以用来编码、解码、合成和转换音频和视频数据的开源软件,提供了非常全面的音视频处理功能。如果你的工作内容是视频相关,那么ffmpeg是必须要掌握的软件了。FFmpeg提供了常见音视频和编解码方式,能够对众多的音视频格式进行读取,基本上所有的软件都会借助FFmpeg来完成音视频的读取操作。

FFmpeg的学习资料可以参考:…

发表在 未分类 | 视频抽帧[转]已关闭评论

kafka的使用场景[转]

关于消息队列的使用

一、消息队列概述
消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ

二、消息队列应用场景
以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。

2.1异步处理
场景说明:用户注册后,需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式;2.并行方式
a、串行方式:将注册信息写入数据库成功后,发送注册邮件,再发送注册短信。以上三个任务全部完成后,返回给客户端。

b、并行方式:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信。以上三个任务完成后,返回给客户端。与串行的差别是,并行的方式可以提高处理的时间

假设三个业务节点每个使用50毫秒钟,不考虑网络等其他开销,则串行方式的时间是150毫秒,并行的时间可能是100毫秒。…

发表在 大数据 | kafka的使用场景[转]已关闭评论

Kafka Schema Registry 使用教程(JAVA)[转]

https://www.jianshu.com/p/d5ed58d7aa65

如果没有 Schema Registry服务,自定义的schema需要在数据生产端和数据消费端都保存,有了 Schema Registry服务,数据生成方设置好Schema,会自动注册到 registry服务中,这样数据消费方就不需要保存schema,直接消费就可以。

实例以kafka 0.10.2.0 版本举例,kafka和Schema …

发表在 未分类 | Kafka Schema Registry 使用教程(JAVA)[转]已关闭评论