安装Byteman
官方下载
配置BYTEMAN_HOME
验证,
./bminstall.sh |
分类目录归档：经验技术
Byteman使用教程[转]
http://tg.51xinjia.com/2018/07/06/Byteman%E4%BD%BF%E7%94%A8%E6%95%99%E7%A8%8B/
Byteman由JBoss出品。Byteman的代码插入能力相比BTrace而言更强，似乎可以在代码中任意的位置插入我们的跟踪代码（当然，你可能需要对Java代码生成、字节码技术有一定的了解），以及访问当前方法中变量的能力（包括方法参数、局部变量、甚至于调用其它函数的参数值、返回值等），而BTrace在这方面的能力要弱很多。
Linux下利用geoip禁止国外访问
以下以debain系操作系统为例：
首先是安装必要的库：
apt install xtables-addons-common libtext-csv-xs-perl iptables-dev unzip
然后创建一个路径用于存放geoip的IP区域数据
mkdir …
Spring Boot + Kafka的使用[转]
一、快速了解Kafka
在把Kafka集成到spring之前，我们首先要了解Kafka是什么？由什么东西组成？主要的使用场景是哪些？
Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。
无论是kafka集群，还是consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。
简单架构理解图
详细架构图
- 1）Producer ：消息生产者，就是向kafka
iptables+geoip阻拦来历不明的区域访问[转]
https://www.shusite.com/server/3313.html
网络是开放的，这样是为了访问方便，但也带来一些安全隐患，总有一些不明身份的人，不断尝试着想非法进入你的系统，比如你架一个FTP服务器,是为了网站客户方便上传文件，却发现，每天都会收到大量的FTP失败登陆的警告信息，原来网络上有很多人会不停地尝试登陆FTP服务器,其目的咱就不说了，想必很多架服务器的人都有一个想法，怎么防备这些非法请求呢？
因为开放的网络，客户分布得也是比较随机，同时也就没办法通过具体IP限制来阻拦这些非法请求，但如果客户是在一个固定的范围，比较全部来自大陆，那就好办了，我们可以通过阻拦非该区域的访问即可达到目的。
接下来就讲讲怎么在DEBIAN下利用IPTABLES+geoip来阻拦一些非法请求。
为了方便，直接通过apt-get方式安装。
apt-get install xtables-addons-common libtext-csv-xs-perl iptables-dev unzip |
Spark on yarn模式[转]
https://my.oschina.net/u/3754001/blog/1811243
1.配置
安装Hadoop：需要安装HDFS模块和YARN模块，spark运行时要把jar包放到HDFS上。
安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_DIR目录，Spark程序将作为yarn的客户端用户提交任务。
export JAVA_HOME=/usr/local/jdk1.8.0_161 export HADOOP_CONF_DIR=/usr/local/src/hadoop-2.6.1/etc/hadoop
启动HDFS和YARN
…
Kafka消费者：从Kafka中读取数据[转]
https://blog.csdn.net/shmily_lsl/article/details/81877447
本系列文章为对《Kafka：The Definitive Guide》的学习整理，希望能够帮助到大家
应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。在我们深入这些API之前，先来看下几个比较重要的概念。
Kafka消费者相关的概念
消费者与消费组
假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。我们可以创建一个消费者实例去做这件事情，但如果生产者写入消息的速度比消费者读取的速度快怎么办呢？这样随着时间增长，消息堆积越来越严重。对于这种场景，我们需要增加多个消费者来进行水平扩展。
Kafka消费者是消费组…
Spark32个常用算子总结[转]
官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。
（注：以下截图为windows下运行结果）
Transformation：
1.map
map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），map函数执行10次，而mapPartitions函数执行3次。
2.filter（function）…
kafka的使用场景[转]
关于消息队列的使用
一、消息队列概述
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ
二、消息队列应用场景
以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。
2.1异步处理
场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式
a、串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。
b、并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间
假设三个业务节点每个使用50毫秒钟，不考虑网络等其他开销，则串行方式的时间是150毫秒，并行的时间可能是100毫秒。…
发表在 大数据
kafka的使用场景[转]已关闭评论
sed 追加文件内容[转]
https://www.cnblogs.com/crazymagic/p/11148533.html
追加用法总结
- 1、a 在匹配行后面追加
- 2、i 在匹配行前面追加
- 3、r 将文件内容追加到匹配行后面
- 4、w 将匹配行写入指定文件
