标签归档:资料

大数据开发初学者教程[转]

大数据开发初学者教程

2017-02-19 lxw的大数据田地 计算机与网络安全

信息安全公益宣传,信息安全知识启蒙。

 

想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。。。。。。。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业,对软件开发、编程、写代码感兴趣?还是数学、统计学专业,对数据和数字特别感兴趣。。
其实这就是想告诉你的大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易,哪个前景好,哪个钱多。

先扯一下大数据的4V特征:

  • 数据量大,TB->PB
发表在 大数据, 未分类 | 标签为 , , | 留下评论

XMPP服务器性能比较[转]

XMPP服务器性能比较

首先我选的XMPP的client是PSI,很方便使用。

搭建最初, milo说tigase支持50万用户量,很牛逼!!! androidpnserver 最多只到1000左右就摊了….

仔细研究一下发现tigase对协议的实现不是很好, 但是tigase开了4个端口,分别处理不同类型的XMPP 信息。 搭建好之后,没有和客户端联通,

发表在 产品设计, 经验技术, 集群配置 | 标签为 , | 留下评论

域名爆破的原理与工具

自容来自《安全小课堂第四十五期【域名爆破的原理与工具】》的总结

域名爆破是通过枚举的方式来实现的

枚举域名的A记录比如要爆破xx.com的子域名,

首先的访问一个随机并不存在的域chorashuai.xx.com,

取得A记录后保存,

然后开始枚举a-z0-9,比如1.xx.com、 2.xx.com 、3.xx.com之类的。接下来的步骤就分为两种方式了。

其中一种:直接获取1.xx.com

发表在 渗透技术 | 标签为 , , | 留下评论

几点建议,让Redis在你的系统中发挥更大作用【转】

 

Redis在很多方面与其他数据库解决方案不同:它使用内存提供主存储支持,而仅使用硬盘做持久性的存储;它的数据模型非常独特,用的是单线程。另一个大区别在于,你可以在开发环境中使用Redis的功能,但却不需要转到Redis。

 

【51CTO外电头条】Redis在很多方面与其他数据库解决方案不同:它使用内存提供主存储支持,而仅使用硬盘做持久性的存储;它的数据模型非常独特,用的是单线程。另一个大区别在于,你可以在开发环境中使用Redis的功能,但却不需要转到Redis。

转向Redis当然也是可取的,许多开发者从一开始就把Redis作为首选数据库;但设想如果你的开发环境已经搭建好,应用已经在上面运行了,那么更换数据库框架显然不那么容易。另外在一些需要大容量数据集的应用,Redis也并不适合,因为它的数据集不会超过系统可用的内存。所以如果你有大数据应用,而且主要是读取访问模式,那么Redis并不是正确的选择。

然而我喜欢Redis的一点就是你可以把它融入到你的系统中来,这就能够解决很多问题,比如那些你现有的数据库处理起来感到缓慢的任务。这些你就可以通过Redis来进行优化,或者为应用创建些新的功能。在本文中,我就想探讨一些怎样将Redis加入到现有的环境中,并利用它的原语命令等功能来解决传统环境中碰到的一些常见问题。在这些例子中,Redis都不是作为首选数据库。

显示最新的项目列表

下面这个语句常用来显示最新项目,随着数据多了,查询毫无疑问会越来越慢。

SELECT *

发表在 Database | 标签为 , , | 留下评论

Openfire 性能优化[转]

发表在 资源收集 | 标签为 , , , , | 留下评论

基于机器学习的web异常检测【转】

2017-02-11 阿里聚安全 FreeBuf FreeBuf

Web防火墙是信息安全的第一道防线。随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战。传统web入侵检测技术通过维护规则集对入侵访问进行拦截。一方面,硬规则在灵活的黑客面前,很容易被绕过,且基于以往知识的规则集难以应对0day攻击;另一方面,攻防对抗水涨船高,防守方规则的构造和维护门槛高、成本大。 

基于机器学习技术的新一代web入侵检测技术有望弥补传统规则集方法的不足,为web对抗的防守端带来新的发展和突破。机器学习方法能够基于大量数据进行自动化学习和训练,已经在图像、语音、自然语言处理等方面广泛应用。

然而,机器学习应用于web入侵检测也存在挑战,其中最大的困难就是标签数据的缺乏。尽管有大量的正常访问流量数据,但web入侵样本稀少,且变化多样,对模型的学习和训练造成困难。

因此,目前大多数web入侵检测都是基于无监督的方法,针对大量正常日志建立模型(Profile),而与正常流量不符的则被识别为异常。这个思路与拦截规则的构造恰恰相反。拦截规则意在识别入侵行为,因而需要在对抗中“随机应变”;而基于profile的方法旨在建模正常流量,在对抗中“以不变应万变”,且更难被绕过。

 

发表在 产品设计, 渗透技术 | 标签为 , , , | 留下评论

基于WAVSEP的靶场搭建指南【转】

基于WAVSEP的靶场搭建指南

2017-02-12 兜哥 FreeBuf FreeBuf
FreeBuf

freebuf

国内关注度最高的全球互联网安全新媒体

发表在 未分类, 渗透技术 | 标签为 , | 留下评论

产品经理眼中比较理想的WEB扫描器【转】

产品经理眼中比较理想的WEB扫描器

2017-02-14 兜哥 FreeBuf FreeBuf

FreeBuf

freebuf

国内关注度最高的全球互联网安全新媒体

发表在 产品设计, 未分类 | 标签为 | 留下评论

吾爱破解安卓逆向入门教程

一、环境配置

我们需要哪些环境?(新手版)

1 java jdk: 首先我们要理解,安卓是基于java语言开发的一种应用程序,在开发时依赖于java的jdk环境,因而在逆向时也同样需要使用。

2 反编译工具:目前安卓的逆向工具也逐渐成熟,不过对于新手,我还是推荐较为傻瓜式的编译工具,如ApkIDE(改之理)及AndroidKiller两款软件,这两款软件都集成了很多功能,对于一款简单的apk,只要使用其中一款工具就可以完成修改。

到哪儿可以下载到这些工具?

1

发表在 逆向分析 | 标签为 , , | 留下评论

GitLab安装说明[转]

GitLab,是一个使用 Ruby on Rails 开发的开源应用程序,与Github类似,能够浏览源代码,管理缺陷和注释,非常适合在团队内部使用。

gitlab是基于Ruby on Rails的,安装和配置非常麻烦,不过有傻瓜安装包,https://about.gitlab.com/downloads/,或者,

发表在 功能配置 | 标签为 , , , | 留下评论