标签归档:大数据

大数据开发初学者教程[转]

大数据开发初学者教程

2017-02-19 lxw的大数据田地 计算机与网络安全

信息安全公益宣传,信息安全知识启蒙。

 

想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。。。。。。。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业,对软件开发、编程、写代码感兴趣?还是数学、统计学专业,对数据和数字特别感兴趣。。
其实这就是想告诉你的大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易,哪个前景好,哪个钱多。

先扯一下大数据的4V特征:

  • 数据量大,TB->PB
发表在 大数据, 未分类 | 标签为 , , | 大数据开发初学者教程[转]已关闭评论

几点建议,让Redis在你的系统中发挥更大作用【转】

 

Redis在很多方面与其他数据库解决方案不同:它使用内存提供主存储支持,而仅使用硬盘做持久性的存储;它的数据模型非常独特,用的是单线程。另一个大区别在于,你可以在开发环境中使用Redis的功能,但却不需要转到Redis。

 

【51CTO外电头条】Redis在很多方面与其他数据库解决方案不同:它使用内存提供主存储支持,而仅使用硬盘做持久性的存储;它的数据模型非常独特,用的是单线程。另一个大区别在于,你可以在开发环境中使用Redis的功能,但却不需要转到Redis。

转向Redis当然也是可取的,许多开发者从一开始就把Redis作为首选数据库;但设想如果你的开发环境已经搭建好,应用已经在上面运行了,那么更换数据库框架显然不那么容易。另外在一些需要大容量数据集的应用,Redis也并不适合,因为它的数据集不会超过系统可用的内存。所以如果你有大数据应用,而且主要是读取访问模式,那么Redis并不是正确的选择。

然而我喜欢Redis的一点就是你可以把它融入到你的系统中来,这就能够解决很多问题,比如那些你现有的数据库处理起来感到缓慢的任务。这些你就可以通过Redis来进行优化,或者为应用创建些新的功能。在本文中,我就想探讨一些怎样将Redis加入到现有的环境中,并利用它的原语命令等功能来解决传统环境中碰到的一些常见问题。在这些例子中,Redis都不是作为首选数据库。

显示最新的项目列表

下面这个语句常用来显示最新项目,随着数据多了,查询毫无疑问会越来越慢。

SELECT *

发表在 Database | 标签为 , , | 几点建议,让Redis在你的系统中发挥更大作用【转】已关闭评论

初识Redis,基本特点及用途介绍

Redis是一种内存型NoSql数据库,以键值对方式检索,支持集合操作,所有操作都是原子化的,特点是高并发,非常合适实时性要求极高的应用场景。可以做大数据的后期数据处理,显示实时信息、排名,高速读写都OK。缺点是内存型数据库受到内存的限制,不合适处理大特别大的数据(100GB以内/单台服务器)。更大的数据可以考虑使用mongodb,它只在索引在内存中,检索速度快,只是数据主体放在磁盘合适低写入高检索,中等程度读出的场景(合适100GB-10TB的规模/单台服务器)更多介绍信息参考百度百科

下面列出11种Web应用场景,在这些场景下可以充分的利用Redis的特性,大大提高效率。

以下内容出处:http://os.51cto.com/art/201107/278292.htm

1.在主页中显示最新的项目列表。

Redis使用的是常驻内存的缓存,速度非常快。LPUSH用来插入一个内容ID,作为关键字存储在列表头部。LTRIM用来限制列表中的项目数最多为5000。如果用户需要的检索的数据量超越这个缓存容量,这时才需要把请求发送到数据库。

2.删除和过滤。

如果一篇文章被删除,可以使用LREM从缓存中彻底清除掉。…

发表在 Database | 标签为 , | 初识Redis,基本特点及用途介绍已关闭评论

大数据、云计算学习路线图

大数据、云计算学习路线图

大数据之Linux+大数据开发篇

Java Linux基础、 Shell编程、 Hadoop2.x、 HDFS、 YARN、 MapReduce、 …

发表在 经验技术 | 标签为 , | 大数据、云计算学习路线图已关闭评论