分类目录归档:未分类

视频抽帧[转]

https://www.cnblogs.com/LLBFWH/p/11660530.html

视频文件是多媒体数据中比较常见的一种,也是入门门槛比较高的一个领域。视频数据相关的领域任务包括视频物体检测、视频物体追踪、视频分类、视频检索和视频摘要抽取等。

视频数据与图像数据非常类似,都是由像素点组成的数据。在视频数据在非音频部分基本上可以视为多帧(张)图像数据的拼接,即三维图像的组合。由于视频数据与图像数据的相似性,在上述列举的视频领域任务中大都可以借助图像方法来完成。

文本将讲解视频抽帧的几种方法,具体包括以下几种抽帧方式:

  • 抽取视频关键帧(IPB帧)
  • 抽取视频场景转换帧
  • 按照时间进行均匀抽帧
  • 抽取制定时间的视频帧

在进行讲解具体的抽帧方式之前,我不得不介绍下FFmpeg。FFmpeg是一套可以用来编码、解码、合成和转换音频和视频数据的开源软件,提供了非常全面的音视频处理功能。如果你的工作内容是视频相关,那么ffmpeg是必须要掌握的软件了。FFmpeg提供了常见音视频和编解码方式,能够对众多的音视频格式进行读取,基本上所有的软件都会借助FFmpeg来完成音视频的读取操作。

FFmpeg的学习资料可以参考:…

发表在 未分类 | 视频抽帧[转]已关闭评论

Kafka Schema Registry 使用教程(JAVA)[转]

https://www.jianshu.com/p/d5ed58d7aa65

如果没有 Schema Registry服务,自定义的schema需要在数据生产端和数据消费端都保存,有了 Schema Registry服务,数据生成方设置好Schema,会自动注册到 registry服务中,这样数据消费方就不需要保存schema,直接消费就可以。

实例以kafka 0.10.2.0 版本举例,kafka和Schema …

发表在 未分类 | Kafka Schema Registry 使用教程(JAVA)[转]已关闭评论

Spark 伪分布式部署[转]

https://www.jianshu.com/p/921d376a2601

1. 前言

1.1 Spark 简介

Spark 是快速和通用的大数据处理引擎。Spark的内存计算速度是Hadoop MapReduce的100倍。Spark支持Java、Scala、Python、和R开发,方便我们开发并行程序,并且我们还可以通过Scala、Python、R的Shell命令和Spark交互。Spark支持SQL、流计算和复杂分析,提供了Spark SQL、Spark …

发表在 未分类 | Spark 伪分布式部署[转]已关闭评论

linux shell脚本中的字符串截取与拼接[转]

https://www.linuxidc.com/Linux/2015-03/115198.htm

假设有变量 var=http://www.linuxidc.com/123.htm 

1  # 号截取,删除左边字符,保留右边字符。 

echo ${var#*//}

发表在 未分类 | linux shell脚本中的字符串截取与拼接[转]已关闭评论

hadoop安装启动配置,单机模式[转]

https://blog.csdn.net/ch_samuel/article/details/80943858

https://blog.csdn.net/JReno/article/details/93207470

我使用的环境是虚拟机安装CENOS7,hadoop 3.0.0。

这些安装包下载好过后。去建一个目录来解压hadoop。

前提条件:

1、安装jdk,配置jdk(Linux下的配置自己查下资料)

2、安装ssh:yum install ssh(先查看安装没,有就不安装了)…

发表在 未分类 | hadoop安装启动配置,单机模式[转]已关闭评论

大数据开发环境:Spark安装

用到的软件

openjdk-8-jdk
hadoop-2.7.7

下载: spark-2.4.5-bin-hadoop2.7.tgz

配置

配置文件位于conf目录下。

export 
发表在 未分类 | 大数据开发环境:Spark安装已关闭评论

kafka安装[转]

https://www.jianshu.com/p/c74e0ec577b0

jdk安装

  1. 查看centos自带的openjdk安装包:
    rpm -qa | grep openjdk

java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64
java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
发表在 未分类 | kafka安装[转]已关闭评论

大数据开发环境:Kafka安装

以下基于Debain系Linux系统为基础

Kafka的运行需要依赖Zookeeper如果没有安装Zookeeper请参考如下文章。

需要确保Java的环境变量被设置。如果没有设置请参考如下:

JAVA_HOME=/usr/lib/jvm/java-8-openjdk-armhf
JRE_HOME=/usr/lib/jvm/java-8-openjdk-armhf/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME …

发表在 未分类 | 大数据开发环境:Kafka安装已关闭评论

大数据开发环境:Zookeeper安装

以下基于Debain系Linux系统为基础

下载: apache-zookeeper-3.5.7-bin.tar.gz

必备软件:openjdk-8-jdk

安装方法:apt install openjdk-8-jdk

Zookeeper的配置:

Zookeeper不需要Root权限。如果只是为了开发的话。也不用做集群。配置项核心只是指定数据目录。如果不指定默认放在/tmp重启就会丢失。

首先对Zookeeper进行解压:…

发表在 未分类 | 大数据开发环境:Zookeeper安装已关闭评论

在linux中设置优先使用ipv4,而不是ipv6[转]

https://www.cnblogs.com/lovesKey/p/11563171.html

背景: 有时候更新源的时候默认使用ipv6,而ipv6下载数据时候总出现问题. 所有想默认出口的时候优先使用ipv4出口访问,而不是ipv6.

要使用ipv4 连接优先而不必禁用ipv6,需要修改gai.conf配置文件使其生效。

debian系:修改/etc/gai.conf,取消下面这一行的注释

precedence ::ffff:0:0/96 100

发表在 未分类 | 在linux中设置优先使用ipv4,而不是ipv6[转]已关闭评论