gstreamer-core解析
gstreamer中tee的用法
gstreamer中tee的用法GStreamer是一个功能强大的多媒体框架，被广泛应用于音视频处理和流媒体应用开发中。
在GStreamer的众多元件中，tee是一个非常重要的元件，它在多个分支之间复制和分发数据流。
本文将深入探讨GStreamer中tee的用法，包括其原理、功能和常见应用场景。
一、tee元件的原理和功能在GStreamer框架中，数据流通过管道（pipeline）从源头（source）经过一系列处理元件（element）最终到达目标（sink）。
而tee元件则是一种特殊的处理元件，它可以将数据流复制到多个分支上，并同时将数据传递给下游处理元件。
这种机制可以实现并行处理、实时监控和数据复制等功能。
tee元件有两个重要属性："name"和"allow-not-linked"。
其中"name"属性用于标识不同的tee实例，在管道中唯一标识一个特定的tee实例；而"allow-not-linked"属性则决定了是否允许某些分支未连接到下游处理元件。
通过使用不同名称的tee实例，可以在同一个管道中创建多个独立的并行分支。
这些并行分支可以同时进行不同类型或相同类型但不同参数设置等各种操作。
二、使用tee进行并行处理tee元件最常见的用途之一是实现并行处理。
在某些场景下，需要将同一个数据流同时送到多个处理分支，每个分支执行不同的操作。
在GStreamer中，可以通过创建多个tee实例来实现这一目的。
例如，在一个视频流处理应用中，可以通过tee将视频数据同时发送到两个不同的分支上。
其中一个分支用于实时显示视频内容，另一个分支则用于进行后续的视频编码操作。
这样可以在不影响编码过程的同时实时观看视频内容。
三、使用tee进行监控和录制另一个常见应用场景是使用tee进行监控和录制。
在某些场景下，需要将同一个数据流同时送到监控显示器和录制设备上。
gstreamer 插件参数用法
gstreamer 插件参数用法GStreamer 是一个开源的跨平台多媒体处理框架，它提供了许多插件来实现各种音视频处理任务。
插件参数是 GStreamer 插件的一种配置方式，通过修改插件参数，我们可以自定义插件的行为以满足特定需求。
在使用 GStreamer 插件时，我们可以通过 `gst-launch-1.0` 或编程语言（如Python）的方式来配置插件参数。
下面是一些常见的插件参数用法示例：1. element 参数：许多插件包含多个 element，我们可以使用元素名称来配置参数。
例如，使用 `v4l2src` 插件获取视频流时，可以通过 `device=/dev/video0` 参数指定使用的视频设备。
2. property 参数：插件的属性可以通过 property 参数来修改。
例如，使用`alsasink` 插件播放音频时，可以通过 `device=hw:0` 参数指定使用的音频设备。
3. caps 参数：caps 是 GStreamer 中一种用于描述媒体流格式的机制。
我们可以通过 caps 参数来配置输入或输出媒体流的格式。
例如，使用 `autovideosink` 插件显示视频时，可以通过 `caps=video/x-raw, width=1280, height=720` 参数指定视频的分辨率。
4. signal 参数：有些插件会发出信号来通知应用程序当前的状态或事件。
我们可以通过 signal 参数来订阅这些信号并进行相应的处理。
例如，使用 `souphttpsrc` 插件下载网络视频时，可以通过 `signal-handoffs=true` 参数来处理信号，以在视频切换时执行特定的操作。
5. pipeline 参数：我们可以通过 pipeline 参数来连接多个插件并配置它们之间的数据流。
例如，使用 `gst-launch-1.0` 启动一个命令行管道时可以通过 `--gst-pipeline="videotestsrc ! autovideosink"` 参数指定数据流的处理方式。
gstreamer-core解析
介绍：这片文档是基于gstreamer-0.10.35来讲的，详细介绍了gstreamer core里面提供的功能。
如有问题请联系****************,转载请标明出处。
GStreamer概念是一个用来创建流媒体应用程序的非常强大和通用的框架，框架是基于插件的, 这些插件中提供了各种各样的多媒体数字信号编解码器,也有些提供了其他的功能。
所有的插件都能够被链接到任意的已经定义了的数据流管道中。
GStreamer的管道能够被GUI编辑器编辑, 能够以XML文件来保存。
这样的设计使得管道程序库的消耗变得非常少。
Gstreamer core作用GStreamer内核的本质是media-agnostic（不关心媒体类型），core/plugins是分离。
我们了解的仅仅是字节和块，以及包含基本的元件，GStreamer内核的强大功能甚至能够实现底层系统工具，像cp，核心库函数是一个处理插件、数据流和媒体操作的框架。
所有的媒体处理功能都是由插件从外部提供给内核的，并告诉内核如何去处理特定的媒体类型。
GStreamer核心库还提供了一系列API, API是开放给程序员使用的---当程序员需要使用其他的插件来编写他所需要的应用程序的时候可以使用它。
元件和插件在插件的开发中，一个元件就是继承于GstElement 的一个对象。
元件在与其他元件连接时提供了如下一些功能：例如，一个源元件为一个流提供数据，一个滤镜元件对流中的数据进行操作。
没有了元件，GStreamer 只是一堆概念性的管道，没有任何东西可供连接。
GStreamer已经自带了一大堆元件，但是我们仍然可以编写额外的元件。
然而，仅仅写一个新的元件并不够，为了使GStreame r 能够使用它，你必须将元件封装到一个插件中。
一个插件是一块可以加载的代码，通常被称为共享对象文件（shared object file）或动态链接库（dynamically linked library）。
gstreamer手册(简体中文版)
2.1.2. “一个目标”媒体播放器/媒体库
典型的 MPEG 播放器可以播放 MPEG 视频和音频，多数的播放器实现了完整的 底层构造来达到他们的唯一目标：播放。没有一套有效的机制可以提供对于音频 和视频数据过滤和效果处理，更没有制定在视频或音频数据中添加滤波器或特殊 效果的任何规定。
组件(Elements)。对于如何编写组件(Elements)的话题在GStreamer Plugin Writer's Guide中有详细的说明。
3.2. 箱柜(Bins)和管道(pipelines)
箱柜(Bins)是一个可以装载组件(element)的容器。管道(pipelines)是箱柜 (Bins)的一个特殊的子类型,管道(pipelines)可以操作包含在它自身内部的所 有组件(element)。因为箱柜(Bins)本身又是组件(element)的子集,所以你能够 象操作普通组件(element)一样的操作一个箱柜(Bins), 通过这种方法可以降低 你的应用程序的复杂度。你可以改变一个箱柜(Bins)的状态来改变箱柜(Bins) 内部所有组件(element)的状态。箱柜(Bins)可以发送总线消息(bus messages) 给它的子集组件(element)(这些消息包括:错误消息(error messages),卷标消 息(tag messages),EOS消息(EOS messages))。
1.2. 谁需要读这个手册?
本手册是从一个程序开发人员的角度来描述GStreamer的: 它叙述了如何利用 GStreamer的开发库以及工具来编写一个基于GStreamer的应用程序。对于想学习" 如何编写插件"的朋友们, 我们建议你去参考<<插件编写指南(Plugin Writers Guide)>>。
gstreamer 参数
gstreamer 参数摘要：1.GStreamer 简介2.GStreamer 参数的概念3.GStreamer 参数的分类4.GStreamer 参数的使用方法5.GStreamer 参数的优缺点正文：1.GStreamer 简介GStreamer 是一个用于构建音视频处理管道的框架，它可以在各种平台上运行，支持C、C++、Python 等编程语言。
GStreamer 提供了一整套音视频处理库，用户可以通过组合这些库来实现音视频的采集、编解码、格式转换、滤镜处理等功能。
2.GStreamer 参数的概念在GStreamer 中，参数是一种用于定制和控制音视频处理过程的元素。
通过设置不同的参数值，用户可以实现对音视频处理管道中各个环节的控制，从而满足不同的应用需求。
3.GStreamer 参数的分类GStreamer 参数主要分为以下几类：（1）基本参数：包括音视频格式、采样率、分辨率等，用于描述音视频数据的基本特征。
（2）编解码参数：包括编码器、解码器、编解码器选项等，用于控制音视频编解码过程。
（3）处理参数：包括滤镜、特效、变换等，用于实现音视频数据的处理和增强。
（4）控制参数：包括播放速度、音量、显示方式等，用于控制音视频数据的播放和显示。
4.GStreamer 参数的使用方法在使用GStreamer 参数时，用户需要按照以下步骤进行：（1）首先，需要创建一个GStreamer 管道，该管道包含了音视频处理的各个环节。
（2）然后，通过添加滤镜、转换等节点，将音视频数据从输入设备传输到输出设备。
（3）接着，为各个节点设置相应的参数值，以实现对音视频处理过程的控制。
（4）最后，启动GStreamer 管道，开始音视频处理过程。
5.GStreamer 参数的优缺点GStreamer 参数的优点主要有：（1）灵活性高：用户可以根据需求自由设置参数值，实现对音视频处理过程的定制。
（2）扩展性强：GStreamer 框架支持多种编程语言，可以满足不同平台的需求。
gstreameromx解码器代码分析
gstreameromx解码器代码分析最近分析了⼏个和omx播放相关的问题，从播放器的⾓度，对omx流程有了进⼀步的了解。
相关处理主要在：gst-omx-1.9.1/omx/gstomxvideodec.c1 gst_omx_video_dec_handle_framegstreamer调⽤此函数，给omx decoder发送待解码的packets。
主要处理流程如下：2226if (!self->started) { // 第⼀次进⼊2232 gst_pad_start_task (GST_VIDEO_DECODER_SRC_PAD (self),2233 (GstTaskFunction) gst_omx_video_dec_loop, decoder, NULL); // 启动解码线程2234 }2258 port = self->dec_in_port; // 获取端⼝；因为这个端⼝是给omx解码器送数据的，所以获取的是in port。
2266 acq_ret = gst_omx_port_acquire_buffer (port, &buf); // 从端⼝中申请⼀个空闲buffer。
// enter: gst_omx_port_acquire_buffer1353 _buf = g_queue_pop_head (&port->pending_buffers); // 从端⼝的链表中获取bufferr// leave: gst_omx_port_acquire_buffer2383 buf->omx_buf->nFilledLen =2384 MIN (size - offset, buf->omx_buf->nAllocLen - buf->omx_buf->nOffset); // 计算实际传送的数据长度2385 gst_buffer_extract (frame->input_buffer, offset,2386 buf->omx_buf->pBuffer + buf->omx_buf->nOffset,2387 buf->omx_buf->nFilledLen); // 把Frame中的数据拷贝到omx port buffer。
视频解码方案
视频解码方案引言随着科技的不断发展和进步，视频在我们的生活中扮演着越来越重要的角色。
然而，我们经常会遇到视频无法播放或者播放卡顿的问题。
这是因为视频数据压缩的复杂性和解码的要求提高所致。
为了解决这个问题，各种视频解码方案应运而生。
本文将介绍几种常见的视频解码方案。
1. 软件解码方案1.1 FFmpegFFmpeg是一个开源的跨平台多媒体解决方案，它可以完成多种视频解码操作。
它具有高效、灵活的特点，支持的视频格式非常广泛。
FFmpeg可以通过命令行或API来进行调用，使用起来非常方便。
但是，软件解码方案需要占用较大的CPU资源，对性能要求较高。
1.2 GStreamerGStreamer是一个基于开源的多媒体框架，它提供了一套完整的视频处理工具和解码库。
GStreamer支持各种流行的视频格式，可以在多个平台上运行。
它的可扩展性和灵活性使得在开发过程中可以自定义解码方案。
但是，GStreamer的学习曲线较陡峭，需要一定的技术基础。
2.1 GPU解码使用GPU进行视频解码可以充分利用其并行处理能力，提高解码速度和效率。
GPU解码方案适用于编码格式较复杂、码率较高的视频。
常见的GPU解码库有NVIDIA的Video Codec SDK和AMD的VCE API。
然而，GPU解码需要有具备相应硬件支持的设备，对于一些低端设备来说可能不适用。
2.2 ASIC解码ASIC（Application-Specific Integrated Circuit）是一种专用集成电路，可以定制实现特定的功能。
ASIC解码方案采用专门的硬件芯片来进行视频解码，可以实现高效的解码性能和低功耗消耗。
常见的ASIC解码芯片供应商有Broadcom和Realtek等。
然而，ASIC解码方案的定制性较强，适用范围相对有限。
2.3 FPGA解码FPGA（Field-Programmable Gate Array）是可编程逻辑门阵列，它可以按照需求重新配置其硬件结构。
gstreamer，vlc，ffmpeg比较
gstreamer，vlc，ffmpeg比较转自/?p=312gstreamer，vlc，ffmpeg都是开源处理流媒体的软件，这里的比较不涉及功能，仅仅比较源代码。
大约看了一个星期，对这三个软件都略有了解，简单的谈谈。
0、开发语言都是使用c语言开发，ffmpeg最为简洁；gstreamer使用了gobject，晦涩；1、注释vlc的代码完全没有注释，官网也没有任何文档；gstreamer的官网上有开发者指引，看完后大概了解gstreamer 的设计框架，如element，pad，filter等概念，感觉设计的相当不错；ffmpeg官网上文档不多，不过注释真是太详细了，超级赞；2、代码量vlc代码量算比较少的；gstreamer分为core，plugin，等等，代码量巨大；而且，gstreamer使用glib2，感觉很不好，可读性差；ffmpeg文件很多，但组织的很棒，一下子都能找到要领；代码量没有精确统计，仅仅是个人感觉；3、代码质量我个人非常欣赏ffmpeg，代码太棒了；整个框架结构分为两个主要部分，一个是codec，一个是format，在两个大的目录中，顾名思义，一个是处理编解码，一个是获取原始数据；format中，只需要看几个文件就可以了解整个系统的运作过程了：avformat.h，avio.h，avio.c等4、图形界面vlc有图形界面，在windows下很好用；gstreamer不是很清楚；ffmpeg没有图形界面，仅仅提供了三个命令行工具，这三个工具的选项狂多。
三个命令分别是ffmpeg，ffplay，ffprobe ffmpeg是我非常推崇的代码。
在使用测试的过程中，发现ffmpeg不能播放helix server的rtsp 源，应该是ffmpeg解析rtp与helix不兼容造成的，有空的时候查找一下原因，fix一下。
基于GStreamer的音视频播放器的设计
基于GStreamer的音视频播放器的设计左登超;左登峰;刘永康【摘要】At present, Windows system was used to design the player for most of the railway passenger cars. But the Windows system is vulnerable to viruses and can easily cause a crash when a passenger car is often powered off and reset. In order to solve these problems, this article proposed the construction of the player using GStreamer framework based on the Linux system, gave the system running effect diagram. The verification results showed that the audio and video player got clear and stable playback effect with short development cycle and strong practicability under the GStreamer framework.%目前,铁路客车大多使用Windows系统进行播放器的设计.Windows系统容易感染病毒,并且在铁路客车经常断电复位的情况下,很容易造成系统崩溃.为了解决上述问题,文章提出了在Linux 系统下,使用GStreamer框架进行播放器的构建并给出系统运行效果图.经装车验证,在GStreamer框架下构建的音视频播放器的播放效果清晰、稳定,开发周期短,实用性较强.【期刊名称】《铁路计算机应用》【年(卷),期】2017(026)011【总页数】5页(P41-44,53)【关键词】Linux;GStreamer;QT;音视频播放器【作者】左登超;左登峰;刘永康【作者单位】中车青岛四方车辆研究所有限公司,青岛 266031;内蒙古银行总行科技信息部,呼和浩特 010010;中车青岛四方车辆研究所有限公司,青岛 266031【正文语种】中文【中图分类】U285;TP39目前，铁路客车上大多使用Windows系统进行播放器的设计。
gstreamer手册（简体中文版）
第1章. 序言本章将从技术的角度来描述本手册的总体结构。
1.1. GStreamer是什么?GStreamer是一个创建流媒体应用程序的框架。
其基本设计思想来自于俄勒冈(Oregon)研究生学院有关视频管道的创意, 同时也借鉴了DirectShow的设计思想。
GStreamer的程序开发框架使得编写任意类型的流媒体应用程序成为了可能。
在编写处理音频、视频或者两者皆有的应用程序时, GStreamer可以让你的工作变得简单。
GStreamer并不受限于音频和视频处理, 它能够处理任意类型的数据流。
管道设计的方法对于实际应用的滤波器几乎没有负荷, 它甚至可以用来设计出对延时有很高要求的高端音频应用程序。
GStreamer最显著的用途是在构建一个播放器上。
GStreamer已经支持很多格式的档了, 包括: MP3、Ogg/Vorbis、MPEG-1/2、AVI、Quicktime、mod等等。
从这个角度看, GStreamer更像是一个播放器。
但是它主要的优点却是在于: 它的可插入组件能够很方便的接入到任意的管道当中。
这个优点使得利用GStreamer编写一个万能的可编辑音视频应用程序成为可能。
GStreamer框架是基于插件的, 有些插件中提供了各种各样的多媒体数字信号编译码器,也有些提供了其它的功能。
所有的插件都能够被链接到任意的已经定义了的数据流管道中。
GStreamer的管道能够被GUI编辑器编辑, 能够以XML档来保存。
这样的设计使得管道链接库的消耗变得非常少。
GStreamer核心库函数是一个处理插件、数据流和媒体操作的框架。
GStreamer核心库还提供了一个API, 这个API是开放给程序员使用的---当程序员需要使用其它的插件来编写他所需要的应用程序的时候可以使用它。
1.2. 谁需要读这个手册?本手册是从一个程序开发人员的角度来描述GStreamer的: 它叙述了如何利用GStreamer的开发库以及工具来编写一个基于GStreamer的应用程序。
gstreamer介绍及使用
gstreamer介绍及使⽤⼀、gstreamer介绍Gstreamer是⼀个⽀持Windows，Linux，Android， iOS的跨平台的多媒体框架，应⽤程序可以通过管道（Pipeline）的⽅式，将多媒体处理的各个步骤串联起来，达到预期的效果。
每个步骤通过元素（Element）基于GObject对象系统通过插件（plugins）的⽅式实现，⽅便了各项功能的扩展。
⼆、gstreamer安装ubuntu下gstreamer安装命令为：sudo apt-get install libgstreamer1.0-0 gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-doc gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio这个命令主要是安装gstreamer的各种插件包，这些包中包含了很多插件，如gstreamer1.0-plugins-base是基础插件包，gstreamer1.0-plugins-good是⾼质量的采⽤LGPL授权的插件包。
通过gst-inspect-1.0命令看⼀下qtdemux插件的信息，如下所⽰：红框中显⽰qtdemux的的插件属于gstreamer1.0-plugins-good插件包三、gstreamer命令3.1 gst-inspect-1.0 查看插件信息命令gst-inspect-1.0 qtdemux 查看qtdemux插件的信息，如下所⽰：3.2 gst-launch-1.0 构建管道播放mp4⽂件命令：gst-launch-1.0 filesrc location=1.mp4 ! qtdemux ! decodebin ! videoconvert ! autovideosink播放mp4流程为：读⼊mp4⽂件->解mp4封装->解码->视频转换->播放，命令中的filesrc 、qtdemux、 decodebin 、videoconvert 、autovideosink插件分别对应这四个步骤，构建的管道如下图所⽰：产⽣⼀个指定宽⾼的视频gst-launch-1.0 videotestsrc ! video/x-raw,width=500,height=300 ! autovideosink。
gstreamer 源码编译
gstreamer 源码编译
以下是在 Linux 系统下使用命令行编译 GStreamer 源代码的步骤：
1.安装必要的依赖项。
在终端中执行以下命令安装必要的依赖项：
sudo apt-get install python3-dev python3-pip python-gi-dev libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libcairo2-dev libglib2.0-dev。
2. 克隆 GStreamer 源代码。
使用 Git 克隆 GStreamer 源代码：
3.配置编译环境。
在终端进入源代码目录：
cd gstreamer。
执行以下命令配置编译环境：
./autogen.sh --disable-gtk-doc。
此命令将生成配置文件和 Makefile。
4.编译和安装。
执行以下命令编译和安装 GStreamer：
make。
sudo make install。
编译和安装时可能需要输入管理员权限密码。
编译和安装完成后，可以使用 gstreamer 命令测试是否成功安装，
例如：
gstreamer-launch-1.0 --version。
这将输出 GStreamer 的版本信息。
注：
- 如果您想编译其他 GStreamer 组件，例如插件或应用程序，请在
相应的源代码目录执行上述步骤。
- 以上步骤适用于 Ubuntu 和 Debian 系统。
对于其他 Linux 系统，请根据需要更改命令和依赖项。
gstreamer手册(简体中文版)
组件(Elements)。对于如何编写组件(Elements)的话题在GStreamer Plugin Writer's Guide中有详细的说明。
3.2. 箱柜(Bins)和管道(pipelines)
箱柜(Bins)是一个可以装载组件(element)的容器。管道(pipelines)是箱柜 (Bins)的一个特殊的子类型,管道(pipelines)可以操作包含在它自身内部的所 有组件(element)。因为箱柜(Bins)本身又是组件(element)的子集,所以你能够 象操作普通组件(element)一样的操作一个箱柜(Bins), 通过这种方法可以降低 你的应用程序的复杂度。你可以改变一个箱柜(Bins)的状态来改变箱柜(Bins) 内部所有组件(element)的状态。箱柜(Bins)可以发送总线消息(bus messages) 给它的子集组件(element)(这些消息包括:错误消息(error messages),卷标消 息(tag messages),EOS消息(EOS messages))。
2.1.3. 没有统一的插件管理机制
典型的播放器对于不同的媒体类型会有不同的插件，两个媒体播放器会实现各自 不同的插件机制，所以编译码器不能方便的交换。每一个典型的媒体播放器的插 管理件系统是具有其特定应用程序的需求。
缺少统一的插件机制，已经严重阻碍了二进制编译码器的发展，因为没有一家公 司希望将代码移植到不同的插件机制。
gstreamer rtpjitterbuffer 原理
GStreamer是一个构建媒体处理组件图的库，它提供了一系列工具来处理和传输音频和视频数据。
在GStreamer中，`rtpjitterbuffer`是一个用于处理RTP（实时传输协议）流中的抖动的插件。
抖动是指由于网络延迟波动造成的数据包到达时间的不一致性，这可能导致媒体播放出现杂音或图像抖动等问题。
`rtpjitterbuffer`的原理主要涉及以下几个方面：1. **数据包缓冲**：`rtpjitterbuffer`会将接收到的RTP数据包存入内部缓冲区。
这些数据包可能会因为网络抖动而乱序到达，所以需要重新排序。
2. **重排序**：缓冲区内的数据包会根据它们的序列号进行排序。
序列号是RTP头部的一部分，用于标识数据包的顺序。
正确的顺序对于解码器正确解码音视频流至关重要。
3. **延迟播放**：为了减少抖动带来的影响，`rtpjitterbuffer`会引入一定的延迟。
这意味着即使数据包早到，也不会立即被处理，而是等待直到一个预设的时间点。
这样可以为之后到达的乱序包提供时间进行排序，并确保连续的数据流。
4. **丢包处理**：在网络传输过程中，数据包可能会丢失。
`rtpjitterbuffer`可以通过各种机制来处理丢包情况，例如利用前后相邻的数据包来估计丢失包的内容，或者使用特殊的FEC（Forward Error Correction，前向错误纠正）技术来恢复丢失的数据。
5. **超时处理**：如果一个数据包在超过特定时间后仍未到达，`rtpjitterbuffer`可能会判定该数据包已经丢失，并根据配置的策略进行处理，比如跳过或者插入静音/黑帧等。
6. **适应性调整**：`rtpjitterbuffer`还可能实现一些适应性算法，根据网络状况动态调整缓冲时间，以优化播放体验和减少延迟。
`rtpjitterbuffer`通常配合其他GStreamer插件使用，比如`rtpbin`，它封装了多个与RTP 相关的功能，包括`rtpjitterbuffer`，以便于处理复杂的RTP流媒体场景。
Gstreamer培训资料
——配置及使用 ——配置及使用研究发展部Gstreamer2010-6-245061167971• • • • • •Gstreamer 是什么 Gstreamer的组成结构 Gstreamer的组成结构 Gstreamer的通信机制 Gstreamer的通信机制 Gstreamer怎样配置安装 Gstreamer怎样配置安装 怎么使用Gstreamer 怎么使用Gstreamer 怎么编写Gstreamer 怎么编写Gstreamer插件 Gstreamer插件2010-6-245061167972Gstreamer 是什么Gstreamer ： 是linux上的开源的(Multi-media Framework) 多媒体应用框架 实现语言： C语言 面向对象： GlibGlib浅析GObject对象系统Glib工具集基本设计思想: 来自于俄勒冈(Oregon)研究生学院有关视频管道的创意, 同时也借鉴了 DirectShow的设计思想, 使得在同一框架下编写任意类型的流媒体应用程序成为 了可能 。
在编写处理音频、视频或者两者皆有的应用程序时, 变得非常简单。
同 时GStreamer并不受限于音频和视频处理, 它能够处理任意类型的数据流。
最显著的用途：1. 2. 3. 4. 构建音视频播放器 编辑音视频文件 音视频格式转换 流媒体服务2010-6-245061167973Gstreamer 是什么版本发布历史： 0.0.1 – 10th 0.3.0 – 12th 0.4.0 – 5th 0.6.0 – 1st 0.8.0 – 16th 0.10.0 - 5th June 1999 Dec 2001 July 2002 Feb 2003 March 2004 Dec 2005最新版本： gstreamer-0.10.29 27-Apr-2010 当前使用： gstreamer-0.10.28 08-Mar-2010 下载地址：/src/ 网站： / /2010-6-245061167974Gstreamer的组成结构 Gstreamer的组成结构（整体构架） 整体构架）Gstreamer Tools gst-inspect gst-launch gst-editor Media Player Gstreamer Applications VoIP & Video Conference Streaming Server Video Editor (….)Gstreamer Core Framework多媒体应用接口 插件构架 管道构架 媒体类型协商机制 150多个插件 一些工具集3rd Part Plugins2010-6-245061167975Gstreamer的组成结构 Gstreamer的组成结构（文件系统） 文件系统）模块 gstreamer gst-plugins-base gst-plugins-good gst-plugins-ugly gst-plugins-bad gst-plugins-gl gst-ffmpeg gnonlin gst-python gstreamer-sharp gst-rtsp-server gst-plugins gst-editor gst-recorder gst-monkeysaudio2010-6-24描述 core library and elements an essential exemplary set of elementsstable version 0.10.29 0.10.29a set of good-quality plug-ins under our 0.10.23 preferred license, LGPL a set of good-quality plug-ins that might pose 0.10.15 distribution problems a set of plug-ins that need more quality plug-in and helper libraries for OpenGL integration FFmpeg-based plug-in Non-linear editing elements python bindings C#/.NET bindings RTSP server additional elements graphical pipeline editor audio/video recorder Monkey's Audio plug-in5061167970.10.19 0.10.1 0.10.10 0.10.15 0.10.18 0.9.2 0.10.5 0.8.12 0.8.0 N/A 0.8.06Gstreamer的组成结构 Gstreamer的组成结构（组成元素） 组成元素）Elements 具有一定功能的基本单元。
怎样编译和配置GStreamer？
怎样编译和配置GStreamer？原⽂地址：怎样编译和配置GStreamer？作者：萧⽊GStreamer作为⼀个开源的multimedia framework，在多媒体开发中被⼴泛应⽤。
GStreamer⽆疑是⼀个美观的设计，但初学者往往觉得结构复杂，难以掌握。
编译起来也很⿇烦：）本⽂列出了编译和配置GStreamer的主要步骤，给需要的⼈提供⼀个参考。
像其它的Linux开源项⽬⼀样，GStreamer也是采⽤包括autoconf,automake在内的GNU build system来编译的。
⽽且，GStreamer在编译和安装时还要依赖于其它的库，这些库⾄少包括：pkg-configGLiblibxml2liboil这些库都使⽤pkg-config来提供include路径和library路径等编译信息，⽽不是像很多开源项⽬⼀样在执⾏configure脚本的时候⽤CPPFLAGS/CFLAGS环境变量来指定。
这些库很容易通过google找到，⼀般以“*.tar.gz”或“*.tar.bz2”压缩⽂件的形式存在。
使⽤tar命令解压：tar xzf *.tar.gz或tar xjf *.tar.bz2解压后⼀般会⽣成⼀个源⽂件⽬录，先⾯的命令都要进⼊到各个库的源⽂件⽬录内执⾏。
具体编译和安装步骤如下：（1）确定各个库的安装路径。
为描述⽅便，假设如下的安装路径：pkg-config: /usr/local/install-pkg-config/Glib: /usr/local/install-glib/libxml2: /usr/local/install-libxml2/liboil: /usr/local/install-liboil/GStreamer Core: /usr/local/install-gstcore/GStreamer Base Plugins: /usr/local/install-plugins-base/（2）设置环境变量。
gstreamer 参数
gstreamer 参数
GStreamer是一个功能丰富、灵活且可扩展的多媒体框架。
它
支持使用命令行参数进行配置和控制。
下面是一些常用的GStreamer参数：
1. --gst-version：显示安装的GStreamer版本信息。
2. --gst-debug-level：设置调试信息的显示级别。
3. --gst-debug：启用或禁用调试信息的显示。
4. --gst-plugin-path：指定GStreamer插件的搜索路径。
5. --gst-plugin-load：加载指定的GStreamer插件。
6. --gst-disable-segtrap：禁用GStreamer的段错误捕获机制。
7. --gst-disable-registry-fork：禁用GStreamer的注册表分支。
8. --gst-mask：设置插件的掩码，用于选择性地禁用指定插件。
9. --gst-disable-registry-update：禁用GStreamer注册表的更新。
这里只列举了一些常用的参数，你可以在GStreamer的官方文
档中找到更详细的参数说明和使用方法。
gstreamer插件工作原理与流程分析
gstreamer插件工作原理与流程分析gstreamer plugins的工作同所有的基于插件的程序的工作原理类似，本质上都是通过读取动态库实现的，只需要每个动态库都实现某一个特定的接口就可以了，比如XX_init 等，gstreamer统一使用plugin_init。
里面会有个像注册表一样的数据结构会存储所有的插件的信息。
（1）在应用程序启动时，会调用gst_init--->gst_init_check。
gst_init_check函数将用于初始化gstreamer函数库，建立内部的路径列表，注册内置元件以及加载标准plugins(插件)。
（2）在gst_init_check函数中将调用init_post函数，它将设置日志处理器函数，初始化gst_format，并为gst_object注册一系列类型等等。
在init_post函数中还将调用gst_update_registry函数，强制gstreamer对它的plugin所在路径进行重新扫描，并且更新默认的plugin registry(登记处，注册处)。
读取注册库（处）信息是通过调用ensure_current_registry来实现的。
首先，它会逐个去先后读取系统环境变量GST_REGISTRY，GST_REGISTRY_UPDATE以及GST_REGISTRY_FORK。
其次，在读取完这些环境变量后，程序将知道是否要更新registry。
最后，调用scan_and_update_registry函数，监测registry的变化并且最终更新registtry缓存。
（3）在上面提到的scan_and_update_registry函数中，将会去读取GST_PLUGIN_PATH环境变量。
在读取完环境变量后，将先调用gst_registry_remove_cache_plugins清除过时的plugin消息，然后调用gst_registry_binary_write_cache更新registry cache。
Gstreamer工作原理分析
Tech Gstreamer工作原理分析Guide目录1.ABSTRACT (3)2.INTRODUCTION (3)3.原理分析 (3)3.1术语介绍. (3)3.1.1元素 (3)3.1.2一些特别的元素。
(3)3.2插件的工作原理。
(5)3.3G ST-LAUNCH的工作逻辑 (7)3.4动态PIPELINE的创建原理 (9)3.5D ECODEBIN的工作原理 (10)3.6T YPEFIND的实现原理 (12)3.7S ETUP ELEMENT (12)3.8P LAYBIN的工作原理 (14)3.9数据流动 (16)3.10总结 (20)4.REFERENCE (20)1. Abstract主要讲的是gstreamer的工作原理，包括gst-launch的分析和playbin的分析，以及数据的流动分析。
2. Introduction先介绍一些术语，然后介绍了插件的工作原理，后面接着介绍了gst-launch,playbin,decodebin,typefind,数据流动.3. 原理分析3.1术语介绍.3.1.1 元素代码里面的类型是GstElement,可以理解为gstreamer里面的基类。
3.1.2 一些特别的元素。
Source:可以理解为源头，也就是数据流的起始地，就像长江的发源地是沱沱河一样。
Sink:就是这个数据流最终要流向的地方，就像长江最终要流向东海一样。
Filter:过滤器，就像是筛子一样滤掉我们不感兴趣的东西，流下我们想要的东西，或者从代码上来说就是拦截下数据，对这个数据做一定的修改或者其它动作，当然你什么也不做也是可以的，然后再把数据传出去：Pipeline:典型的pipeline是这样的：更复杂一点的：Bin:有点像pipeline，它们的区别就是pipeline肯定是一个bin，但bin不一定是pipeline，它就像一个盒子，里面放了什么东西你可以不关心。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
介绍：这片文档是基于gstreamer-0.10.35来讲的，详细介绍了gstreamer core里面提供的功能。
如有问题请联系****************,转载请标明出处。
GStreamer概念是一个用来创建流媒体应用程序的非常强大和通用的框架，框架是基于插件的, 这些插件中提供了各种各样的多媒体数字信号编解码器,也有些提供了其他的功能。
所有的插件都能够被链接到任意的已经定义了的数据流管道中。
GStreamer的管道能够被GUI编辑器编辑, 能够以XML文件来保存。
这样的设计使得管道程序库的消耗变得非常少。
Gstreamer core作用GStreamer内核的本质是media-agnostic（不关心媒体类型），core/plugins是分离。
我们了解的仅仅是字节和块，以及包含基本的元件，GStreamer内核的强大功能甚至能够实现底层系统工具，像cp，核心库函数是一个处理插件、数据流和媒体操作的框架。
所有的媒体处理功能都是由插件从外部提供给内核的，并告诉内核如何去处理特定的媒体类型。
GStreamer核心库还提供了一系列API, API是开放给程序员使用的---当程序员需要使用其他的插件来编写他所需要的应用程序的时候可以使用它。
元件和插件在插件的开发中，一个元件就是继承于GstElement 的一个对象。
元件在与其他元件连接时提供了如下一些功能：例如，一个源元件为一个流提供数据，一个滤镜元件对流中的数据进行操作。
没有了元件，GStreamer 只是一堆概念性的管道，没有任何东西可供连接。
GStreamer已经自带了一大堆元件，但是我们仍然可以编写额外的元件。
然而，仅仅写一个新的元件并不够，为了使GStreame r 能够使用它，你必须将元件封装到一个插件中。
一个插件是一块可以加载的代码，通常被称为共享对象文件（shared object file）或动态链接库（dynamically linked library）。
一个插件中可以包含一个或若干element。
Gstreamer core文件目录Common 放一些共用的配置文件，主要是一些m4（备注1）类型的预处理文件Docs 放置文本文件，供开发人员查看Gst gstreamer核心文件（提供给lib里面元件class实现的函数和core提供给app的函数）Libs gstreamer提供不可被应用调用的元件，是某些元件的parent class，封装了上面gst的函数M4 m4类型的预处理文件Pkgconfig 放置编译时pkgconfig（备注2）需要用到的pc文件Plugins gstreamer提供一些最基本的elementsPo 放置一些po（备注3）类型的文本文件，gstreamer打印输出的多国语言Scripts 安装卸载脚本Tests 测试程序Tools 一些工具win32 Building GStreamer on Windows备注：1 、m4是一个适合各种文本处理应用的通用工具，和你熟知的C预处理器（cpp）并无不同，它常用于编译器前端，在很多地方超过cpp。
读取输入文本，处理之（宏替换或扩展），输出生成的新文本。
宏定义中可包含一集参数，并且可以指定实际参数被扩展的位置。
2、为什么需要pkgconfig，当你发布一个源码包时，你肯定在你的机器上编译通过，但是到别的用户机器上就未必编译通过，这是因为你源码包里面连接的库在不同的机器上安装的路径不同，你不可能发布一个源码包还带上连接库的路径要求，pkgconfig为解决以上问题提供了一个优美方案。
从此，你再也不为此担忧了。
Pkgconfig提供了下面几个功能：●检查库的版本号。
如果所需要的库的版本不满足要求，它会打印出错误信息，避免链接错误版本的库文件。
●获得编译预处理参数，如宏定义，头文件的位置。
●获得链接参数，如库及依赖的其它库的位置，文件名及其它一些连接参数。
●自动加入所依赖的其它库的设置。
这一切都自动的，库文件安装在哪里都没关系！在使用前，我们说说pkgconfig的原理，pkgconfig并非精灵，可以凭空得到以上信息。
事实上，为了让pkgconfig可以得到这些信息，要求库的提供者，提供一个.pc文件。
一般放在/pkgconfig里，当然也可以放在其它任何地方，如像X11相关的pc文件是放在/usr/X11R6/lib/pkgconfig下的。
为了让pkgconfig 可以找到你的pc文件，你要把pc文件所在的路径，设置在环境变量PKG_CONFIG_PATH里。
pkg-config --cflags gtk+-2.0 gthread-2.03、po文件是GNU gettext项目的一套应用规范。
属于L10n方案。
“po”是: Portable Object(可跨平台对象)的缩写文件类型：Portable Object扩展名为.po的文件是一个开发文件。
文件说明：Text-based object file used in software development; may be referenced by Java programs, GNU gettext, or other software programs as a properties file; saved in a human-readable format that can be viewed in a text editor..poGstreamer core架构Gstreamer core提供的功能分为两个部分：提供基本元件class原型以及class实现的函数提供应用程序创建一个gstreamer媒体实例的api，以及保证实例运行的各种机制api。
包括：Taskbus（message）多级bus，根据pipeline的拓扑结构data（event，buf）clock（av sync）Gstreamer core task功能1.总论是GStreamer streaming threads的一个封装，被#GstElement and #GstPad使用，基于#GstPipeline提供数据处理的线程。
/*** SECTION:gsttask* @short_description: Abstraction of GStreamer streaming threads.* @see_also: #GstElement, #GstPad** #GstTask is used by #GstElement and #GstPad to provide the data passing* threads in a #GstPipeline.*2.task与element关系task创建和运行都是由element的状态改变引起的，因此需要理解element一些知识element是pipeline的最小组成部分。
element提供了多个pads，或者为sink，或者为source。
一个element有四种可能的状态，分别是NULL，READY，PAUSED，PLAYING。
状态变迁NULL-->READYGST_STATE_NULL 是element 的缺省状态。
这种状态下，没有分配任何运行时资源，也没有加载任何运行时库，显然此时不能处理数据。
GST_STATE_READY 是下element 的下一个状态。
在READY 状态下，一个element 拥有所有的缺省资源（运行时库，运行时内存）。
然而，所有流相关的东西还没有被分配或定义。
当从NULL 状态过渡到READY状态时（GST_STATE_CHANGE_NULL_TO_READY），一个element 应该分配所有的非流相关的资源以及加载所有运行时库（如果有的话）。
反过来，（从READ Y 到NULL 状态GST_STATE_CHANGE_READY_TO_NULL），一个element 应该卸载这些库并释放所有分配的资源。
硬件设备就是这种资源的一个例子。
注意，文件通常是流，应当被视为流相关的资源，因此不应该在该状态下分配。
NULL和READY状态下，element不对数据做任何处理READY-->PAUSED1 激活pad，返回ASYNC，然后起stream thread线程才把状态改变的事情做完，直到sink pad 收到first buffer，阻塞住，这时才真正算状态改变完，用get_state可以查询到2 管道running_time归零3 如果是live source返回NO_PREROLL，不产生数据（live source是即使暂停也会产生数据的源，比如net和camera）PAUSE状态介于两者之间，对数据进行preroll，目的是为后续的PLAYING状态准备好数据，使得PLAYING启动的速度更快。
element的状态转换成PAUSE会激活element的pad。
首先是source pad被激活，然后是sink pad。
pad被激活后会调用activate函数，有一些pad会启动一个Task。
GST_STATE_PAUSED 下element 已准备好接受并处理数据。
对多数element 来说，这个状态和PLAYING 状态是一样的。
唯一的例外是sink elements。
sink elements 只接受一个buffer 然后阻塞。
在这种情况下管道处于'prerolled'并且准备好可以立即将数据画出。
PAUSED-->PLAYING （大部分元件忽略这个状态）1 管道选择时钟分发到每个子元件，也就是同步时钟只发生在PLAYING时2 管道把clock running_time计算出来的base_time分发到每个子元件(change_state时)3 sink衬垫不再阻塞buffer/event，开始render数据4 live source开始产生数据PLAYING状态对数据进行处理GST_STATE_PLAYING 是element 的最高状态。
对多数element 来说，该状态和PAUSED 状态是完全一样的，它们接受并处理事件和缓冲区数据。
只有sink elements 需要区分PAUSED 和PALAYING 状态。
在PLAYING状态下，sink elements 才真正将到达的数据输出（render），例如，将音频输出到声卡或将视频画面输出到image sink 上。
PLAYING-->PAUSED（大部分元件忽略这个状态）1 如果sink此时无buffer在手一定要等收到buffer才能完成状态改变。