在Mac上绘制的YUV帧用OpenGL-cocoa,opengl,动画animation,ffmpeg,核心core-CodeGo.net
在Mac上绘制的YUV帧用OpenGL
我在解码数组与ffmpeg的库和存储视频解码。现在我想用OpenGL在屏幕上画出这些。我一派，发现苹果提供GL_APPLE_ycbcr_422格式进行有效的绘图。所以我切换解码的ffmpeg到PIX_FMT_YUYV422格式（打包YUV 4：2：2，16bpp的，Y0 Y1的Cb Cr）的，这似乎是GL_APPLE_ycbcr_422中的OpenGL等效的。现在我想利用表面以下代码：
GLsizei width = 2, height = 2;
uint8_t data[8] = {128,200,123,10,5,13,54,180};
GLuint texture_
glEnable(GL_TEXTURE_RECTANGLE_ARB);
assert(glGetError() == GL_NO_ERROR);
glGenTextures (1,&texture_name);
assert(glGetError() == GL_NO_ERROR);
glBindTexture(GL_TEXTURE_RECTANGLE_ARB, texture_name);
assert(glGetError() == GL_NO_ERROR);
glTextureRangeAPPLE(GL_TEXTURE_RECTANGLE_ARB, width * height * 2, (void*)data);
assert(glGetError() == GL_NO_ERROR);
glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_STORAGE_HINT_APPLE , GL_STORAGE_SHARED_APPLE);
assert(glGetError() == GL_NO_ERROR);
glPixelStorei(GL_UNPACK_CLIENT_STORAGE_APPLE, GL_TRUE);
assert(glGetError() == GL_NO_ERROR);
// not sure about code above
glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
assert(glGetError() == GL_NO_ERROR);
glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
assert(glGetError() == GL_NO_ERROR);
glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
assert(glGetError() == GL_NO_ERROR);
glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
assert(glGetError() == GL_NO_ERROR);
glPixelStorei(GL_UNPACK_ROW_LENGTH, 0);
assert(glGetError() == GL_NO_ERROR);
glViewport(0, 0, width,height);
assert(glGetError() == GL_NO_ERROR);
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
assert(glGetError() == GL_NO_ERROR);
glTexImage2D(GL_TEXTURE_RECTANGLE_ARB, 0, GL_RGB, width, height, 0,
GL_YCBCR_422_APPLE,GL_UNSIGNED_SHORT_8_8_APPLE,
(void*)data);
assert(glGetError() == GL_NO_ERROR);
glTexSubImage2D(GL_TEXTURE_RECTANGLE_ARB, 0, 0, 0, width, height,
GL_YCBCR_422_APPLE,GL_UNSIGNED_SHORT_8_8_APPLE,
(void*)data);
assert(glGetError() == GL_NO_ERROR);
glMatrixMode(GL_PROJECTION);
glLoadIdentity();
glScalef(1.0f, -1.0f, 1.0f);
glOrtho(0, width, 0, height, -1.0, 1.0);
glMatrixMode(GL_MODELVIEW);
glLoadIdentity();
glBegin(GL_QUADS);
glVertex3f(0, 0, -1.0f);
glVertex3f(width, 0, -1.0f);
glVertex3f(width, height, -1.0f);
glVertex3f(0, height, -1.0f);
但我没有看到正确的相反，我看到我的显示器损坏的照片。于是我明白了OpenGL是不正确的，也许我不明白的事情。
请帮忙纠正 CodeGo.net，并了解自己的错误。如果我RTFM请注意，将我没有找到信息的链接。
本文地址 ：CodeGo.net/2705367/
-------------------------------------------------------------------------------------------------------------------------
1.下面是在我的应用程序设置为YUV 4 1：2：2个textures目标从YUV数据上传被拉断的CCD的
glActiveTexture(GL_TEXTURE0);
glEnable(GL_TEXTURE_RECTANGLE_EXT);
glGenTextures(1, &textureName);
glBindTexture(GL_TEXTURE_RECTANGLE_EXT, textureName);
glTextureRangeAPPLE(GL_TEXTURE_RECTANGLE_EXT, videoImageSize.width * videoImageSize.height * 2, videoTexture);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_STORAGE_HINT_APPLE , GL_STORAGE_SHARED_APPLE);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameteri(GL_TEXTURE_RECTANGLE_EXT, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
glTexEnvi(GL_TEXTURE_ENV, GL_TEXTURE_ENV_MODE, GL_REPLACE);
glTexImage2D(GL_TEXTURE_RECTANGLE_EXT, 0, GL_RGBA, videoImageSize.width, videoImageSize.height, 0, GL_YCBCR_422_APPLE, GL_UNSIGNED_SHORT_8_8_REV_APPLE, videoTexture);
glBindTexture(GL_TEXTURE_RECTANGLE_EXT, 0);
实际上传到textures是以下内容：
glActiveTexture(GL_TEXTURE0);
glBindTexture(GL_TEXTURE_RECTANGLE_EXT, textureName);
glTexSubImage2D (GL_TEXTURE_RECTANGLE_EXT, 0, 0, 0, videoImageSize.width, videoImageSize.height, GL_YCBCR_422_APPLE, GL_UNSIGNED_SHORT_8_8_REV_APPLE, videoTexture);
在上述中，videoTexture是的原始字节的位置，从捕获的YUV过的，我在上面的苹果公司的存储提示，以加快上传，但我无法让自己的GL_UNPACK_CLIENT_STORAGE_APPLE优化进一步加快速度。
这是复制和粘贴到工作的应用程序，而我看到的唯一真正的区别是GL_RGBA而不是GL_RGB在getTexImage2D()和GL_UNSIGNED_SHORT_8_8_REV_APPLE而不是GL_UNSIGNED_SHORT_8_8_APPLE。无论是ARB和EXT矩形扩展解析到Mac上的东西。
本文标题 ：在Mac上绘制的YUV帧用OpenGL
本文地址 ：CodeGo.net/2705367/
Copyright (C) 2014 CodeGo.net8642人阅读
声明：原创博文，禁止转载。否则将追究法律责任！
要对YUV视频进行处理，首先要将视频保存为一帧帧的图片，对图片进行处理，也就是要读取YUV视频的数据。
下面结合代码，总结一下这两天掌握的内容。下面代码的功能，就是读取YUV视频指定帧的Y、U、V分量的值。通过这篇文章，会加深大家对YUV视频如何存储，以及MATLAB中文件读取功能的理解。
首先，读入YUV视频
function [Y,U,V]=yuv_import(filename,dims,numfrm,startfrm)% filename 为待处理YUV视频的名字。dims为视频大小，numfrm，我们要保存的帧数，startfrm，保存视频片段的起始帧。fid=fopen(filename,'r');
if (fid & 0)
error('File does not exist!');
filename是我们需要处理的yuv视频，例如'foreman.cif'，通过fid，获得这个视频的句柄，或者说是索引。我认为他的作用有定类似指针，通过fid，我们能定位到YUV视频指定的地方。可以认为fid现在指向YUV视频的最开始，也就是第一帧。如果不存在以filename命名的文件，那么fid为-1，如果存在，fid将是一个正数。
通过if语句，我们可以判断是否存在指定的视频，如果不存在，就提示'File does not exist!'的错误。
下面我们为保存图像作准备
Yd = zeros(dims(1),dims(2));
UVd = zeros(dims(1)/2,dims(2)/2);
dims是图像的尺寸，格式为[M H]，但是要注意的是，这里的M,H分别表示图像的宽和高。对于cif格式，即为[352 288]。
通过下面的语句，我们定位到开始读取图像的位置。
frelem = numel(Yd) + 2*numel(UVd);
if (nargin == 4) %go to the starting frame
fseek(fid, startfrm * frelem , 0);
frelem为YUV视频中一帧图像总的像素个数，至于为什么这样计算，大家需要首先了解下YUV格式，网上这方面的内容和诺，本篇文章先不作讲解。
通过fseek，我们就实现了定位的目的。讲一下fseek这个函数。&
STATUS = fseek(FID, OFFSET, ORIGIN) repositions the file position
indicator in the file associated with the given FID.
fseek sets the
position indicator to the byte with the specified OFFSET relative to
FID is an integer file identifier obtained from FOPEN.
OFFSET values are interpreted as follows:
Move position indicator OFFSET bytes after ORIGIN.
Move position indicator OFFSET bytes before ORIGIN.
ORIGIN values are interpreted as follows:
'bof' or -1
Beginning of file
Current position in file
End of file
上面讲的很清楚，这个函数通过OFFSET和ORIGIN定位FID所指向的位置。其中OFFSET代表移动的位置，&= 0，就从ORIGIN往后移动，相应的&0就往前移动。
ORGIN代表FID的起始位置。FID=-1，则指向文件的开头，FID = 0，指向当前位置，FID= 1,指向文件的结尾。
通过上面的讲解，fseek(fid, startfrm * frelem , 0);的作用就不难理解了，从当前位置，偏移startfrm帧图像，从而到达我们指定的起始帧。
准备工作完成，下面我们就可以读取YUV视频了。
Y = cell(1,numfrm);
U = cell(1,numfrm);
V = cell(1,numfrm);
for i=1:numfrm
Yd = fread(fid,[dims(1) dims(2)],'uint8');
Y{i} = Yd';
UVd = fread(fid,[dims(1)/2 dims(2)/2],'uint8');
U{i} = UVd';
UVd = fread(fid,[dims(1)/2 dims(2)/2],'uint8');
V{i} = UVd';
这段代码比较好理解，就是读取YUV视频里每一帧的Y、U、V分量并保存。只有一点需要说明，就是转置的问题。YUV视频是这样存储的，他把所有的像素值组成一个列向量。像素值是这样排序的，首先是Y分量的第一行像素值，之后是第二行，一直存完第一帧图像Y分量所遇行的像素值，然后再存U、V。所以这里先取W*H个数据组成一个[w H]矩阵，之后再转置。大家可以回去随便找几幅图像实验一下，通过实验就很好理解了。
这样我们就读出了指定帧的Y、U、V分量的值。我们可以分别imshow Y，U，C，分量，看看结果。
至于读出的YUV数据怎么转化成RGB图像，以及处理后如何再保存成YUV视频，我们之后再进行讲解。
PS：本文所指的视频是常用的4:2:0格式的YUV视频，如果格式不一样，可能需要一点改动。
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：149143次
积分：2230
积分：2230
排名：第13918名
原创：68篇
转载：23篇
评论：32条
(1)(3)(1)(1)(3)(3)(2)(1)(3)(2)(2)(1)(3)(5)(5)(4)(4)(4)(3)(6)(1)(2)(2)(1)(4)(4)(1)(5)(1)(5)(3)(5)(3)基于ffmpeg 获取视频帧保存成图像转成yuv图像序列_中华文本库
第1页/共8页
#include &stdio.h&
#include &windows.h&
#include "string.h"
#include "stdlib.h"
// #include "avcodec.h"
// #include "avformat.h"
// #include "avutil.h"
// #include "flvdec.h"
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libavutil/avutil.h"
#include "libswscale/swscale.h"
#pragma comment(lib,"avcodec.lib")
#pragma comment(lib,"avformat.lib")
#pragma comment(lib,"avutil.lib")
#pragma comment(lib,"swscale.lib")
bool GetNextFrame(AVFormatContext *pFormatCtx, AVCodecContext *pCodecCtx, int videoStream, AVFrame *pFrame)
static AVP
static int
bytesRemaining=0;
static uint8_t
static bool
fFirstTime=
int ii = 0;
// First time we're called, set packet.data to NULL to indicate it
// doesn't have to be freed
if(fFirstTime)
fFirstTime=
packet.data=NULL;
// Decode packets until we have decoded a complete frame
while(true)
// Work on the current packet until we have decoded all of it
while(bytesRemaining & 0)
第1页/共8页
寻找更多 ""