基于ffmpeg截取视频帧画面

sep

看到有人发了嵌入式Linux通过帧缓存截图 - Embedded Linux Framebuffer Screenshot，我在前些时间也做了一些类似的工作，不过我截的是视频文件的帧画面。文章我在blog内发表了，现看到有人做了相似的工作，一起凑个热闹。文章写的有点乱，精力有限，不进行修改了。


2010/4/10

说起某科学的超电磁炮，从我漫长的动漫生涯来看，其实并不算一部顶尖之作。但是其OP动人心弦，确为绝佳。在片头动感的音乐中，首先出现的是经典的黑白场景，对炮姐从脚到头作一次扫描，接着停格在炮姐的拼发电流的手上，画面渐入彩色。这短短的几秒钟，令我兴奋难以自抑。
之后，我就一直在纠结了。因为太过喜欢那几帧画面，想取来做桌面壁纸、屏保、手机屏保。但是在网上老找不到这些图片，或者质量太次。纠结了几个月，前两天忽然想起之前曾详细分析过ffmpeg的源码的，为什么不自己写个软件从stream中抓frame呢？于是立马动手做这件事。欲望才是创作的原动力啊，对炮姐的爱令我心中满怀热情。有人问我：为啥不播放时printscreen呢？但是printscreen可以实现某个时间段的连续帧获取吗？


开发环境：Debian /Etch


准备工作：
1、  svn checkout svn://svn.mplayerhq.hu/ffmpeg/trunk ffmpeg（下载最新版本的ffmpeg）
2、  cd ffmpeg
3、  ./configure --enable-gpl --enable-shared --prefix=/usr（编译为动态库，懒得改.bash_profile，prefix路径选/usr，默认为/usr/local）
4、  make（编译，如果要用到ffplay的话，先sudo apt-get install libsdl-dev,ffplay.c用到sdl的库）
5、  sudo make install（安装lib和include file，注意include file分几个目录存放的，不像之前版本那样统一放到/usr/include/ffmpeg下）
注：在进行这些准备工作前，最好将之前安装的ffmpeg的lib和include file全部清除干净。我一开始用的20071007的版本，再换成latest ffmpeg，编译的时候可以过去，但是运行时老出错。开始时我还以为新版本的ffmpeg的接口有非常非常大的改变，在我程序上找了很长时间无果。最后清除了20071007版的ffmpeg后，编译，顺利运行。


编写代码：
代码附录如后，现不对代码作详细说明，对于ffmpeg的架构及api使用，可参考《FFMpeg框架代码阅读》、《Using libavformat and libavcodec》。之后我应该会整理更详细一点的架构文档说明。这段代码我很大程度上参考了Using libavformat and libavcodec中的avcodec_sample.cpp，其实解码过程都是一样的，这点同样可以从ffmpeg里的例子如ffplay.c、seek_test.c中找到。
由于版本的更新，我修正了一些接口，主要是img_convert换成sws_scale，av_read_packet换成av_read_frame；实现了bmp的编码，话说bmp的标准也真是简单啊。

编译运行：
1、  gcc railgun.c -lavutil -lavformat -lavcodec –lswscale（文件名我都用railgun了，炮姐可以感受到我的爱了吧）
2、  ./a.out To_Aru_Kagaku_no_Railgun.mkv（哇啦啦，产生200张1980*1080的bmp图片，片源是1080P的BDrip，从哪一帧开始到哪一帧结束，可修改代码）

后续工作：可定位某个时间点的frame。事实上我用另外一个片源（avi格式，视频编码mpeg）已经实现了，但MKV的我死活搞不定，现在还不知道这个跟format还是跟codec有关。值得进一步研究。同时还有编解码、音视频同步、字幕显示等等很多东西，以后要先挑一个具体分析才行。

最后，我在相册发了一些炮姐的图片，全是我用这个工具提取出来的。不过CU相册有上传大小限制，我转为jpeg了。


2010/4/13

1、img_convert_ctx = sws_getContext(dec->width, dec->height, dec->pix_fmt, dec->width, dec->height, PIX_FMT_RGB24, SWS_BICUBIC, NULL, NULL, NULL);语句中PIX_FMT_RGB24应该为PIX_FMT_BGR24。否则BMP色彩变样。原来由于图片是黑白的，所以没及时发现。后来取彩色图片时，发现青春靓丽的炮姐变整一个阿凡达了，失礼失礼。

2、总算实现了取某个时间段的frame。使用方法：./a.out air.mpg 000130 000132 （取air.mpg00:01:30--00:01:32的所有帧）

总体思路是：
timestamp = nSec * AV_TIME_BASE;
timestamp = av_rescale_q(timestamp, AV_TIME_BASE_Q, ic->streams[videoStream]->time_base);
avformat_seek_file(ic, videoStream, INT64_MIN, timestamp, timestamp, 0);

看avformat_seek_file的prototype说明，这个接口是新接口，之后可能会有新的变化，要留意这一点。
另外用这种方法来seek frame，似乎时间定位不准，存在一定的偏差（偏差貌似是按相等比例的，可以微调。也不打算继续改进了，以后的重点会转向编解码或图像处理）。
再有就是运行时会提示：[mpeg1video @ 0x804c300]warning: first frame is no keyframe，前面几帧图片失真。

sep

1. // railgun.c
   
2. 
   
3. // A small sample program that shows how to use libavformat and libavcodec to
   
4. // read video from a file and write frame to a bmp file.
   
5. //
   
6. // Use
   
7. //
   
8. // gcc railgun.c -lavutil -lavformat -lavcodec -lswscale
   
9. //
   
10. // to build (assuming libavformat and libavcodec are correctly installed on
    
11. // your system).
    
12. //
    
13. // Run using
    
14. //
    
15. // ./a.out air.mpg 000130 000132
    
16. //
    
17. // to write frames(00:01:30--00:01:32) from "air.mpg" to disk in BMP
    
18. // format.
    
19. 
    
20. #include <stdlib.h>
    
21. #include <stdio.h>
    
22. #include <string.h>
    
23. #include <math.h>
    
24. 
    
25. #include <libavformat/avformat.h>
    
26. #include <libswscale/swscale.h>
    
27. 
    
28. #undef sprintf
    
29. #undef uint8_t
    
30. #undef uint16_t
    
31. #undef uint32_t
    
32. #define uint8_t unsigned char
    
33. #define uint16_t unsigned short
    
34. #define uint32_t unsigned long
    
35. 
    
36. #pragma pack(2)
    
37. typedef struct BMPHeader
    
38. {
    
39.     uint16_t identifier;
    
40.     uint32_t file_size;
    
41.     uint32_t reserved;
    
42.     uint32_t data_offset;
    
43. } BMPHeader;
    
44. 
    
45. typedef struct BMPMapInfo
    
46. {
    
47.     uint32_t header_size;
    
48.     uint32_t width;
    
49.     uint32_t height;
    
50.     uint16_t n_planes;
    
51.     uint16_t bits_per_pixel;
    
52.     uint32_t compression;
    
53.     uint32_t data_size;
    
54.     uint32_t hresolution;
    
55.     uint32_t vresolution;
    
56.     uint32_t n_colors_used;
    
57.     uint32_t n_important_colors;
    
58. }BMPMapInfo;
    
59. 
    
60. int CreateBmpImg(AVFrame *pFrame, int width, int height, int iFrame)
    
61. {
    
62.     BMPHeader bmpheader;
    
63.     BMPMapInfo bmpinfo;
    
64.     FILE *fp;
    
65.     int y;
    
66.     char filename[32];
    
67.    
    
68.     // Open file
    
69.     memset(filename, 0x0, sizeof(filename));
    
70.     sprintf(filename, "%d.bmp", iFrame);
    
71.     fp = fopen(filename, "wb");
    
72.     if(!fp)return -1;
    
73. 
    
74.     bmpheader.identifier = ('M'<<8)|'B';
    
75.     bmpheader.reserved = 0;
    
76.     bmpheader.data_offset = sizeof(BMPHeader) + sizeof(BMPMapInfo);
    
77.     bmpheader.file_size = bmpheader.data_offset + width*height*24/8;
    
78. 
    
79.     bmpinfo.header_size = sizeof(BMPMapInfo);
    
80.     bmpinfo.width = width;
    
81.     bmpinfo.height = height;
    
82.     bmpinfo.n_planes = 1;
    
83.     bmpinfo.bits_per_pixel = 24;
    
84.     bmpinfo.compression = 0;
    
85.     bmpinfo.data_size = height*((width*3 + 3) & ~3);
    
86.     bmpinfo.hresolution = 0;
    
87.     bmpinfo.vresolution = 0;
    
88.     bmpinfo.n_colors_used = 0;
    
89.     bmpinfo.n_important_colors = 0;
    
90. 
    
91.     fwrite(&bmpheader,sizeof(BMPHeader),1,fp);
    
92.     fwrite(&bmpinfo,sizeof(BMPMapInfo),1,fp);
    
93.     for(y=height-1; y>=0; y--)
    
94.         fwrite(pFrame->data[0]+y*pFrame->linesize[0], 1, width*3, fp);
    
95.     fclose(fp);
    
96. 
    
97.     return 0;
    
98. }
    
99. 
    
100. //解码指定videostream，并保存frame数据到pFrame上
     
101. //返回: 0--成功，非0--失败
     
102. int DecodeVideoFrame(AVFormatContext *pFormatCtx, AVCodecContext *pCodecCtx,
     
103.     int videoStream, int64_t endtime, AVFrame *pFrame)
     
104. {
     
105.     static AVPacket packet;
     
106.     static uint8_t *rawData;
     
107.     static int bytesRemaining = 0;
     
108.     int bytesDecoded;
     
109.     int frameFinished;
     
110.     static int firstTimeFlag = 1;
     
111. 
     
112.     if (firstTimeFlag)
     
113.     {
     
114.         firstTimeFlag = 0;
     
115.         packet.data = NULL;//第一次解frame，初始化packet.data为null
     
116.     }
     
117. 
     
118.     while (1)
     
119.     {
     
120.         do
     
121.         {
     
122.             if (packet.data == NULL) av_free_packet(&packet); //释放旧的packet
     
123.             if (av_read_frame(pFormatCtx, &packet) < 0)
     
124.             {
     
125.                 //从frame读取数据保存到packet上，<0表明到了stream end
     
126.                 printf("-->av_read_frame end\n");
     
127.                 goto exit_decode;
     
128.             }
     
129.         } while (packet.stream_index != videoStream); //判断当前frame是否为指定的video stream
     
130. 
     
131.         //判断当前帧是否到达了endtime，是则返回false，停止取下一帧
     
132.         if (packet.pts >= endtime) return -1;
     
133.         
     
134.         bytesRemaining = packet.size;
     
135.         rawData = packet.data;
     
136. 
     
137.         while (bytesRemaining > 0)
     
138.         {
     
139.             bytesDecoded = avcodec_decode_video(pCodecCtx, pFrame, &frameFinished, rawData, bytesRemaining);
     
140.             if (bytesDecoded < 0) return -1;
     
141. 
     
142.             bytesRemaining -= bytesDecoded;
     
143.             rawData += bytesDecoded;
     
144. 
     
145.             if (frameFinished) return 0;
     
146.         }
     
147.     }
     
148. 
     
149. exit_decode:
     
150.     bytesDecoded = avcodec_decode_video(pCodecCtx, pFrame, &frameFinished, rawData, bytesRemaining);
     
151.     if(packet.data != NULL) av_free_packet(&packet);
     
152.     if (frameFinished != 0) return 0;
     
153.     return -1;
     
154. }
     
155. 
     
156. void usage(const char *function)
     
157. {
     
158.     printf("Usage: %s [File Name] [Start Time] [End Time]\n", function);
     
159.     printf("Ex: ./railgun panda.mpg 003005 003010\n");
     
160.     printf("Time Format: HrsMinsSecs. Ex 003005 means 00 hours 30 minutes 05 senconds\n");
     
161.     printf("\n");
     
162. }
     
163. 
     
164. void ParseTime(char strStartTime[], int64_t *pStartSec,
     
165.     char strEndTime[], int64_t *pEndSec)
     
166. {
     
167.     int64_t starttime = 0, endtime = 0;
     
168.     if (strStartTime && pStartSec)
     
169.     {
     
170.         starttime = atoi(strStartTime);
     
171.         *pStartSec = (3600*starttime/10000) + \
     
172.                 (60*(starttime%10000)/100) + \
     
173.                 (starttime%100);
     
174.     }
     
175. 
     
176.     if (strEndTime && pEndSec)
     
177.     {
     
178.         endtime = atoi(strEndTime);
     
179.         *pEndSec = (3600*endtime/10000) + \
     
180.                 (60*(endtime%10000)/100) + \
     
181.                 (endtime%100);
     
182.     }
     
183. }
     
184. 
     
185. int main(int argc, char *argv[])
     
186. {
     
187.     const char *filename;
     
188.     AVFormatContext *ic = NULL;
     
189.     AVCodecContext *dec = NULL;
     
190.     AVCodec *codec = NULL;
     
191.     AVFrame *frame = NULL;
     
192.     AVFrame *frameRGB = NULL;
     
193.     uint8_t *buffer = NULL;
     
194.     int numBytes;
     
195.     int i, videoStream;
     
196.     int64_t startTime = 0;
     
197.     int64_t endTime = 0;
     
198.     static struct SwsContext *img_convert_ctx = NULL;
     
199. 
     
200.     // Register all formats and codecs
     
201.     av_register_all();
     
202. 
     
203.     filename = argv[1];
     
204. 
     
205.     // parse begin time and end time
     
206.     if (argc == 3)
     
207.         ParseTime(argv[2], &startTime, NULL, NULL);
     
208.     else if (argc == 4)
     
209.         ParseTime(argv[2], &startTime, argv[3], &endTime);
     
210.     else
     
211.     {
     
212.         usage(argv[0]);
     
213.         return -1;
     
214.     }
     
215.     startTime *= AV_TIME_BASE;
     
216.     endTime *= AV_TIME_BASE;
     
217.    
     
218.     // Open video file
     
219.     if(av_open_input_file(&ic, filename, NULL, 0, NULL)!=0)
     
220.     {
     
221.         fprintf(stderr, "Cannt open input file\n");
     
222.         usage(argv[0]);
     
223.         goto exit_err;
     
224.     }
     
225. 
     
226.     // Retrieve stream information
     
227.     if(av_find_stream_info(ic)<0)
     
228.     {
     
229.         fprintf(stderr, "Cannt find stream info\n");
     
230.         goto exit_err;
     
231.     }
     
232. 
     
233.     // Dump information about file onto standard error
     
234.     dump_format(ic, 0, filename, 0);
     
235. 
     
236.     // Find the first video stream
     
237.     videoStream=-1;
     
238.     for(i=0; i<ic->nb_streams; i++)
     
239.         if(ic->streams[i]->codec->codec_type==CODEC_TYPE_VIDEO)
     
240.         {
     
241.             videoStream=i;
     
242.             break;
     
243.         }
     
244.     if(videoStream==-1)
     
245.     {
     
246.         fprintf(stderr, "No video stream\n");
     
247.         goto exit_err;
     
248.     }
     
249. 
     
250.     // Get a pointer to the codec context for the video stream
     
251.     dec=ic->streams[videoStream]->codec;
     
252.     // Find the decoder for the video stream
     
253.     codec=avcodec_find_decoder(dec->codec_id);
     
254.     if(codec==NULL)
     
255.     {
     
256.         fprintf(stderr, "Found no codec\n");
     
257.         goto exit_err;
     
258.     }
     
259.     // Open codec
     
260.     if(avcodec_open(dec, codec)<0)
     
261.     {
     
262.         fprintf(stderr, "Cannt open avcodec\n");
     
263.         goto exit_err;
     
264.     }
     
265. 
     
266.     // Allocate video frame
     
267.     frame=avcodec_alloc_frame();
     
268.     // Allocate an AVFrame structure
     
269.     frameRGB=avcodec_alloc_frame();
     
270.     if(frameRGB==NULL)
     
271.     {
     
272.         av_free(frame);
     
273.         fprintf(stderr, "Cannt alloc frame buffer for RGB\n");
     
274.         goto exit_err;
     
275.     }
     
276.     // Determine required buffer size and allocate buffer
     
277.     numBytes=avpicture_get_size(PIX_FMT_RGB24, dec->width, dec->height);
     
278.     buffer=(uint8_t *)av_malloc(numBytes);
     
279.     if (!buffer)
     
280.     {
     
281.         av_free(frame);
     
282.         av_free(frameRGB);
     
283.         fprintf(stderr, "Cannt alloc picture buffer\n");
     
284.         goto exit_err;
     
285.     }
     
286.     // Assign appropriate parts of buffer to image planes in pFrameRGB
     
287.     avpicture_fill((AVPicture *)frameRGB, buffer, PIX_FMT_RGB24, dec->width, dec->height);
     
288. 
     
289.     img_convert_ctx = sws_getContext(dec->width, dec->height, dec->pix_fmt, dec->width, dec->height, PIX_FMT_BGR24, SWS_BICUBIC, NULL, NULL, NULL);
     
290.     if (img_convert_ctx == NULL) {
     
291.         fprintf(stderr, "Cannot initialize the conversion context\n");
     
292.         goto exit_err;
     
293.     }
     
294. 
     
295.     // Seek frame
     
296.     startTime = av_rescale_q(startTime, AV_TIME_BASE_Q, ic->streams[videoStream]->time_base);
     
297.     endTime = av_rescale_q(endTime, AV_TIME_BASE_Q, ic->streams[videoStream]->time_base);
     
298.     avformat_seek_file(ic, videoStream, INT64_MIN, startTime, startTime, 0);
     
299.    
     
300.     // Read frames and save first five frames to dist
     
301.     i=0;
     
302.     while(!DecodeVideoFrame(ic, dec, videoStream, endTime, frame))
     
303.     {
     
304.         // Save the frame to disk
     
305.         i++;
     
306.         sws_scale(img_convert_ctx, (AVPicture*)frame->data, (AVPicture*)frame->linesize,
     
307.             0, dec->height, (AVPicture*)frameRGB->data, (AVPicture*)frameRGB->linesize);
     
308.         CreateBmpImg(frameRGB, dec->width, dec->height, i);
     
309.     }
     
310.    
     
311. exit_err:
     
312.     // Free the RGB image
     
313.     if (buffer)
     
314.         av_free(buffer);
     
315.     if (frameRGB)
     
316.         av_free(frameRGB);
     
317.     // Free the YUV frame
     
318.     if (frame)
     
319.         av_free(frame);
     
320.     // Close the codec
     
321.     if (dec)
     
322.         avcodec_close(dec);
     
323.     // Close the video file
     
324.     if (ic)
     
325.         av_close_input_file(ic);
     
326.     if (img_convert_ctx)
     
327.         sws_freeContext(img_convert_ctx);
     
328. 
     
329.     return 0;
     
330. }
     

复制代码