我们学习一种新事物必然首先都要对该事物要有个大体的了解,熟悉它的整体架构,然后进行划分归类,接下来才是各个击破,逐步学习乃至掌握。对于要学习android Multimedia的人来说也是如此,先来个总括吧 !我打算分三部分来讲解,请听我娓娓道来....
一:多媒体简介
为啥要讲多媒体的概念呢?可能很多人都对这个名称解释不怎么了解,所以在这普及普及。
媒体(Media)就是人与人之间实现信息交流的中介,简单地说,就是信息的载体,也称为媒介。多媒体是计算机和视频技术的结合,实际上它是两个媒体;声音和图像,或者用现在的术语:音响和电视。多媒体本身有两个方面,和所有现代技术一样它是由硬件和软件,或机器和思想混合组成。可以将多媒体技术和功能在概念上区分为控制系统和信息。多媒体之所以能够实现是依靠数字技术。多媒体代表数字控制和数字媒体的汇合,电脑是数字控制系统,而数字媒体是当今音频和视频最先进的存储和传播形式。事实上有人就简单地认为多媒体是电脑和电视的结合。电脑的能力达到实时处理电视和声音数据流的水平,这时多媒体就诞生了。
二:android多媒体框架演变历史
android 的多媒体框架从android诞生以来,发生了天翻地覆的变化,包括引擎的更改,单独处理流媒体的播放器nuplayer的加入,到最新jellybean(android4.1)nuplayer逐步加入stagefrightplayer的功能,可能以后stagefight引擎会被nuplayer取代,那都是后话了。但是openomx(即引擎连接codec的纽带)一直都得到了保持。
在Froyo2.2 以前,multimedia framework 的引擎是一直都是opencore,但为啥用stagefright替代呢,由于我没有开发过opencore,不便下结论,但从网上一些言论来看,估计是opencore太过庞大,不太好维护,具体真正原因就得问google了,如果你知道具体原因,可以给我留言,在此多谢了!
Gingerbread android2.3,加入了真正的支持流媒体的播发器nuplayer,如果你下有源码,可以用gitk \nuplayer,从gitk可以看到如下提交:Initial support for a true streaming player for mpeg2 transport streams. 2010.12。
android 3.0 到android 4.0 ,总体框架没有多大变化。
android4.1 (jellybean) 最大的变化是给c/c++部分的多媒体框架单独设立了一个framework/av的目录,给它开辟了一个git库,即从framework/base下的git库分离了出来,总算给多媒体找了个港湾。
三:jellybean多媒体架构
multimedia framework 架构 由三大部分构成:供上层程序调用的java API,连接java和C/C++的jni部分,多媒体引擎(stagefright)和codec接口(openmax interface)。前面两部代码在framework/base/media 下,后一部分在framework/av文件夹下。如果你修改的是java API接口或加LOG后编译可以用如下命令:make framework ,JNI 部分 make media_jni,第三部分有三个libs组成:libmedia ,libmediaplayerservice, libstagefright,命令如下 make media ,make stagefright , make mediaplayerservice. 生成各自的.so文件,用adb push 到system/下就可以调试了。记得重启!讲了好多废话,还是没有看到总体架构,罪过,好吧,上图,更直观。
从上两图,我们可以发现上层APK要播放视频,首先得获得一个player,而这个player的类型根据你媒体文件的类型来决定的,分配的任务由mediaplayerservice来完成,除了获得player外最主要的是到底选用哪种编码器进行编解码,这个过程由awesomeplayer和omxcodec来完成,至于声音和图像就交由audioflinger和surfaceflinger来完成了。具体的调用实现,下一篇videoplayerback将会慢慢讨论和学习。