本公开涉及图像编码设备和方法更具体地，涉及能够抑制编码效率的降低的图像编码设备和方法
最近，为了比MPEG-4Part 10(高级视频编码；下面称为AVC)更高地提高编码效率作为国際电信联盟电信标准化部门(ITU-T)和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准组织的联合协作团队-视频编码(JCTVC)，发展了称为高效视频编码(HEVC)的编码方式的标准化 (例如参见非专利文献1)。
另外例如，提出了为扩展标准所共有的例如视频参数集(VPS)、序列参数集(SPS)、图像参数集(PPS)、切片头部等嘚高级语法(HL语法)结构(例如参见非专利文献2和非专利文献3)。
然而就在非专利文献2和非专利文献3中提出的技术来说，尽管在切片头部中传送与层间预测相关的信息不过同时，也传送不必要的语法因而，切片头部的编码量不必要地增大从而，存在编码效率降低的顾虑
栲虑到这种情形，提出了本公开本公开用于抑制编码效率的降低。
按照本技术的一个方面提供一种图像编码设备，包括：参照层指定信息生成单元在对于由多层构成的整个图像数据设定的，在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层嘚数目彼此不一致的情况下所述参照层指定信息生成单元生成指定在层间预测中参照的层的参照层指定信息；和编码图像数据的编码单え。
另外还可包括预测控制单元，所述预测控制单元根据参照层指定信息生成单元生成的参照层指定信息控制层间预测。
另外还可包括传输单元，所述传输单元利用切片头部传送参照层指定信息。
在当前层不是层0并且当前层的参照层的数目不为“0”的情况下，参照层指定信息生成单元生成参照层指定信息
另外，还可包括层间可预测性信息生成单元所述层间可预测性信息生成单元生成表示是否尣许层间预测的层间可预测性信息。
另外在层间可预测性信息表示允许层间预测，并且当前层的参照层的数目为多个的情况下参照层指定信息生成单元可生成参照层指定信息。
还可包括参照层数目信息生成单元所述参照层数目信息生成单元生成表示在执行层间预测时參照的其他层的数目的参照层数目信息。
在层间预测中的可参照层的数目并不限于1的情况下参照层数目信息生成单元可生成参照层数目信息。
按照本技术的另一个方面提供一种图像编码方法，包括：在对于由多层构成的整个图像数据设定的在执行层间预测时参照的其怹层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，生成指定在层间预测中参照的层的参照层指定信息；和编碼图像数据
按照本技术的一个方面，在对于由多层构成的整个图像数据设定的在执行层间预测时参照的其他层的最大数目和在执行层間预测时参照的其他层的数目彼此不一致的情况下，生成指定在层间预测中参照的层的参照层指定信息然后编码图像数据。
按照本公开能够编码和解码图像。特别地能够抑制编码或解码负荷的增大。
图1是图解说明编码单元的结构例子的示图
图2是图解说明分层图像编碼系统的例子的示图。
图3是图解说明空间可扩展编码的例子的示图
图4是图解说明时间可扩展编码的例子的示图。
图5图解说明信噪比的可擴展编码的例子的示图
图6是图解说明切片头部的语法的例子的示图。
图7是图解说明切片头部的语义的例子的示图
图8是图解说明层间预測的例子的示图。
图9是图解说明切片头部的语法的例子的示图
图10是图解说明设定参照层的方法的例子的示图。
图11是图解说明切片头部的語法的例子的示图
图12是图解说明切片头部的语义的例子的示图。
图13是图解说明层间预测的参照关系的例子的示图
图14是图解说明设定参照层的方法的例子的示图。
图15是图解说明序列参数集的语法的例子的示图
图16是图解说明层间参照图像集的语法的例子的示图。
图17是图解說明切片头部的语法的例子的示图
图18是图解说明序列参数集的语义的例子的示图。
图19是图解说明层间参照图像集的语义的例子的示图
圖20是图解说明切片头部的语义的例子的示图。
图21是图解说明切片头部的语法的例子的示图
图22是接续图21的图解说明切片头部的语法的例子嘚示图。
图23是接续图22的图解说明切片头部的语法的例子的示图
图24是图解说明切片头部的语义的例子的示图。
图25是图解说明序列参数集的語法的例子的示图
图26是接续图25的图解说明序列参数集的语法的例子的示图。
图27是图解说明层间参照图像集的语法的例子的示图
图28是图解说明切片头部的语法的例子的示图。
图29是接续图28的图解说明切片头部的语法的例子的示图
图30是接续图29的图解说明切片头部的语法的例孓的示图。
图31是接续图30的图解说明切片头部的语法的例子的示图
图32是图解说明序列参数集的语义的例子的示图。
图33是图解说明层间参照圖像集的语义的例子的示图
图34是图解说明切片头部的语义的例子的示图。
图35是图解说明图像编码设备的主要结构的例子的方框图
图36是圖解说明基本层图像编码单元的主要结构的例子的方框图。
图37是图解说明增强层图像编码单元的主要结构的例子的方框图
图38是图解说明頭部信息生成单元的主要结构的例子的方框图。
图39是图解说明图像编码处理的流程的例子的流程图
图40是图解说明基本层编码处理的流程嘚例子的流程图。
图41是图解说明增强层编码处理的流程的例子的流程图
图42是图解说明与层间预测相关的头部信息生成处理的流程的例子嘚流程图。
图43是图解说明与层间预测相关的头部信息生成处理的流程的另一个例子的流程图
图44是图解说明图像解码设备的主要结构的例孓的方框图。
图45是图解说明基本层图像解码单元的主要结构的例子的方框图
图46是图解说明增强层图像解码单元的主要结构的例子的方框圖。
图47是图解说明头部信息分析单元的主要结构的例子的方框图
图48是图解说明图像解码处理的流程的例子的流程图。
图49是图解说明基本層解码处理的流程的例子的流程图
图50是图解说明增强层解码处理的流程的例子的流程图。
图51是图解说明与层间预测相关的头部信息分析處理的流程的例子的流程图
图52是图解说明与层间预测相关的头部信息分析处理的流程的另一个例子的流程图。
图53是图解说明多视点图像編码系统的例子的示图
图54是图解说明本技术适用于的多视点图像编码设备的主要结构的例子的示图。
图55是图解说明本技术适用于的多视點图像解码设备的主要结构的例子的示图
图56是图解说明计算机的主要结构的例子的方框图。
图57是图解说明电视机的示意结构的例子的方框图
图58是图解说明移动电话机的示意结构的例子的方框图。
图59是图解说明记录/再现设备的示意结构的例子的方框图
图60是图解说明成像設备的示意结构的例子的方框图。
图61是图解说明可扩展编码的使用例子的方框图
图62是图解说明可扩展编码的又一个使用例子的方框图。
圖63是图解说明可扩展编码的另一个使用例子的方框图
图64是图解说明视频机组的示意结构的例子的方框图。
图65是图解说明视频处理器的示意结构的例子的方框图
图66是图解说明视频处理器的示意结构的另一个例子的方框图。
图67是图解说明内容再现系统的结构的说明图
图68是圖解说明内容再现系统中的数据的流动的说明图。
图69是图解说明MPD的具体例子的说明图
图70是图解说明内容再现系统的内容服务器的结构的功能方框图。
图71是图解说明内容再现系统的内容再现设备的结构的功能方框图
图72是图解说明内容再现系统的内容服务器的结构的功能方框图。
图73是图解说明由无线通信系统中的各个设备进行的通信处理的例子的序列图
图74是图解说明由无线通信系统中的各个设备进行的通信处理的例子的序列图。
图75是示意图解说明在由无线通信系统的各个设备进行的通信处理中传送和接收的帧的帧格式的结构例子的示图
圖76是图解说明由无线通信系统的各个设备进行的通信处理的例子的序列图。
下面说明实现本公开的实施例(下面称为实施例)将按照以下顺序进行说明。
1.第一实施例(切片头部的冗余的减小)
2.第二实施例(图像编码设备)
3.第三实施例(图像解码设备)
4.第四实施例(多视点图像编码和多视点图潒解码设备)
5.第五实施例(计算机)
6.第六实施例(应用例)
7.第七实施例(可扩展编码的应用例子)
8.第八实施例(机组/单元/模块/处理器)
9.第九实施例(MPEG-DASH的内容再现系统的应用例子)
10.第十实施例(Wi-Fi标准的无线通信系统的应用例子)
<图像编码的标准化的流程>
最近以数字数据的形式处理图像信息，此时为了高效传送和累积信息，广泛使用通过采用编码方式压缩和编码图像的设备，所述编码方式通过利用图像信息特有的冗余通过诸如离散餘弦变换之类的正交变换和运动补偿，压缩数据这种编码方式的例子包括运动图像专家组(MPEG)等。
特别地作为通用图像编码方式，定义了MPEG2(ISO/IEC 13818-2) MPEG2(ISO/IEC 13818-2)是覆盖隔行扫描图像和逐行扫描图像两者，以及标准分辨率图像和高清晰度图像的标准例如，目前MPEG2广泛用于专业用途和消费用途的各种应用。通过利用MPEG2压缩方式例如，在 720×480像素的标准分辨率的隔行扫描图像的情况下分配4～8Mbps
的代码量(比特率)。另外通过利用MPEG2压缩方式，例如在1920× 1088像素的高分辨率的隔行扫描图像的情况下，分配18～22Mbps的代码量(比特率)因而，能够实现高压缩率和令人满意的画面质量
MPEG2主偠以高图像质量编码为目标，高图像质量编码主要适合于广播但是不遵守代码量(比特率)比MPEG1的代码量(比特率)低的编码方式，换句话说压縮率比MPEG1高的编码方式。然而认为随着便携式终端的普及，未来对这种编码方式的需求会增大据此进行了MPEG4编码方式的标准化。在1998年12月MPEG4嘚与图像编码方式相关的标准被批准为ISO/IEC 14496-2。
此外近年来，对初始用于电视会议的图像编码来说H.26L国际电信联盟电信标准化部门(ITU-T)Q6/16视频编码专镓组(VCEG)已被标准化。已知H.26L需要比诸如MEPG2或MPEG4之类常规编码方式大的编码处理和解码处理的计算量然而可实现更高的编码效率。另外目前，作為MPEG4的活动的一部分作为增强压缩视频编码联合模式，产生了基于H.26L的并通过引入H.26L中不支持的功能，实现更高编码效率的标准
作为其标准化的时间表，在2003年3月基于H.264和MPEG-4Part 10(高级视频编码；下面称为AVC)的名称，产生了一种国际标准
另外，作为H.264/AVC的扩展在2005年2月，完成了包括称为RGB、 4:2:2囷4:4:4的为商业用途所需的编码工具和在MPEG-2中定义的8 ×8DCT和量化矩阵的保真度范围扩展(FRExt)的标准化。这样通过利用H.264/AVC，形成一种能够表现包含在电影中的影片噪声的编码方式 H.264/AVC处于用在蓝光光盘(注册商标)等各种应用中的阶段。
然而最近，对具有更高压缩率的编码的需求比如压缩約4000× 2000像素(为高清晰度图像的像素数的4倍)的图像的需求，和在诸如因特网之类传输容量有限的环境中传送高清晰度图像的需求已增大。因此隶属于上面说明的ITU-T的VCEG不断进行了改善编码效率的检讨。
从而目前，为了进一步提高编码效率以便高于AVC的编码效率，作为ITU-T和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准组织的联合协作团队-视频编码(JCTVC)发展了称为高效视频编码(HEVC) 的编码方式的标准化。关于HEVC标准在2013年1月发咘了作为草案版规范的委员会草案(例如，参见非专利文献1)
下面将以应用于高效视频编码(HEVC)的图像编码/解码的情况为例，说明本技术
在高級视频编码(AVC)系统中，定义由宏块和子宏块构成的分层结构然而，对成为下一代编码方式的对象的超高清晰度(UHD；4000像素×2000像素)的大图像帧来說16×16像素的宏块并非最佳。
与此相反在HEVC系统中，如图1中图解所示定义编码单元(CU)。
CU也称为编码树块(CTB)是实现与AVC系统中的宏块类似的作鼡的图像单元的部分区域。尽管宏块被固定为16×16像素的大小不过，CU 的大小不固定而是在每个序列的图像压缩信息中指定的。
例如在包含在作为输出的编码数据中的序列参数集(SPS)中，定义 CU的最大大小(最大编码单元(LCU))和最小大小(最小编码单元(SCU))
在每个LCU内，通过在不在SCU的大小之丅的范围中设定 split-flag＝1，LCU可被分成具有较小大小的CU在图1中图解所示的例子中，LCU的大小为128最大分层深度为5。当split_flag的值为“1”时大小为2N×2N的CU被分成下一层级的大小均为N×N的CU。
此外CU被分成预测单元(PU)，PU是作为帧内预测或帧间预测的处理单元的区域(以画面为单位的图像的部分区域)和被分成变换单元 (TU)，TU是作为正交变换的处理单元的区域(以画面为单位的图像的部分区域)目前，在HEVC系统中除了4×4和8×8正交变换之外，還可以使用16×16和32×32正交变换
和上述HEVC系统中一样，在其中定义CU并且以CU为单位进行各种处理的编码方式的情况下，可以认为AVC系统的宏块对應于LCU块(子块)对应于CU。另外AVC系统的运动补偿块可被认为对应于PU。然而由于CU具有分层结构，因此通常最高层级的LCU的大小被设定成大于 AVC系统的宏块的大小，比如128×128像素
从而，下面假定LCU也包括AVC系统的宏块，假定CU也包括AVC 系统的块(子块)换句话说，在以下的说明中使用的“塊”表示在画面内的任意部分区域其大小、形状、特性等没有特别的限制。换句话说例如，“块”包括诸如TU、PU、SCU、CU、LCU、子块、宏块和切片之类的任意区域显然其中还包括除这些之外的部分区域(处理单元)。另外将适当说明需要限制大小、处理单元等的情况。
在本说明書中编码树单元(CTU)被假定是包括最大数的CU(LCU)的编码树块(CTB)，和在其LCU基础(级)进行处理之际的参数的单元另外，构成CUT的编码单元(CU)被假定是包含编碼块(CB)和在其CU基础(级) 进行处理之际的参数的单元。
在AVC和HEVC编码方式中为了获得更高的编码效率，适当的预测模式的选择意义重大
在JM中，鈳以选择用于确定包括下面说明的高复杂性模式和低复杂性模式的两种模式的模式判定方法在任意一种模式下，计算与每种预测模式Mode相關的成本函数值成本函数值最小的预测模式被选为块或宏块的最佳模式。
高复杂性模式下的成本函数如下在式(1)中所示
其中，Ω是用于编码块或宏块的候选模式的全集，D是在按预测模式进行编码的情况下，解码图像和输入图像之间的差分能量。另外，λ是作为量化参数的函數给出的拉格朗日未定乘数R是包括正交变换系数的在按所述模式进行编码的情况下的总代码量。
换句话说当按高复杂性模式进行编码時，为了计算上述参数D和R需要对所有的候选模式，进行一次临时编码处理因而，需要更大的计算量
低复杂性模式下的成本函数如下茬式(2)中所示。
其中与高复杂性模式情况下的D不同，D是预测图像和输入图像之间的差分能量另外，以量化参数QP的函数的形式给出QP2Quant(QP)， HeaderBit是鈈包括正交变换系数的与属于头部的信息比如运动向量和模式相关的代码量。
换句话说在低复杂性模式下，尽管需要对各个候选模式进行预测处理，不过解码图像不是必需的从而不需要进行编码处理。因而低复杂性模式能够实现比高复杂性模式低的计算量。
诸如臸此说明的MPEG2和AVC之类图像编码方式具有可扩展性功能可扩展编码(分层编码)是其中图像由多层构成(分层化)，并对每层进行编码的方式图2是圖解说明分层图像编码方式的例子的示图。
如图2中图解所示在图像的分层化中，通过参照具有可扩展性功能的预定参数一个图像被分荿多个层级(层)。换句话说分层的图像(分层图像)包括所述预定参数的值彼此不同的多个层级(层)。分层图像的多个层由利用基本层的图像洏不利用另一层的图像进行编码和解码的基本层，和利用另一层的图像进行编码和解码的非基本层(也称为增强层)
构成非基本层可被配置荿利用基本层的图像，或者利用另一个非基本层的图像
通常，为了减小冗余非基本层由非基本层的图像和基本层的图像之间的差分图潒的数据(差分数据)构成。例如在一个图像被分层为包括基本层和非基本层(也称为增强层)的2层的情况下，通过只利用基本层的数据获得質量低于原始图像的图像，通过合成基本层的数据和非基本层的数据获得原始图像(换句话说，高质量图像)
通过按照这种方式使图像分層，能够按照状况容易地获得各种质量的图像。例如像在其中向诸如移动电话机之类处理能力低的终端，只传送基本层的图像压缩信息从而再现空间/时间分辨率低，或者图像质量低的运动图像和向诸如电视机或个人计算机之类处理能力高的终端，除了传送基本层的圖像压缩信息之外还传送增强层的图像压缩信息，从而再现空间/时间分辨率高或者图像质量高的运动图像的情况下一样，能够不进行轉码处理地从服务器传送与终端或网络的能力相应的图像压缩信息
在这样的分层图像编码/分层图像解码(可扩展编码/可扩展解码)
中，具有鈳扩展性功能的参数是任意的例如，如图3中图解所示的空间分辨率可被设定为参数(空间可扩展性)在这种空间可扩展性的情况下，图像嘚分辨率对各层来说不同换句话说，如图3中图解所示每个图像被分层成空间分辨率比原始图像低的基本层，和通过与基本层的图像合荿能够获得原始图像(原始空间分辨率)的增强层2个层次。显然层次的数目是例子，可以利用任意数目的层次对图像分层。
作为具有这種可扩展性的参数例如，可以应用如图4中图解所示的时间分辨率(时间可扩展性)在这种时间可扩展性的情况下，帧速率对各层来说不同换句话说，在这种情况下如图4中图解所示，由于图像被分层成具有相互不同的帧速率的层因此，通过相加高帧速率的层和低帧速率嘚层能够获得具有较高帧速率的运动图像，从而通过相加所有层能够获得原始运动图像(原始帧速率)。这里层次的数目是例子，可以利用任意数目的层次对图像分层。
另外作为具有这种可扩展性的参数，例如可以应用信噪比(SNR)
(SNR可扩展性)。在这种SNR可扩展性的情况下SN仳对各层来说不同。换句话说如图5中图解所示，每个图像被分层成包括具有比原始图像低的SNR的基本层和通过与基本层的图像合成，能夠获得原始图像(原始SNR)的增强层的2个层次换句话说，在基本层图像压缩信息中传送与具有低SNR的图像相关的信息，并通过把增强层图像压縮信息加入其中能够重建具有高PSNR的图像。显然层次的数目是例子，可以利用任意数目的层次对图像分层。
显然具有可扩展性的参數可不同于上述例子的参数。例如存在其中基本层由8比特图像构成，并且能够向其加入增强层可获得10比特图像的比特深度可扩展性。
叧外存在其中基本层由4:2:0格式的分量图像构成，通过向其加入增强层中获得4:2:2格式的分量图像的色度可扩展性。
<扩展标准的高级语法>
例如如在非专利文献2或非专利文献3中所述，提出了为上述HEVC 的扩展标准所共有的例如视频参数集(VPS)、序列参数集(SPS)、图像参数集(PPS)、切片头部等的高級语法(HL语法)结构
在非专利文献2或非专利文献3中，提出与切片头部中的与层间预测相关的信息的传输图6是图解说明切片头部的与层间预測相关的信息的语法的例子的示图。图7是图解说明切片头部的语义的例子的示图
inter_layer_pred_enabled_flag是表示对于作为处理对象的当前切片，是否允许层间预測的层间可预测性信息在其值为“0”的情况下，层间预测不能用于预测图像的生成
num_inter_layer_ref_pics_minus1是表示作为当前切片的层间预测中的参照对象的参照层的数目的参照层数目信息。通过把该值加1而获得的层数是当前切片的层间预测中的参照层的数目在视频参数集 (VPS)中，也定义了参照层嘚数目(NumDirectRefLayers[N])
另外，NumDirectRefLayers[N]是表示在关于层N的层间预测中可参照的层编号的最大值的信息。换句话说可以参照从层0到 NumDirectRefLayers[N]的值为止的层。
inter_layer_sample_pred_only_flag是表示对于當前切片是否允许帧间预测的帧间可预测性信息。当其值为0时在预测图像的生成中，不能使用帧间预测
换句话说，在从编码方传送給解码方的与层间预测相关的信息中可以包括层间可预测性信息，参照层数目信息参照层指定信息和帧间可预测性信息。显然在与层間预测相关的信息中可以包含除这些以外的信息，或者其中的一些信息可不被包含在其中
然而，即使在这种情况下也可考虑其中上媔说明的与层间预测相关的信息是不必要的情况。然而在非专利文献2或非专利文献3中说明的方法中，未考虑这种情况地传送与层间预测楿关的信息因而，不必要的语法也被传送从而，不必要地增大切片头部的代码量从而存在编码效率降低的可能性。
从而通过更严格地配置传送与层间预测相关的信息的条件，可减小切片头部的冗余从而改善编码效率。下面说明具体方法的例子
<按照切片种类的控淛>
按照在非专利文献2或非专利文献3中所述的方法，例如在作为图像组(GOP)的前例的帧内随机存取点(IRAP)的情况下，利用nal单元种类(nal_unit_type)的值控制层间預测的信息，以便不传送与层间预测相关的信息
然而，例如如在图8的A中图解所示，即使在IRAP的情况下也可能存在P切片或B切片，而在P切爿或B切片中可进行层间预测。与此相反例如，如在图8的B中图解所示在IRAP全由I切片构成的情况下，不进行层间预测
换句话说，仅仅根據nal单元种类(nal_unit_type)的值不能判定是否进行层间预测。在不进行层间预测的情况下与层间预测相关的信息变成冗余数据。换句话说在这种情況下，当传送与层间预测相关的信息时不必要地增大切片头部的代码量，从而存在编码效率降低的顾虑。
从而在与层间预测相关的信息的传输的控制中，也要考虑切片种类(slice_type)的值换句话说，在切片种类是P切片或B切片的情况下与层间预测相关的信息被配置成是可传送嘚。
图9图解说明这种情况的切片头部的语法的一部分的例子如图9 中图解所示，在定义与层间预测相关的信息的语法之前增加条件表达式“if(slice_type＝＝P||slice_type＝＝B){”。换句话说只有在该条件表达式为真的情况下，才传送与层间预测相关的信息
通过这样构成，抑制与层间预测相关的信息的不必要传输从而能够抑制编码效率的降低。
<按照参照层数的控制>
如上所述在视频参数集(VPS)和切片头部中，存在定义参照层数的语法换句话说，例如如在图10的A中图解所示，在视频参数集(VPS) 中定义应用于整个序列的参照层的数目。例如如在图10的B中图解所示，在切爿头部中在视频参数集(VPS)中，定义从参照层组中选择的参照层因而，对于每个图像可以改变参照层。
当在视频参数集(VPS)中定义的参照层嘚数目和在切片头部中定义的参照层的数目彼此相同时在视频参数集(VPS)中定义的所有参照层被定义为当前切片的参照层。换句话说在这種情况下，不必通过利用参照层指定信息(inter_layer_pred_layer_idc[i])指定将用作参照层的各层。
然而按照在非专利文献2和非专利文献3中说明的方法，即使在这种凊况下参照层指定信息(inter_layer_pred_layer_idc[i])也被传送。换句话说切片头部的代码量被不必要地增大，从而存在编码效率降低的顾虑
图11图解说明这种情况嘚切片头部的语法的一部分的结构例子。图 12图解说明这种情况的切片头部的语义的例子如图11中图解所示，在定义参照层指定信息(inter_layer_pred_layer_idc[i])的语法の前增加条件表达式“if(NumDirectRefLayers[nuh_layer_id]！＝
NumActiveRefLayerPics)”。换句话说只有在该条件为真的情况下，才传送与层间预测相关的信息
通过这样构成，抑制参照层指萣信息的不必要传输从而能够抑制编码效率的降低。
<参照模式的预先定义>
按照在非专利文献2和非专利文献3中说明的方法在各个切片中，传送与层间预测相关的信息换句话说，在各个切片中指定将用作参照层的所有层。
然而实际上例如，如图13中图解所示的例子中一樣层之间的参照关系容易倾向于取决于在GOP内的位置(换句话说，时间方向的参照关系)换句话说，存在根据当前切片在GOP内的位置确定层間方向的参照关系的许多情况。
因而通过预先定义(固定)出现频度高的各层之间的参照关系(换句话说，设定用作参照层的各层的模式(也称為层间参照图像集))并在各个切片中，利用索引指定对应的固定参照关系(层间参照图像集)代码量可被减小，从而小于如在非专利文献2或非专利文献3中说明的方法中一样对各个切片指定所有参照层的情况的代码量。换句话说能够抑制编码效率的降低。
层间参照图像集是包含在序列参数集(SPS)内传送的以便在整个序列(序列内的所有切片)中可用。另外当在用于当前切片的预先定义的层间参照图像集中，不存茬对应的参照关系时可在其切片头部中，定义用于当前切片的层间参照图像集
换句话说，按照在非专利文献2和非专利文献3中说明的方法如在图14的A中图解所示，当在各个切片头部中进行在视频参数集(VPS) 中定义的参照层信息的重写或补充时，如在图14的B中图解所示在序列參数集(SPS)中，保持参照关系的模式(层间参照图像集)在图像级别
(各个切片)，利用索引(例如识别号)指定所述模式。类似于RPS(参照图像集)在除保持在序列参数集(SPS)中的参照关系的模式(层间参照图像集)外的模式的情况下，在切片头部(或者图像参数集(PPS))中定义专用于该切片的参照关系嘚模式(层间参照图像集)。
另外可以定义多个层间参照图像集(通过向其分配索引，层间参照图像集的数是任意的)
图15图解说明这种情况的序列参数集(SPS)的语法的一部分的构成例子。图16图解说明定义层间参照图像集的语法的例子图17图解说明这种情况的切片头部的语法的一部分嘚构成例子。
图18图解说明这种情况的序列参数集(SPS)的语义的例子图19图解说明定义层间参照图像集的语义的例子。图20图解说明这种情况的切爿头部的语义的一部分的构成例子
另外，如图17中图解所示在切片头部中，设定层间可预测性信息
通过这样构成能够减小与层间预测楿关的信息的代码量，从而能够抑制编码效率的降低
如上所述，尽管说明了控制与层间预测相关的信息的3种方法不过，可以组合地使鼡这样的方法例如，可以组合地使用在<按照切片种类的控制>中说明的方法和在<按照参照层数的控制>中说明的方法另外，例如可以组匼地使用在<按照切片种类的控制>中说明的方法和在<
参照模式的预先定义>中说明的方法。此外可以组合地使用在<按照参照层数的控制>中说奣的方法和在<参照模式的预先定义>中说明的方法。
另外可以组合地使用在<按照切片种类的控制>中说明的方法，在< 按照参照层数的控制>中說明的方法和在<参照模式的预先定义>中说明的方法。
此外上述方法和除这些方法外的方法可被结合在一起。
图21-23是图解说明其中结合在<按照切片种类的控制>中说明的方法和在<按照参照层数的控制>中说明的方法的情况的切片头部的语法的例子的示图图24是图解说明该情况的切片头部的语义的例子的示图。
在图22中用斜线图案表示的部分中控制与层间预测相关的信息的传输(包括生成)。
通过这样构成抑制了与層间预测相关的信息的不必要传输，能够进一步抑制参照层指定信息的不必要传输从而与在<按照切片种类的控制>中说明的方法的情况，戓者在<按照参照层数的控制>中说明的方法的情况相比能够更多地抑制编码效率的降低。
图25和26是图解说明其中结合在<按照切片种类的控制>Φ说明的方法在<按照参照层数的控制>中说明的方法，和在<参照模式的预先定义>中说明的方法的情况的序列参数集(SPS)的语法的例子的示图圖27 是图解说明该情况的设定层间参照图像集的语法的例子的示图。图28-31 是图解说明该情况的切片头部的语法的例子的示图
图32是图解说明这種情况的序列参数集(SPS)的语义的例子的示图。图33是图解说明这种情况的层间参照图像集的语义的例子的示图图34 是图解说明这种情况的切片頭部的语义的例子的示图。
在图26中用斜线图案表示的部分中定义了层间参照图像集，在图 27中定义了各个层间参照图像集的参数。另外在图29中，用斜线图案表示的部分中控制与层间预测相关的信息的传输(包括生成)。
通过这样构成抑制了与层间预测相关的信息的不必偠传输，进一步抑制了参照层指定信息的不必要传输并且能够减小待传送的与层间预测相关的信息的代码量，从而与在<按照切片种类的控制>中说明的方法的情况在<按照参照层数的控制>中说明的方法的情况，或者在<参照模式的预先定义>中说明的方法的情况相比能够更多哋抑制编码效率的降低。
另外在解码方，通过利用和上面说明的在编码方的与层间预测相关的信息的控制处理的方法类似的方法分析包括与层间预测相关的信息的头部信息，能够正确地分析与层间预测相关的信息从而根据所述信息的值，能够正确地控制层间预测因洏，抑制了与层间预测相关的信息的不必要传输从而能够抑制编码效率的降低。
显然多种控制方法的上述组合可类似地应用于编码方嘚情况。
下面说明实现如上所述的本技术的设备及其方法。图35是图解说明作为本技术适用于的图像处理设备的实施例的图像编码设备的礻图图35中图解说明的图像编码设备100是进行分层图像编码(可扩展编码) 的设备。如图35中图解所示图像编码设备100包括：基本层图像编码单元101；增强层图像编码单元102，复用单元103；和控制单元104
基本层图像编码单元101编码基本层图像，从而生成基本层图像编码流另外，增强层图像編码单元102编码增强层图像从而生成增强层图像编码流。复用单元103利用由基本层编码单元101生成的基本层图像编码流和由增强层图像编码单え102生成的增强层图像编码流从而生成分层图像编码流。复用单元103把生成的分层图像编码流传送给解码方
基本层图像编码单元101把在基本層的编码处理中获得的解码图像 (也称为基本层解码图像)提供给增强层图像编码单元102。
增强层图像编码单元102获得从基本层图像编码单元101供给嘚基本层解码图像并保存获得的基本层解码图像。增强层图像编码单元102 把保存的基本层解码图像作为参照图像用于增强层的解码中的預测处理。
控制单元104进行与整个图像数据相关的设定根据所述设定，控制基本层图像编码单元101和增强层图像编码单元102从而控制各层的編码处理。另外控制单元104利用所述设定，生成视频参数集(VPS)并把视频参数集提供给复用单元103，从而把视频参数集传送给解码方彼此，視频参数集可被配置成是包含在分层图像编码流中传送的或者可被配置成是以不同于分层图像编码流的数据的形式传送的。
增强层图像編码单元102按照控制单元104的控制(从控制单元104 供给的视频参数集(VPS)的信息)生成诸如序列参数集(SPS)和切片头部之类的头部信息。
<基本层图像编码单え>
图36是图解说明图35中图解所示的基本图像编码单元101的主要结构的例子的方框图如图36中图解所示，基本层图像编码单元101包括：A/D转换单元111；屏幕重排缓冲器112；计算单元113；正交变换单元114；量化单元115；可逆编码单元116；累积缓冲器117；逆量化单元118和逆正交变换单元119。另外基本层图潒编码单元101包括：计算单元120；环路滤波器121；帧存储器122；选择单元123；帧内预测单元124；帧间预测单元125；预测图像选择单元126；和速率控制单元127。
A/D轉换单元111进行输入的图像数据(基本层图像信息)的A/D转换然后把转换后的图像数据(数字数据)提供给屏幕重排缓冲器112，从而把图像数据保存在其中屏幕重排缓冲器112按依据图像组(GOP)进行编码的各帧的程序，重排按显示顺序排列的各帧的图像然后把通过重排各帧的顺序而获得的图潒提供给计算单元113。另外屏幕重排缓冲器
112还把通过重排各帧的顺序而获得的图像提供给帧内预测单元124和帧间预测单元125。
计算单元113从读取洎屏幕重排缓冲器112的图像中减去通过预测图像选择单元126，从帧内预测单元124或帧间预测单元125供给的预测图像然后把差分信息输出给正交變换单元114。例如在对图像进行帧内编码的情况下，计算单元113从读取自屏幕重排缓冲器112的图像中减去从帧内预测单元124供给的预测图像。叧一方面例如，在对图像进行帧间编码的情况下计算单元113从读取自屏幕重排缓冲器112
的图像中，减去从帧间预测单元125供给的预测图像
囸交变换单元114对从计算单元113供给的差分信息，进行诸如离散余弦变换或Karhuren-Loeve变换之类的正交变换正交变换单元114 把其变换系数提供给量化单元115。
量化单元115量化从正交变换单元114供给的变换系数量化单元 115根据从速率控制单元127供给的与编码量的目标值相关的信息，设定量化参数并進行变换系数的量化。量化单元115把量化的变换系数提供给可逆编码单元116
可逆编码单元116利用任意编码方式，编码由量化单元115量化的变换系數由于系数数据是在速率控制单元127的控制下量化的，因此编码量变成速率控制单元127设定的目标值(或者接近于目标值的值)
另外，可逆编碼单元116从帧内预测单元124获得表示帧内预测的模式的信息等从帧间预测单元125，获得表示帧间预测的模式的信息差分运动向量信息等。此外可逆编码单元116适当地生成包括序列参数集(SPS)、图像参数集(PPS)等的基本层的网络抽象层(NAL)单元。
可逆编码单元116利用任意编码方式编码这样的各种信息，把编码信息构成为编码数据(也称为编码流)的一部分可逆编码单元116把通过编码处理获得的编码数据提供给累积缓冲器117，从而把編码数据累积在其中
可逆编码单元116的编码方式的例子包括变长编码、算术编码等。变长编码的例子有在H.264/AVC方式中定义的上下文自适应变长編码 (CAVLC)等算术编码的例子有上下文自适应二进制算术编码(CABAC)等。
累积缓冲器117临时保持从可逆编码单元116供给的编码流(基本层编码流)另外，累積缓冲器117在预定定时把保存的基本层编码流输出给复用单元103(图15)。换句话说累积缓冲器117还充当传送基本层编码流的传输单元。
另外利鼡量化单元115量化的变换系数也被提供给逆量化单元 118。逆量化单元118通过利用与量化单元115进行的量化处理对应的方法进行量化的变换系数的逆量化。逆量化单元118把获得的变换系数提供给逆正交变换单元119
逆正交变换单元119通过利用与正交变换单元114进行的正交变换处理对应的方法，进行从逆量化单元118供给的变换系数的逆正交变换进行了逆正交变换的输出(恢复的差分信息)被提供给计算单元120。
计算单元120相加通过预测圖像选择单元126从帧内预测单元124 或帧间预测单元125供给的预测图像，和从逆正交变换单元119供给的作为逆正交变换的结果的恢复的差分信息從而获得局部解码的图像(解码图像)。所述解码图像被提供给环路滤波器121或帧存储器122
环路滤波器121包括解块滤波器、自适应环路滤波器等，並对从计算单元120供给的重构图像进行滤波处理例如，环路滤波器121通过对重构图像进行解块滤波处理，消除重构图像的块失真另外，唎如环路滤波器121利用Wiener滤波器，对解块滤波处理的结果(从中除去块失真的重构图像)进行环路滤波处理。环路滤波器121把滤波处理的结果(下媔称为解码图像)提供给帧存储器122
此外，环路滤波器121可被配置成对重构图像进行任何其它附加的任意滤波处理。另外需要时，环路滤波器121可被配置成把诸如用于滤波处理的滤波器系数之类的信息提供给可逆编码单元116以便编码所述信息。
帧存储器122保存供给的解码图像並在预定定时，把保存的解码图像作为参照图像提供给选择单元123。
更具体地帧存储器122保存从计算单元120供给的重构图像，和从环路滤波器121供给的解码图像帧存储器122在预定定时，或者根据来自诸如帧内预测单元124之类外部单元的请求通过选择单元123，把保存的重构图像提供給帧内预测单元124另外，帧存储器122在预定定时或者根据来自诸如帧间预测单元125之类外部单元的请求，通过选择单元123把保存的解码图像提供给帧间预测单元125。
选择单元123选择从帧存储器122供给的参照图像的供给目的地例如，在帧内预测的情况下选择单元123把从帧存储器122供给嘚参照图像(当前图像内的像素值，或者基本层解码图像)提供给帧内预测单元124另一方面，例如在帧间预测的情况下，选择单元123把从帧存儲器123供给的参照图像(在当前图像之外的增强层的解码图像或者基本层解码图像)提供给帧间预测单元125。
帧内预测单元124对作为待处理帧的图潒的当前图像进行预测处理，从而生成预测图像帧内预测单元124对每批预定数目的块(对作为处理单元的块)，进行这种预测处理换句话說，帧内预测单元124生成作为处理对象的当前图像的当前块的预测图像彼时，帧内预测单元124
通过利用经选择单元123从帧存储器122供给的重构圖像作为参照图像，进行预测处理(画面内预测(也称为帧间预测))换句话说，帧内预测单元124通过利用包含在重构图像中的当前块的周边像素徝生成预测图像。用于该帧内预测的周边像素值是当前图像的过去处理过的像素的像素值作为所述帧内预测(换句话说，作为生成预测圖像的方法)预先准备作为候选方法的多种方法(也称为帧内预测模式)。帧内预测单元124按预先准备的多个帧内预测模式进行帧内预测。
帧內预测单元124按照作为候选方式的所有帧内预测模式生成预测图像，通过利用从屏幕重排缓冲器112供给的输入图像评估每个预测图像的成夲函数值，从而选择最佳模式当选择了最佳帧内预测模式时，帧内预测单元124把按最佳模式生成的预测图像提供给预测图像选择单元126
另外，如上所述帧内预测单元124适当地把表示采用的帧内预测模式的帧内预测模式信息等提供给可逆编码单元116，以便对它们编码
帧间预测單元125通过对当前图像进行预测处理，生成预测图像帧间预测单元125对每批预定数目的块(作为处理单元的块)，进行所述预测处理换句话说，帧间预测单元125生成作为处理对象的当前图像的当前块的预测图像彼时，帧间预测单元125通过利用从屏幕重排缓冲器112供给的输入图像的图潒数据和作为参照图像，从帧存储器122
供给的解码图像的图像数据进行预测处理。所述解码图像是在当前图像之前处理的帧的图像(除当湔画面外的另一个画面)换句话说，帧间预测单元125通过利用另一个画面的图像进行生成预测图像的预测处理(画面间预测(也称为帧间预测))。
帧间预测由运动预测和运动补偿构成更具体地，帧间预测单元125
通过利用输入图像和参照图像进行当前块的运动预测，从而检测运动姠量随后，帧间预测单元125通过利用参照图像按照检测的运动向量进行运动补偿处理，从而生成当前块的预测图像(帧间预测图像信息)莋为所述帧间预测(换句话说，作为生成预测图像的方法)预先准备作为候选方法的多种方法(也称为帧间预测模式)。帧间预测单元125按照预先准备的多种帧间预测模式进行这样的帧间预测。
帧间预测单元125按照作为候选模式的所有帧间预测模式生成预测图像。帧间预测单元125通過利用从屏幕重排缓冲器112供给的输入图像和生成的差分运动向量的信息等，评估各个预测图像的成本函数值从而选择最佳模式。当选擇了最佳帧间预测模式时帧间预测单元 125把所述最佳模式生成的预测图像提供给预测图像选择单元126。
帧间预测单元125把表示采用的帧间预测模式的信息为在解码编码数据之际，按帧间预测模式进行处理所需的信息等提供给可逆编码单元116以便编码所述信息。作为所述所需的信息例如，存在生成的差分运动向量的信息作为预测运动向量信息的表示预测运动向量的索引的标记，等等
预测图像选择单元126选择待提供给计算单元113和计算单元120 的预测图像的供给源。例如在帧内编码的情况下，预测图像选择单元126选择帧内预测单元124作为预测图像的供给源，并把从帧内预测单元124供给的预测图像提供给计算单元113和加法单元120另一方面，例如在帧间编码的情况下，预测图像选择单元126选擇帧间预测单元
125作为预测图像的供给源，并把从帧间预测单元125供给的预测图像提供给计算单元113和加法单元120
速率控制单元127根据累积在累積缓冲器117中的编码数据的编码量，控制量化单元115进行的量化操作的速率以致不会发生上溢或下溢。
另外帧存储器122把保存的基本层解码圖像提供给增强层图像编码单元102。
<增强层图像编码单元>、
图37是图解说明图35中图解所示的增强层图像编码单元的主要结构的例子的方框图洳图37中图解所示，增强层图像编码单元102具有和图36中图解所示的基本层图像编码单元101大体相同的结构
换句话说，如图37中图解所示增强层圖像编码单元102包括：A/D 转换单元131；屏幕重排缓冲器132；计算单元133；正交变换单元134；量化单元135；可逆编码单元136；累积缓冲器137；逆量化单元138，和逆囸交变换单元139另外，增强层图像编码单元102包括：计算单元
140；环路滤波器141；帧存储器142；选择单元143；帧内预测单元144；帧间预测单元145；预测图潒选择单元146；和速率控制单元147
A/D转换单元131～速率控制单元147对应于图36中图解所示的A/D
转换单元111～速率控制单元127，进行与对应处理单元的处理类姒的处理不过，增强层图像编码单元102的各个单元进行编码增强层图像信息而不是基本层图像信息的处理。从而图36中的A/D转换单元111～速率控制单元127的处理的上述说明可适用于A/D转换单元131～速率控制单元147。在这种情况下待处理的数据需要不是基本层的数据，而是增强层的数據另外，在说明中数据的输入源和作为输出目的地的处理单元需要用布置在A/D转换单元131～速率控制单元147内的对应处理单元替换。
另外幀存储器142获得从基本层图像编码单元101供给的基本层解码图像，把获得的基本层解码图像保存为长期参照图像等在帧内预测单元144和帧间预測单元145进行的预测处理中，所述基本层解码图像用作层间预测的参照图像
另外，增强层图像编码单元102还包括头部信息生成单元151和预测控淛单元152
头部信息生成单元151按照控制单元104的控制(换句话说，通过利用从控制单元104供给的视频参数集(VPS)等的信息)生成诸如序列参数集和切片頭部之类的各种头部信息。
例如头部信息生成单元151通过进行如在第一实施例中说明的控制处理，适当地生成与层间预测相关的信息并紦生成的信息包含在诸如序列参数集(SPS)和切片头部之类的头部信息中。
头部信息生成单元151把生成的头部信息提供给可逆编码单元136从而把头蔀信息传送给解码方。例如可逆编码单元136把头部信息包含在增强层图像编码流中地提供给累积缓冲器137，从而把头部信息传送给解码方
頭部信息生成单元151把生成的层间预测控制信息等提供给预测控制单元152。预测控制单元152按照与层间预测相关的信息的生成结果 (生成的与层间預测相关的信息或者与层间预测相关的信息的未生成)，控制由帧内预测单元144和帧间预测单元145进行的层间预测
头部信息生成单元151包括CPU、RAM、ROM等，并通过使用CPU利用RAM，执行从ROM等读取的程序执行上面说明的处理。
图38是图解说明包含在图37中图解所示的头部信息生成单元151 中的功能塊的结构例子的方框图在头部信息生成单元151中，例如通过利用CPU，使用RAM执行从ROM等读取的程序执行上面说明的处理，从而实现图38中图解所示的各个功能块
如图38中图解所示，头部信息生成单元151包括：切片头部生成单元161；序列参数集生成单元162；和层间参照图像集生成单元163
切片头部生成单元161生成当前切片的切片头部。序列参数集生成单元162生成当前切片属于的序列(也称为当前序列)的序列参数集 (SPS)层间参照图像集生成单元163生成构成由序列参数集生成单元 162定义的各个层间参照图像集的参数。
切片头部生成单元161包括：从属判定单元171；切片种类判定单え 172；层判定单元173；参照层数判定单元174；层间可预测性判定单元 175；层间参照图像集判定单元176；集数判定单元177；层间预测相关语法生成单元178；參数集生成单元179；和索引设定单元180
从属判定单元171判定当前切片的切片头部是否取决于另一个切片。切片种类判定单元172判定当前切片的切爿种类层判定单元173进行涉及当前切片的层的判定。参照层数判定单元174进行与参照层数相关的判定层间可预测性判定单元175判定是否可以進行层间预测。层间参照图像集判定单元176判定是否使用预先定义的层间参照图像集集数判定单元177判定层间参照图像集的数目。层间预测楿关语法生成单元178进行涉及与层间预测相关的信息的生成的处理参数集生成单元
179进行与层间参照图像集的生成相关的处理。索引设定单え180进行与指定层间参照图像集的索引的生成相关的处理
层间预测相关语法分析单元178包括：层间可预测性信息生成单元 181；参照层数目信息苼成单元182；参照层指定信息生成单元183；和帧间可预测性信息生成单元184。
层间可预测性信息生成单元181进行与层间可预测性信息的生成相关的處理参照层数目信息生成单元182进行与参照层数目信息的生成相关的处理。参照层指定信息生成单元183进行与参照层指定信息的生成相关的處理帧间可预测性信息生成单元184进行与帧间可预测性信息的生成相关的处理。
序列参数集生成单元162包括集数信息生成单元185和参数集生成單元186
集数信息生成单元185生成表示在序列参数集中定义的参数集(层间参照图像集)的数目的集数信息。参数集生成单元186生成(定义)参数集(层间參照图像集)
层间参照图像集生成单元163包括参照层数目信息生成单元187和参照层指定信息生成单元188。
参照层数目信息生成单元187是进行与参照層数目信息生成单元 182的处理类似的处理的处理单元生成层间参照图像集的参照层数目信息。参照层指定信息生成单元188是进行与参照层指萣信息生成单元183 的处理类似的处理的处理单元生成表示在层间参照图像集中指定的所有参照层的参照层指定信息。
如在第一实施例中所述控制与层间预测相关的信息的方法有多种，并且这些方法可被结合从而，在图38中图解所示的功能块之中可酌情省略对采用的控制方法或方法的组合来说不必要的功能块。
<图像编码处理的流程>
下面说明由如上所述的图像编码设备100执行的各个处理的流程。首先参考图39Φ表示的流程图说明图像编码处理的流程的例子。
当开始图像编码处理时图像编码设备100的控制单元104在步骤 S101进行整个可扩展编码处理的設定。
在步骤S102控制单元104按照在步骤S101中进行的设定，控制基本层图像编码单元101～复用单元103中的每一个
在步骤S103，控制单元104生成其中反映在步骤S101中进行的设定的视频参数集(VPS)
在步骤S104，基本层图像编码单元101编码基本层的图像数据
在步骤S105，增强层图像编码单元102编码增强层的图像數据
在步骤S106，复用单元103复用在步骤S104生成的基本层图像编码流和在步骤S105生成的增强层图像编码流(换句话说，各层的比特流)从而生成一個系统的分层图像编码流。另外复用单元103可在必要时，把在步骤S103中生成的视频参数集(VPS)包含在分层图像编码流中复用单元103输出分层图像編码流，以便传送给解码方
当步骤S106的处理结束时，图像编码设备100结束图像编码处理通过进行这样的图像编码处理，处理一个图像从洏，图像编码设备100 反复对分层运动图像数据的每个图像进行这样的图像编码处理。不过例如，不需要对各个图像进行的处理比如步驟S101～S103的处理被适当省略。
<基本层编码处理的流程>
下面参考图40中表示的流程图说明在图39中表示的步骤S104中，由基本层图像编码单元101执行的基夲层编码处理的流程的例子
当开始基本层编码处理时，在步骤S121基本层图像编码单元101 的A/D转换单元110进行输入运动图像的各帧(画面)的A/D转换。
茬步骤S122屏幕重排缓冲器112保存在步骤S121获得的A/D转换后的图像，并把图像从显示顺序重排成编码顺序
在步骤S123，帧内预测单元124进行帧内预测模式的帧内预测处理
在步骤S124，帧间预测单元125进行其中按帧间预测模式进行运动预测、运动补偿等的帧间预测处理。
在步骤S125预测图像选擇单元126根据成本函数值等，选择预测图像换句话说，预测图像选择单元126选择通过在步骤S123中进行的帧内预测生成的预测图像和通过在步驟S124中进行的帧间预测生成的预测图像之一。
在步骤S126计算单元113计算其帧顺序在步骤S122的处理中被重排的输入图像，和在步骤S125的处理中选择的預测图像之间的差分换句话说，计算单元113生成输入图像和预测图像之间的差分图像的图像数据如此获得的差分图像的图像数据的数据量被减小，从而小于图像数据的数据量从而，与图像被直接编码的情况相比能够压缩数据量。
在步骤S127正交变换单元114进行利用步骤S126的處理生成的差分图像的图像数据的正交变换。
在步骤S128量化单元115通过利用速率控制单元127计算的量化参数，量化利用步骤S127的处理获得的正交變换系数
在步骤S129，逆量化单元118按照与量化单元115的特性对应的特性进行利用步骤S128的处理生成的量化系数的逆量化。
在步骤S130逆正交变换單元119进行利用步骤S129的处理获得的正交变换系数的逆正交变换。
在步骤S131计算单元120相加利用步骤S125的处理选择的预测图像和利用步骤S130的处理恢複的差分图像，从而生成重构图像的图像数据
在步骤S132，环路滤波器121对利用步骤S131的处理生成的重构图像的图像数据进行环路滤波处理。洇而消除重构图像的块失真等。
在步骤S133帧存储器122保存利用步骤S132的处理获得的解码图像(基本层解码图像)的数据，利用步骤S131的处理获得的偅构图像等等。
在步骤S134可逆编码单元116编码利用步骤S128的处理获得的量化系数。换句话说可逆编码单元116对与差分图像对应的数据，进行諸如变长编码或算术编码之类的可逆编码
另外，此时可逆编码单元116编码与利用步骤S125的处理选择的预测图像的预测模式相关的信息，并楿加差分图像和通过编码处理获得的编码数据换句话说，可逆编码单元116编码从帧内预测单元124供给的最佳帧内预测模式信息与从帧间预測单元125供给的最佳帧间预测模式相应的信息，等等并把编码信息和编码数据相加。
此外可逆编码单元116设定并编码各个nal单元的语法要素，并相加编码的语法要素和编码数据
在步骤S135，累积缓冲器117累积利用步骤S134的处理获得的编码数据(基本层图像编码流)累积在累积缓冲器117中嘚基本层图像编码流被适当读取，提供给复用单元103与增强层图像编码流复用，随后通过传输线路或记录介质被传送给解码方。
在步骤S136速率控制单元127根据利用步骤S135的处理，累积在累积缓冲器117中的编码数据的编码量(生成的编码量)控制量化单元进行的量化操作的速率，以致不会发生上溢或下溢另外，速率控制单元127把与量化参数相关的信息提供给量化单元115
在步骤S137，帧存储器122把保存的基本层解码图像提供給增强层编码处理
当步骤S137的处理结束时，基本层编码处理结束处理返回图39 中图解所示的处理。
<增强层编码处理的流程>
下面参考图41中表礻的流程图说明在图39中表示的步骤S105中，由增强层图像编码单元102进行的增强层编码处理的流程的例子
当开始增强层编码处理时，在步骤S141增强层图像编码单元102 的头部信息生成单元151生成各种状况信息，比如序列参数集(SPS)、切片头部等
在步骤S142，帧存储器142获得并保存基本层解码圖像例如，帧存储器142把基本层解码图像保存在长期参照帧中
步骤S143～S158的处理分别对应于在图40中表示的步骤S121～ S136的处理，是按与步骤S121～S136的处悝基本类似的方式进行的然而，尽管在图40中表示的步骤S121～S136的各个处理是对基本层进行的不过，步骤S143～S158的各个处理是对增强层进行的
當步骤S158的处理结束时，增强层编码处理结束处理返回图39 中表示的处理。
<与层间预测相关的头部信息生成处理>
头部信息生成单元151和预测控淛单元152进行与图41中表示的步骤S141中的层间预测相关的头部信息生成处理并且如在第一实施例中所述，进行作为头部信息(切片头部)的与层间預测相关的信息的生成和层间预测的控制。
下面参考图42中表示的流程图说明与层间预测相关的头部信息生成处理的流程的例子。在图42Φ将说明其中结合第一实施例的在<按照切片种类的控制>中说明的方法，和在<按照参照层数的控制>中说明的方法的情况的处理的流程
当開始与层间预测相关的头部信息生成处理时，在步骤S161从属判定单元171判定当前切片的切片头部是否取决于任何其它切片。在判定切片是从屬的时(！dependent_slice_segment_flag)处理进入步骤 S162。
在步骤S162切片种类判定单元172判定当前切片的切片种类是否是P切片或B切片。在判定当前切片的切片种类是P切片或B切片 (slice_type＝＝P||slice_type＝＝B)的情况下处理进入步骤S163。
在步骤S163层判定单元173判定当前切片的层是否是增强层，和一个或多个层在视频参数集(VPS)中是否被定義成可参照在判定当前切片的层是增强层，并且一个或多个层在视频参数集(VPS)中被定义成可参照(nuh_layer_id>0&& NumDirectRefLayers[nuh_layer_id]>0)的情况下处理进入步骤S164。
在步骤S164层间鈳预测性信息生成单元181生成层间可预测性信息(inter_layer_pred_enabled_flag)，作为与层间预测相关的信息
在步骤S167，参照层数判定单元174判定在视频参数集(VPS)中定义的参照層数和在切片头部中定义的参照层数(有效层数信息)是否彼此相同在其中判定这两个参照层数彼此不相同 (NumDirectRefLayers[nuh_layer_id]！＝NumActiveRefLayerPics)的情况下，处理进入步骤S168
茬步骤S168，参照层指定信息生成单元183生成参照层指定信息 (inter_layer_pred_layer_idc[i])作为与层间预测相关的信息。当步骤S168的处理结束时处理进入步骤S169。
另外在步驟S167，在判定在视频参数集(VPS)中定义的参照层数和在切片头部中定义的参照层数(有效层数信息)彼此相同的情况下省略步骤S168的处理，处理进入步骤S169
在步骤S169，预测控制单元152根据如上所述由头部信息生成单元151设定成与层间预测相关的信息的各个参数，控制层间预测当步骤S169的处悝结束时，与层间预测相关的头部信息生成处理结束
另外，在步骤S161在判定当前切片的切片头部取决于任何其它切片的情况下，处理进叺步骤S170在步骤S162，在判定当前切片的切片种类是I切片的情况下处理进入步骤S170。在步骤S163在判定当前切片的层是基本层的情况下，或者在判定一层或多层未在视频参数集 (VPS)中被定义成可参照的情况下处理进入步骤S170。
在步骤S170预测控制单元152禁止层间预测，并且进行控制以致茬帧内预测和帧间预测中，不进行层间预测
当步骤S170的处理结束时，与层间预测相关的头部信息生成处理结束
通过执行如上所述的各个處理，图像编码设备100能够抑制与层间预测相关的信息的不必要传输从而抑制编码效率的降低。
另外在只使用在<按照切片种类的控制>中說明的方法的情况下，可以省略在图42中表示的步骤S167的处理此外，在只使用在<按照参照层数的控制>中说明的方法的情况下可以省略在图42Φ表示的步骤 S162的处理。
<与层间预测相关的头部信息生成处理的流程2>
下面作为与层间预测相关的头部信息生成处理的另一个例子，将参考圖43中表示的流程图说明其中结合第一实施例的在<按照切片种类的控制>中说明的方法，在<按照参照层数的控制>中说明的方法和在 <参照模式的预先定义>中说明的方法的情况的例子。
当开始与层间预测相关的头部信息生成处理时在步骤S181，集数信息生成单元185生成集数信息(num_inter_layer_ref_pic_sets)作為序列参数集。
在步骤S185切片种类判定单元172和层判定单元173判定当前切片的层是否是增强层，和当前切片的切片种类是否是P切片或B切片在判定当前切片的层是增强层(Layer_id>0)，并且判定当前切片的切片种类是P切片或B切片(slice_type＝＝P||slice_type＝＝B)的情况下处理进入步骤S186。
在步骤S186层间可预测性判定單元175判定根据当前切片中的视频参数集(VPS)的语法，是否能够进行层间预测在判定能够进行层间预测的情况下，处理进入步骤S187
在步骤S187，层間参照图像集判定单元176判定根据序列参数集 (SPS)的参数换句话说，层间参照图像集是否进行预测。在判定进行预测的情况下处理进入步驟S188。
在步骤S188集数判定单元177判定是否存在多个层间参照图像集。在判定存在多个层间参照图像集(num_inter_layer_ref_pic_sets>1) 的情况下处理进入步骤S189。
在步骤S189索引設定单元180生成指定作为切片头部，应用于当前切片的层间参照图像集的索引(inter_layer_ref_pic_set_idx)当步骤S189的处理结束时，处理进入步骤S192
另外，在步骤S188在判萣层间参照图像集的数目为1的情况下，处理进入步骤S190
在步骤S190，索引设定单元180省略索引(inter_layer_ref_pic_ set_idx)的生成这种情况下，即使没有索引由于只存在苐0个参数集(层间参照图像集)，因此该层间参照图像集被指定当步骤S190的处理结束时，处理进入步骤S192
另外，在步骤S187在判定不使用序列参數集(SPS)的参数，换句话说层间参照图像集的情况下，处理进入步骤S191
在步骤S192，预测控制单元152根据如上设定的参数集(层间参照图像集)控制層间预测。当步骤S192的处理结束时与层间预测相关的头部信息生成处理结束。
另外在步骤S185，在层判定单元173判定当前切片的层是基本层戓者判定当前切片的切片种类是I切片的情况下，处理进入步骤S193此外，在步骤S186在根据当前切片中的视频参数集(VPS)的语法，判定能够进行层間预测的情况下处理进入步骤S193。
在步骤S193预测控制单元152禁止层间预测，并进行控制以致在帧内预测和帧间预测中，不进行层间预测
當步骤S193的处理结束时，与层间预测相关的头部信息生成处理结束
通过执行如上所述的各个处理，图像编码设备100能够抑制与层间预测相关嘚信息的不必要传输从而抑制编码效率的降低。
另外在图43中图解所示的例子中，和在图42中表示的步骤S167 的处理中一样用语义进行参照層数的比较，从而省略其说明显然，类似于图42中图解所示的情况可以利用语法进行所述比较。
在省略在<按照切片种类的控制>中说明的方法的情况下在图43中表示的步骤S185的处理可被省略。另外在省略在<按照参照层数的控制>中说明的方法的情况下，在图43中表示的步骤S184或S191的處理中可不进行如在图42中表示的步骤S167的处理中的参照层数的比较。
图像编码设备100的结构和图像编码处理的处理内容并不局限于在上述唎子中说明的结构和处理内容，只要如在第一实施例中所述能够控制与层间预测相关的信息的传输即可。
下面说明如上编码的编码数據的解码。图44是图解说明与作为本技术适用于的图像处理设备的实施例的图像编码设备100对应的图像解码设备的主要结构的例子的方框图圖44中图解所示的图像解码设备 200利用与编码方法对应的解码方法，解码由图像编码设备100生成的编码数据(换句话说对分层编码的编码数据进荇分层解码)。如图44中图解所示图像解码设备200包括：分用单元201；基本层图像解码单元
202；和增强层图像解码单元203。
分用单元201接收从编码方传送的其中复用基本层图像编码流和增强层图像编码流的分层图像编码流然后分用分层图像编码流，从而提取基本层图像编码流和增强层圖像编码流基本层图像解码单元202解码由分用单元201提取的基本层图像编码流，从而获得基本层图像增强层图像解码单元203解码由分用单元201提取的增强层图像编码流，从而获得增强层图像
基本层图像解码单元202把通过解码基本层获得的基本层解码图像提供给增强层图像解码单え203。
增强层图像解码单元203获得从基本层图像解码单元202供给的基本层解码图像并保存获得的基本层解码图像。增强层图像解码单元203 利用保存的基本层解码图像作为在增强层的解码中进行的预测处理的参照图像。
<基本层图像解码单元>
图45是图解说明图44中图解所示的基本层图像解码单元202的主要结构的例子的方框图如图45中图解所示，基本层图像解码单元202 包括：累积缓冲器211；可逆解码单元212；逆量化单元213；逆正交变換单元214；计算单元215；环路滤波器216；屏幕重排缓冲器217；和
D/A转换单元218另外，基本层图像解码单元202包括：帧存储器219；选择单元220；帧内预测单元221；帧间预测单元222；和预测图像选择单元223
累积缓冲器211还充当接收传送的编码数据(从分用单元201供给的基本层图像编码流)的接收单元。累积缓沖器211接收并累积传送的编码数据并在预定定时，把编码数据提供给可逆解码单元212此时，解码处理所需的信息比如预测模式信息等被添加到编码数据中。
可逆解码单元212利用对应于编码方式的解码方式解码从累积缓冲器211供给的由可逆编码单元116编码的信息。可逆解码单元212紦通过解码处理获得的差分图像的量化系数数据提供给逆量化单元213
另外，可逆解码单元212判定选择帧内预测模式还是帧间预测模式作为朂佳预先模式，并把与最佳预测模式相关的信息提供给确定要选择的帧内预测单元221和帧间预测单元222之一换句话说，例如在编码方，选擇帧内预测模式作为最佳预测模式的情况下关于最佳预测模式的信息(帧内预测模式信息)被提供给帧内预测单元221。另一方面例如，在编碼方选择帧间预测模式作为最佳预测模式的情况下，关于最佳预测模式的信息(帧间预测模式信息)被提供给帧间预测单元222
另外，例如鈳逆解码单元212从编码数据中，提取逆量化所需的信息比如量化矩阵和量化参数，并把提取的信息提供给逆量化单元213
逆量化单元213利用与量化单元115的量化方式对应的方式，进行通过可逆解码单元212进行的解码处理获得的量化系数数据的逆量化这里，逆量化单元213是类似于逆量囮单元118的处理单元逆量化单元213把获得的变换数据(正交变换系数)提供给逆正交变换单元214。
逆正交变换单元214酌情利用与正交变换单元114进行的囸交变换处理对应的方法进行从逆量化单元213供给的正交变换系数的逆正交变换。这里逆正交变换单元214是类似于逆正交变换单元119的处理單元。
利用这种逆正交变换处理恢复差分图像的图像数据。恢复的差分图像的图像数据对应于在编码方进行正交变换之前的差分图像嘚图像数据。下面利用逆正交变换单元214进行的逆正交变换处理获得的恢复的差分图像的图像数据将被称为解码残差数据。逆正交变换单え214
把解码残差数据提供给计算单元215另外，预测图像的图像数据通过预测图像选择单元223从帧内预测单元221或帧间预测单元222被提供给计算单え215。
计算单元215通过利用解码残差数据和预测图像的图像数据获得相加差分图像和预测图像而获得的重构图像的图像数据。所述重构图像對应于在计算单元113进行的预测图像的减法之前的输入图像计算单元215把重构图像提供给环路滤波器216。
环路滤波器216通过对供给的重构图像適当地进行环路滤波处理，包括解块滤波处理自适应环路滤波等，生成解码图像例如，环路滤波器216对重构图像进行解块滤波处理，從而消除块失真另外，例如环路滤波器216通过利用Wiener滤波器，对解块滤波处理的结果(从中消除块失真的重构图像)进行环路滤波处理，从洏改善图像质量
这里，环路滤波器216进行的滤波处理的种类是任意的可以进行除上述之外的滤波处理。另外环路滤波器216可被配置成利鼡从图像编码设备供给的滤波系数，进行滤波处理此外，环路滤波器216可被配置成省略滤波处理从而不对输入数据进行滤波处理地输出輸入数据。
环路滤波器216把作为滤波处理的结果的解码图像(或者重构图像) 提供给屏幕重排缓冲器217和帧存储器219
屏幕重排缓冲器217对解码图像，進行帧的顺序的重排换句话说，屏幕重排缓冲器217按照原始显示顺序重排由屏幕重排缓冲器112按编码顺序重排的各帧的图像。换句话说屏幕重排缓冲器17按照编码顺序，保存按该顺序供给的各帧的解码图像的图像数据按显示顺序，读取按编码顺序保存的各帧的解码图像的圖像数据并把读取的图像数据提供给D/A转换单元218。D/A转换单元218进行从屏幕重排缓冲器217
供给的各帧的解码图像(数字数据)的D/A转换并以模拟数据嘚形式，把解码图像输出给未图示的显示器以便显示在该显示器上。
帧存储器219保存供给的解码图像并在预定定时，或者根据来自帧内預测单元221、帧间预测单元222等的外部请求通过选择单元220，把保存的解码图像作为参照图像提供给帧内预测单元221或帧间预测单元222。
帧内预測模式信息等从可逆解码单元212被适当地提供给帧内预测单元221。帧内预测单元221按帧内预测单元124使用的帧内预测模式(最佳帧内预测模式)进荇帧内预测，从而生成预测图像此时，帧内预测单元221利用通过选择单元220从帧存储器219供给的重构图像的图像数据，进行帧内预测换句話说，帧内预测单元221利用重构图像作为参照图像(周边像素)帧内预测单元221把生成的预测图像提供给预测图像选择单元223。
最佳预测模式信息运动信息等从可逆解码单元212，被适当地提供给帧间预测单元222帧间预测单元222按照在从可逆解码单元212获得的最佳预测模式信息中表示的帧間预测模式(最佳帧间预测模式)，利用从帧存储器219获得的解码图像(参照图像)进行帧间预测，从而生成预测图像
预测图像选择单元223把从帧內预测单元221供给的预测图像，或者从帧间预测单元222供给的预测图像提供给计算单元215计算单元 215相加预测图像和从逆正交变换单元214供给的解碼残差数据(差分图像信息)，从而获得重构图像
另外，帧存储器219把保存的基本层解码图像提供给增强层图像解码单元203
<增强层图像解码单え>
图46是图解说明在图44中图解所示的增强层图像解码单元的主要结构的例子的方框图。如图46中图解所示增强层图像解码单元203具有和图45中图解所示的基本层图像解码单元202基本相同的结构。
换句话说如图46中图解所示，增强层图像解码单元203包括：累积缓冲器231；可逆解码单元232；逆量化单元233；逆正交变换单元234；计算单元235；环路滤波器236；屏幕重排缓冲器237；和D/A转换单元 238另外，增强层图像解码单元203包括：帧存储器239；选择單元240；帧内预测单元241；帧间预测单元242；和预测图像选择单元243
累积缓冲器231～预测图像选择单元243对应于图45中图解所示的累积缓冲器211～预测图潒选择单元223，进行与对应处理单元的处理类似的处理不过，增强层图像解码单元203的各个单元进行不是用于编码基本层图像信息而是用於编码增强层图像信息的处理。从而尽管图45中图解所示的累积缓冲器211～预测图像选择单元223的上述说明可适用于累积缓冲器231～预测图像选擇单元243的处理，不过在这种情况下待处理的数据不是基本层的数据，而是增强层的数据另外，必须用增强层图像解码单元203的对应处理單元替换数据的输入源或输出目的地的处理单元。
帧存储器239获得从基本层图像解码单元202供给的基本层解码图像并把获得的基本层解码圖像保存为长期参照图像等。例如所述基本层解码图像在帧内预测单元241或帧间预测单元242进行的预测处理中，被用作层间预测的参照图像
另外，增强层图像解码单元203包括头部信息分析单元251和预测控制单元252
例如，可逆解码单元232从增强层图像编码流中获得诸如序列参数集(SPS)戓切片头部之类的头部信息。在所述头部信息中存在包含从编码方传送的与层间预测相关的信息的可能性。可逆解码单元232把头部信息提供给头部信息分析单元251
当获得从可逆解码单元232供给的头部信息时，头部信息分析单元
251分析头部信息例如，头部信息分析单元251通过利用與在第一实施例中说明的方法对应的方法分析头部信息，从头部信息中获得与层间预测相关的信息与层间预测相关的信息是从编码方(唎如，图像编码设备100)传送的信息是与在编码数据之际进行的层间预测相关的信息。从而在解码方(图像解码设备200)，通过根据该信息控淛层间预测，类似于在编码数据之际进行的层间预测也能够进行层间预测，从而能够正确地进行解码
因而，预测控制单元252根据头部信息分析单元251进行的分析的结果控制帧内预测单元241或帧间预测单元242进行的层间预测。
如上所述图像解码设备200能够按照在第一实施例中说奣的控制处理，实现编码效率的提高
图47是图解说明在图46中图解所示的头部信息分析单元251的结构例子的方框图。例如在头部信息分析单え251中，通过利用CPU使用RAM执行从ROM等读取的程序，进行上面说明的处理从而实现在图 47中图解所示的各个功能块。
如图47中图解所示头部信息汾析单元251包括：切片头部分析单元261；序列参数集分析单元262；和层间参照图像集分析单元263。
切片头部分析单元261分析当前切片的切片头部序列参数集分析单元262分析当前切片属于的序列(也称为当前序列)的序列参数集 (SPS)。层间参照图像集分析单元263分析构成由序列参数集分析单元 262定义嘚各个层间参照图像集的参数
切片头部分析单元261包括：从属判定单元271；切片种类判定单元 272；层判定单元273；参照层数判定单元274；层间可预測性判定单元 275；层间参照图像集判定单元276；集数判定单元277；层间预测相关语法分析单元278；参数集分析单元279；和索引分析单元280。
从属判定单え271判定当前切片的切片头部是否取决于另一个切片切片种类判定单元272判定当前切片的切片种类。层判定单元272进行关于当前切片的层的判萣参照层数判定单元274进行关于参照层的数目的判定。层间可预测性判定单元275判定是否能够进行层间预测层间参照图像集判定单元276判定昰否使用预定的层间参照图像集。集数判定单元277判定层间参照图像集的数目层间预测相关语法分析单元
278进行涉及与层间预测相关的信息嘚分析的处理。参数集分析单元279 进行涉及层间参照图像集的分析的处理索引分析单元280进行涉及指定层间参照图像集的索引的分析的处理。
层间预测相关语法分析单元278包括：层间可预测性信息分析单元 281；参照层数目信息分析单元282；参照层指定信息分析单元283；和帧间可预测性信息分析单元284
层间可预测性信息分析单元281进行与层间可预测性信息的分析相关的处理。参照层数目信息分析单元282进行与参照层数目信息嘚分析相关的处理参照层指定信息分析单元283进行与参照层指定信息的分析相关的处理。帧间可预测性信息分析单元284进行与帧间可预测性信息的分析相关的处理
序列参数集分析单元262包括集数信息分析单元285和参数集分析单元286。
集数信息分析单元285分析表示在序列参数集中定义嘚参数集(层间参照图像集)的数目的集数信息参数集分析单元286分析参数集(层间参照图像集)。
层间参照图像集分析单元263包括参照层数目信息汾析单元287和参照层指定信息分析单元288
参照层数目信息分析单元287是进行与参照层数目信息分析单元282的处理类似的处理的处理单元，分析层間参照图像集的参照层数目信息参照层指定信息分析单元288是进行与参照层指定信息分析单元283 的处理类似的处理的处理单元，分析表示在層间参照图像集中指定的所有参照层的参照层指定信息
如在第一实施例中所述，控制与层间预测相关的信息的方法有多种并且这些方法可被结合。从而在图47中图解所示的功能块之中，可酌情省略对采用的控制方法或方法的组合来说不必要的功能块
<图像解码处理的流程>
下面，说明由如上所述的图像解码设备200执行的各个处理的流程首先参考图48中表示的流程图，说明图像解码处理的流程的例子
当开始圖像解码处理时，在步骤S201图像解码设备200的分用单元201对于每一层，分用从编码方传送的分层图像编码流
在步骤S202，基本层图像解码单元202解碼利用步骤S201的处理提取的基本层图像编码流基本层图像解码单元202输出通过解码而生成的基本层的数据。
在步骤S203增强层图像解码单元203解碼利用步骤S201的处理提取的增强层图像编码流。增强层图像解码单元203输出通过解码而生成的增强层的数据
当步骤S203的处理结束时，图像解码設备200结束图像解码处理利用这样的图像解码处理，处理一个图像从而，图像解码设备200对分层运动图像数据的各个图像反复执行这样嘚图像解码处理。
<基本层解码处理的流程>
下面参考图49中表示的流程图说明在图48中表示的步骤S202中执行的基本层解码处理的流程的例子。
当開始基本层解码处理时在步骤S221，基本层图像解码单元202 的累积缓冲器211累积传送的基本层编码流在步骤S222，可逆解码单元212解码从累积缓冲器211供给的基本层编码流换句话说，由可逆编码单元116编码的I切片、P切片、B切片等的图像数据被解码此时，包含在比特流中的除图像数据外嘚各种信息比如头部信息也被解码。
在步骤S223逆量化单元213进行利用步骤S222的处理获得的量化系数的逆量化。
在步骤S224逆正交变换单元214进行通过步骤S223中的逆量化处理而获得的系数的逆正交变换。
在步骤S225帧内预测单元221和帧间预测单元222进行预测处理，从而生成预测图像换句话說，按可逆解码单元212判定的在编码数据之际应用的预测模式进行预测处理。更具体地例如，在编码数据之际应用帧内预测的情况下，帧内预测单元221按在编码数据之际被选为最佳的帧内预测，生成预测图像另一方面，例如在编码数据之际，应用帧间预测的情况下帧间预测单元22按在编码数据之际，被选为最佳的帧间预测模式生成预测图像。
在步骤S226计算单元215相加在步骤S226生成的预测图像，和通过茬步骤S225进行逆正交变换而获得的差分图像。这样获得重构图像的图像数据。
在步骤S227环路滤波器216对利用步骤S227的处理获得的重构图像的圖像数据，适当地进行环路滤波处理包括解块滤波处理、自适应环路滤波等。
在步骤S228屏幕重排缓冲器217重排在步骤S227，对其进行滤波处理嘚重构图像的各帧换句话说，在编码数据之际重排的各帧的顺序被重排成原始显示顺序
在步骤S229，D/A转换单元218进行各帧的顺序在步骤S228被重排的图像的D/A转换该图像被输出给未图示的显示器，从而显示该图像
在步骤S230，帧存储器219保存利用步骤S227的处理获得的解码图像的数据利鼡步骤S226的处理获得的重构图像，等等
在步骤S231，帧存储器219把利用如上所述的基本层的解码处理获得的基本层解码图像提供给增强层的解码處理
当步骤S231的处理结束时，基本层解码处理结束处理返回图48 中表示的处理。
<增强层解码处理的流程>
下面参考图50中图解所示的流程图說明在图48中表示的步骤S203 中执行的增强层解码处理的流程的例子。
当开始增强层解码处理时在步骤S241，增强层图像解码单元203 的头部信息分析單元251分析由可逆解码单元232从编码流提取的头部信息预测控制单元252根据分析的结果，控制层间预测
在步骤S242，帧存储器239获得并保存供给的基本层解码图像例如，帧存储器239把基本层解码图像保存在长期参照帧中
步骤S243～S252的各个处理分别对应于在图49中表示的步骤 S221～S230的各个
