beike 信息工程基础(2007)A卷_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
beike 信息工程基础(2007)A卷
阅读已结束，下载文档到电脑
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩1页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
信息论基础与编码课件第5章信源编码.ppt 109页
本文档一共被下载：
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性，不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值，立即自动返金币，充值渠道很便利
需要金币：90 &&
你可能关注的文档：
·······
··········
信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 信道编码：是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。 密码：是以提高通信系统的安全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。 信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础。
信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。 Kraft不等式是惟一可译码存在的充要条件，其必要性表现在如果码是惟一可译码，则必定满足Kraft不等式;充分性表现在如果满足Kraft不等式，则这种码长的惟一可译码一定存在，但并不表示所有满足Kraft不等式的码一定是惟一可译码。 因此，克拉夫特不等式是惟一可译码存在的必要条件，而不是惟一可译码的充要条件。 唯一可译变长码的判断方法 根据上面的定理可知，不满足Kraft不等式的肯定不是唯一可译码，满足Kraft不等式的不一定是唯一可译码 根据定义的判断法：将码C中所有码字可能的尾随后缀组成一个集合F，当且仅当集合F中没有包含任何码字的时候，则码C为唯一可译码 唯一可译码的判断步骤 观察最短的码字是否是其它码字的前缀，如果是将所有可能的尾随后缀列出 观察上面的尾随后缀是否是其它码字的前缀，或者其它码字是这些尾随后缀的前缀，若是将由这些尾随后缀产生新的尾随后缀列出 ┇ 直到没有一个尾随后缀是其它码字的前缀或其它码字是它的前缀 由所有的尾随后缀构成集合F 判断F中是否有码字存在 例：判断C＝{0,10,11,1101}是否为唯一可译码？ 解：首先判断是否满足Kraft不等式 最短的码字是0，不是其它码字的前缀，故没有尾随后缀 次短的码字是10，是码字1011的前缀，故产生一个尾随后缀11 第二步的尾随后缀11又是码字以及1101的前缀，故可产生3各新的尾随后缀：00，10，01 此时码字0又是上面尾随后缀00，01的前缀，故产生新的尾随后缀0，1 同时上一步尾随后缀1，又是码字，的前缀，产生了新的尾随后缀：110，011，101 此时的F集合为：F＝{11，00，10，01，0，1，110，011，101} F集合了包含了码字0，10，所以C不是唯一可译码
例：判断码字C＝{110,11,100,00,10}是否为唯一可译码 解：首先判断是否满足Kraft不等式 最短的码字为11，00，10 首先看11，是码字110的前缀，故产生尾随后缀0 尾随后缀0不是任何码字的前缀，任何码字也不是它的前缀 再看00，不是任何码字的前缀，故没有尾随后缀产生 最后看10，是码字100的前缀，故产生尾随后缀0 尾随后缀0分析同上 集合F＝{0}，不包含任何码字 故码C是一个唯一可译码 5.2.1 定长编码定理 定理：由L个符号组成的、每个符号的熵为
的离散无记忆平稳信源符号序列X=
，可用K个符号
进行定长编码，且
香农第一定理指出，可选择每个码字的长度满足关系式：
? x ? 表示不小于 x 的整数。按不等式选择的码长所构成的码称香农码。香农码满足克拉夫特不等式，所以一定存在对应码字的长度的惟一可译码。 一般情况下，按照香农编码方法编出来的码，其平均码长不是最短的，也即不是紧致码(最佳码)。只有当信源符号的概率分布使不等式左边的等号成立时，编码效率才达到最高。
例:设信源共有七个信源符号，其概率分布如下表所示，试对该信源进行香农编码。
解:计算过程见下页
码的性能分析：
通过计算可得此信源的熵:
(比特／符号)
而码的平均长度:
(二元码符号／符号
正在加载中，请稍后...
84页49页63页69页77页38页205页41页46页58页您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
第5章 无失真信源编码.ppt 87页
本文档一共被下载：
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性，不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值，立即自动返金币，充值渠道很便利
需要金币：40 &&
你可能关注的文档：
··········
··········
信息论基础
第五章 无失真信源编码 5.1
信源编码的相关概念 5.2
定长码及定长编码定理 5.3
变长码及变长编码定理 5.4
变长码的编码方法 5.5
实用的无失真信源码方法 5.1
信源编码的相关概念 5.1.1
信源输出的符号序列，需要变换成适合信道传输的符号序列，一般称为码序列，对信源输出的原始符号按照一定的数学规则进行的这种变换称为编码，完成编码功能的器件，称为编码器。接收端有一个译码器完成相反的功能。
讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。
图5.1是一个信源编码器，它的输入是信源符号（字母）集
，同时存在另一符号（码字母）集
，一般来说，元素
是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符号
（或者长为N的信源符号序列
）变换成由
，其 的长度为
的一一对应的序列。
可见，编码就是从信源符号到码符号的一种映射，即
，称f为定长编码；否则，f为变长编码。 平均码长：
若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。 5.1.1
编码器 信源编码有以下3种主要方法：? (1) 匹配编码?根据信源符号的概率不同，编码的码长不同：概率大的信源符号，所编的代码短；概率小的信源符号所编的代码长，这样使平均码长最短。将要讲述的香农编码、哈夫曼编码、费诺码都是概率匹配编码，都是无失真信源编码。 (2) 变换编码
先对信号进行变换，从一种信号空间变换为另一种信号空间，然后针对变换后的信号进行编码。 (3) 识别编码?识别编码主要用于印刷或打字机等有标准形状的文字符号和数据的编码，比如中文文字和语音的识别。?
后两种信源编码均为有失真的信源编码。?
无失真信源编码主要针对离散信源，连续信源在量化编码的过程中必然会有量化失真，所以对连续信源只能近似地再现信源的消息。 下面，我们给出这些码的定义。 1. 二元码 若码符号集为
，所有码字都是一些二元序列，则称为二元码。二元码是数字通信和计算机系统中最常用的一种码。 2. 等长码 若一组码中所有码字的码长都相同，即
，则称为等长码。 3. 变长码 若一组码组中各码字的码长长短不一，则称为变长码。 5.1.2
码的分类 4. 分组码和非分组码
将信源符号集中的每个信源符号
固定地映射成一个码字
，这样的码称为分组码。
用分组码对信源符号进行编码时，为了使接收端能够迅速准确地将码译出，分组码必须具有一些直观属性。与分组码对应的是非分组码，又称为树码、树码编码器输出的码符号通常与编码器的所有信源符号都有关。 5. 奇异码与非奇异码
若一种分组码中的所有码字都不相同，则称此分组码为非奇异码，否则称为奇异码。 5.1.2
码的分类 5.1.2
码的分类 6. 唯一可译码与非唯一可译码
任意有限长的码元序列，如果只能唯一地分割成一个个码字，便称为唯一可译码。
唯一可译码的物理含义是指不仅要求不同的码字表示不同的信源符号，而且还要求对由信源符号构成的符号序列进行编码时，在接收端仍能正确译码而不发生混淆。唯一可译码首先是非奇异码，且任意有限长的码字序列不会雷同。
下雨天，留客，天留我不留。
下雨天，留客天，留我不？留。
7. 即时码与非即时码
无需考虑后续的码符号就可以从码符号序列中译出码字，这样的唯一可译码称为即时码。 5.1.2
下面讨论唯一可译码成为即时码的条件。?
为一码字，对于任意的
，称码符号序列的前j个元素
为码字的前缀。?
按照上述的前缀的定义，有下述结论：?
一个唯一可译码成为即时码
的充要条件是其中任何一个码字都不是
其他码字的前缀。
即时码可以用树图来构造．图5.2是一个
二元即时码的树图． 5.1.2
树是没有回路的图，所以它也是由节点和弧构成的．树中最顶部的节点称为根节点，没有子节点的节点称为叶子节点。
正在加载中，请稍后...第十小组作业_学习资料共享网
第十小组作业
1.2 简述信息传输系统的五个组成部分的作用？ 答：信息传输系统的五个组成部分的作用分别是： 信源是产生消息的源。 信道是信息传输和存储的媒介。 编码器是将消息变换成适合于信道传送的信号的设备;译码器是编码器的逆变换，分为 信道译码器和信源译码器， 信道译码器是从受干扰的信号中尽可能地再现信源的输出。 信源 译码器是将信道中传输的各种信号还原成受信者能感知的消息。 信宿是消息的接受者，可以是人，也可以是消息。 1.6 有一个二元对称信道，p=0.06，设该信道以 1000 个符号/秒的速度输入符号，现有一消 息序列共有 9500 个符号，并设消息中 q（0）=q(1)=0.5,试问从信息传输的角度来考虑 10 秒钟能否将消息无失真地传完？1 H( ) =1 2 bit，9500 个符号的信息量为 9500bit。 解：信源符号等概率分布，故信源熵为?0.94 0.06 ? P=? ? ? .0.6 0.94 ? 又由二进制对称信道的信道矩阵 q (0) = q (1) = 1 1 H (Y ) = H ( ) = 1 2， 2 bit/符号?0.47 0.03 ? PXY = ? ? ? 0.03 0.47 ? 发送和接收符号的联合概率矩阵为 H (Y X ) = ∑ p ( x)∑ p ( y x) log p ( y x) =X Y1 ( H (0.94, 0.06) × 2) 2 =0.327bit/符号I ( X ; Y ) = H (Y ) ? H (Y X ) = 1 ? 0.327 = 0.67310 秒钟可以传送 0.673 × 1000 × 10 = 6730 bit，小于 9500bit，故无法在 10 秒内无失真地 传送。 从信息传输的角度来考虑 10 秒钟不能将消息无失真地传完。 1.8 设有一反馈通信系统如题图 1-2 所示，信源为二元离散无记忆信源，信道为二元删除信 道， 反馈信道为无干扰信。 译码器判断若接到删除符号就通知发端重传原来的符号 或 1） （0 ， 若接收到为 0 或 1，译码器就将它送给信宿，同时通知发端送下一个符号。试求： （1） 、每个信息符号被接收端接收所需的平均传送次数。 （2） 、信宿接收的符号的错误概率。 信源 编码器 二元删除信道 译码器 信宿解：无干扰反馈信（1） 、由信道为二元删除信道，且反馈信道为无干扰信道可知：信宿接收到信源的信号必为 0 或 1。每个信息符号如果接收为 e，则会重新发送，直至接收为 0 或 1，对于单一信号如 0， 其信宿接收到信号服从几何分布。 那么每个信号被接收端接收所需的平均传送次数就是接收 端接收到信号的期望。又几何分布知识可知该期望为 错误！未找到引用源。 错误！未找到引用源。 ，即平均传送次 数是错误！未找到引用源。 错误！ 错误 未找到引用源。 （2） 、由于译码器每次接收到 e 就会无干扰反馈到编码器，而对于二元删除信道，0 发送为 0 或 e，1 发送为 1 或 e，所以不会有接收到错误的信号出现，故信宿接收的符号错误概率为 0。 2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？ 答：信源各个状态为等概率分布时，熵值最大，并且等于信源输出状态数；当一个信源是一 个确知信源时，其熵为零，也即最小。 2.2 平均互信息量 I(X;Y)与信源概率分布 q(x）有何关系？与 p(y|x)又是什么关系？ 答：如下面的公式所示：I ( y ) = ∑ φ ( xi | yi ) logiφ ( xi | yi )q ( xi )I ( y ) = logp ( yi | xi ) w( yi )2.3 熵是对信源什么物理量的度量？ 答： 熵是信息论中用来衡量信源信息量有序化程度的一个概念。 信源熵值与信源有序化程度 成反比；有序度越高，信源熵值越低，反之亦成立。 2.4 设信道输入符号集为 量为多少？ 答案： log k 2.5 根据平局互信息量的链规则，写出 I ( X ; YZ ) 的表达式。 答案： I ( X ; Y Z ) = I ( X ; Y ) + I ( X ; Z | Y ) 2.6 互信息量 I ( y ) 有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？ 互信息量 I ( y ) 有时候取负值，不完全是由于信道存在干扰或噪声的原因。如果互信息量{x1，x2，? ?，xk }，则平均每个信道输入符号所能携带的最大信息 ?I ( y ) 取负值时，说明信息在收到消息 Y 后，不但没有使 X 的不确定性减少，反而使 X 的不确定性增加，所以获得的信息量味负值。这是由于通信收到干扰（噪声）或发生错误所造 成的。? X ? ? x1 x2 ? ?q ( X )? = ? p1 ? p ? ? ? ? ，试证明： 2.9（1）对于离散无记忆信源 DMS， ?1H ( X ) = H 2 ( p ) = ? p log p ? (1 ? p ) log(1 ? p ) ，当（2）对（1）中的 DMS，考虑它的二次扩展信源 X 明： 证明：p=1 2 时， H ( X ) 达到最大值。( 2)( x ( x (x = {( x1 x1 )， 1 x2 )， 2 x1 )， 2 x2 )} ， 证H X ( 2) = 2 H ( X ) 。()（1） H ( X ) = H 2 ( p ) = ? p log p ? (1 ? p ) log(1 ? p )? ? 1 ?1 对H ( X )求导，得H ' ( X ) = ? ?log p + p ? ? log(1 ? p ) + (1 ? p ) ? p ln 10 (1 ? p ) ln 10 ? ? ? = ?(log p + log e ? log(1 ? p ) ? log e) = log(1 ? p ) ? log p 1 1 令H ' ( X ) & 0, 得到p & ，令H ' ( X ) & 0, 得到p & 。 2 2 1 故由函数的性质可得H ( X )在当p = 时，达到最大值。 2（2）H X ( 2 ) = ∑ q ( x ) logx()1∏ q(x )i i =1N= ∑∑ q ( x ) logi =1 xN1 q ( xi )N ? = ∑ ? ∑∑ … ∑ … ∑ ? i =1 ? x1 x2 xi xN?? N ? 1 ?? ∏ q ( xi )? log ? ? ? i =1 q ( xi ) ? ??N ?? ?? ?? ? ? 1 ? ? ? …? ∑ q ( x N )? ? = ∑ ?? ∑ q ( x1 )?? ∑ q( x2 )? …? ∑ q ( xi ) log ? ?? x ? ? x ? q ( xi ) ? ? xN i =1 ?? x1 ?? 2 ? ? i ? ? ?? ? ?= ∑ [1 ?1 ? ? ? ? ? ?H ( xi ) ? ? ? ? ? ?1]i =1 NN= ∑ H ( xi )i =1即H X ( 2 ) = ∑ H ( xi ) | N = 2 = 2 H ( X )i =1()N2.10 一副扑克牌（不用大小王） ，试问：2（1）任意特定排列给出的信息量是多少？ （2）从 52 张牌中抽取 13 张，所给出的点数都不相同时得到多少信息量？ （3）从 52 张牌中任意抽取 1 张，然后放回，结果视为从 DMS 中取得样本，这个 DMS 的熵为 多少？ （4）若（3）中不计颜色，熵又为多少？ 解： （1）I ( xi ) = ? log（2）1 = 225.6( Bit ) 52! 52! 4 13!39!13I ( xi ) = ? log q ( xi ) = log（3）H(U ) = ? log（4）1 = log 52 = log 4 × 13 = 2 log 13 = 7.4( Bit / 符号) 52 1 = log 13 = 3.7( Bit / 符号) 13H ( X ) = ? log2.13 已知平均每 100 人中有 2 人患有某种病，为了查明病情进行某项指标的化验。化验结 果对于病人总是阳性的， 而对于健康人来说， 这项指标有一半可能为阳性， 一般可能为阴性。 问这项化验对于查明病情提供了多少信息？ 答案： I ( X | Y ) = ? log 0.039 2.17 等概信源消息集： u0 , u1 ,... u7 ,编码为 u0 =000， u1 =001，... u7 =111,通过错误概率 为 p 的二进制对称信道 BSC 传输，在接收 u 4 =100 的过程中，求： （1）1 与 u 4 之间的互信息量 （2）10 与 u 4 之间的互信息量 （3）100 与 u 4 之间的互信息量 解： 用“1”表示收到 1， “10”表示收到 10， “100”表示收到 100q (?) 表示接收符号的概率3（1） 由 I (1; u4 ) = logp(1 u 4) ，先求 q (1) q(1)7 1 1 q (1) = ∑ p (ui ) p (1 ui ) = [4(1 ? p ) + 4 p ] = 代入上式可得 i =0 8 2I (1; u4 ) = logp(1 u 4) (1 ? p) = log = log 2(1 ? p) q(1) 1/ 2p (u4 1) ，先求 q (1) ，再求 p (u4 )或可由 I (1; u4 ) = I (u4 ;1) = logp(u4 1) =p(1 u 4) p(u 4) 1 ? p = ，代入到定义式中求解 q(1) 4 p(10 u 4) ，先求 q (10) q(10)（2） 由 I (10; u4 ) = log7 1 1 q (10) = ∑ p (ui ) p (10 ui ) = [4 p (1 ? p ) + 2 p 2 + 2(1 ? p ) 2 ] = 代入上式可得 i =0 8 4I (10; u4 ) = logp(10 u 4) (1 ? p)2 = log = 2 log 2(1 ? p) q(10) 1/ 4p(10 u 4) p(u 4) (1 ? p) 2 （ p (u4 10) = = ） 2 q (10) p(100 u 4) ，先求 q (100) q(100)7（3） 由 I (100; u4 ) = logq (100) = ∑ p (ui ) p (100 ui ) = ∑ p (ui ) p (1 ui ) p (0 ui ) p (0 ui ) =i =0 i =071 代入上式可得 8p(100 u 4) (1 ? p)3 I (100; u4 ) = log = log = 3log 2(1 ? p) q(10) 1/ 8 p(100 u 4) p(u 4) = (1 ? p)3 ） q (100)（ p (u4 100) =2.19 X，Y，Z 为概率空间，证明下述关系式成立，并给出等号成立的条件。4（1） H (YZ X ) ≤ H (Y X ) + H ( Z X ) （2） H (YZ X ) = H (Y X ) + H ( Z XY ) （3） H ( X Z ) ≤ H ( X Y ) + H (Y Z ) 证明：(1)∵ H (YZ X ) ≤ H (YZ ) ≤ H (Y ) + H ( Z ) 又∵ H (Y ) ≤ H ( XY ) = H (Y X ) + H ( X )H ( Z ) ≤ H ( XZ ) = H ( Z X ) + H ( X )∴ H (YZ X ) ≤ H (YZ ) ≤ H (Y ) + H ( Z ) ≤ H (Y X ) + H ( X ) + H ( Z X ) + H ( X ) H (YZ X ) ≤ H (Y X ) + H ( Z X )等号成立的条件是 H ( X ) = 0 (2)∵ H (YZ X ) ≤ H (YZ ) ≤ H (Y ) + H ( Z ) 又∵ H (Y ) ≤ H ( XY ) = H (Y X ) + H ( X )H ( Z ) ≤ H ( XYZ ) = H ( Z XY ) + H ( XY )∴ H (YZ X ) ≤ H (YZ ) ≤ H (Y ) + H ( Z ) ≤ H (Y X ) + H ( X ) + H ( Z XY ) + H ( XY ) ∴ H (YZ X ) ≤ H (Y X ) + H ( Z XY )等号成立的条件是 H ( XY ) + H ( X ) = 0 （3）∵ H ( X Z ) + H ( Z ) = H ( XZ ) ≤ H ( X ) + H ( Z ) 又∵ H ( X ) ≤ H ( XY ) = H ( X Y ) + H (Y )H ( Z ) ≤ H (YZ ) = H (Y Z ) + H ( Z )∴ H ( X Z ) + H ( Z ) ≤ H ( X Y ) + H (Y ) + H (Y Z ) + H ( Z ) ∴ H ( X Z ) ≤ H ( X Y ) + H (Y ) + H (Y Z ) ≤ H ( X Y ) + H (Y Z )等号成立的条件是 H (Y ) = 052.24 信 源 消 息 集 X={0,1} ， 信 宿 消 息 集 Y={0,1}, 信 源 等 概 分 布 ， 通 过 二 进 制 信 道[ p( y x)] = [0.76 0.24 0.32 0.68]传输，求：（1）该系统的平均互信息量 （2）接收到 y=0 后，所提供的关于 x 的平均互信息量 I{x;0}。 解： （法一）由 I ( X ; Y ) = H (Y ) ? H (Y X )设信宿符号接收概率分别为 q0 和 q1[q0q1 ] = [ p0? 0.76 0.24 ? 1 p1 ] ? ? =[ ? 0.32 0.68 ? 21 ?0.76 0.24 ? ] = [0.54 0.46] 2 ?0.32 0.68 ? ? ?H (Y ) = H (0.54, 0.46) = 0.9954 bit/符号H (Y X ) = ∑ pi H (Y i ) =i =011 [ H (0.76, 0.24) + H (0.32, 0.68)] = 0.8497 bit/符号 2从而 I ( X ; Y ) = H (Y ) ? H (Y X ) = 0.7=0.146bit/符号（法二）直接由平均互信息量的定义式 I ( X ; Y ) = ∑ p ( xy ) logX ,Yp( y x) q( y)由信源分布及信道转移概率矩阵可得 XY 的联合分布? 0.38 0.12 ? PXY = ? ? ，将其代入到定义式中可得 ? 0.16 0.34 ? I ( X ; Y ) = 0.38log 0.76 0.24 0.32 0.68 + 0.12 log + 0.16 log + 0.34 log 0.54 0.46 0.54 0.46= 0.146bit/符号(2) I (X ;0) = 0.38 log0.76 0.32 + 0.16 log = 0.02bit/符号 0.54 0.542.25 一传输系统的输入符号集 X={ x0 ， x1 ， x2 ， x3 }，输出符号集 Y={ y0 , y1 , y 2 },输入 符号与输出符号的联合概率 p ( x, y ) 用下述矩阵表示6y0 y1 y2x0 ? 0.1 0 0 ? x1 ?0.2 0.1 0 ? ? [ p( xy)] = ? x 2 ? 0 0 .3 0 .2 ? ? ? x3 ? 0 0 0.1?计算 H ( X ), H (Y ), H ( XY ), H (Y X ) 以及 I ( X ; Y ) ，并与维拉图对照。 解 ： 由 联 合 概 率 分 布 可 求 得 X 和 Y 的 一 维 概 率 分 布 PX = [ 0.1 0.30.5 0.1] ，PY = [ 0.3 0.4 0.3] 及转移概率矩阵 PY X?1 ?2 ? 3 =? ? ?0 ? ?0 ?0 1 3 3 5 00? ? 0? ? 2? ? 5? 1? ?H ( X ) = H (0.1, 0.3, 0.5, 0.1) = 1.685 bit/符号 H (Y ) = H (0.3, 0.4, 0.3) = 1.571 bit/符号2 1 3 2 H (Y X ) = ∑ p ( x) H (Y x) = 0.1H (1, 0, 0) + 0.3H ( , , 0) + 0.5 H ( , , 0) + 0.1H (0, 0,1) X 3 3 5 5 2 1 3 2 = 0.3H ( , ) + 0.5 H ( , ) = 0.761 bit/符号 3 3 5 5H ( XY ) = H ( X ) + H (Y X ) = 1.685 + 0.761 = 2.446 bit/2 符号 I ( X ; Y ) = H ( X ) ? H ( X Y ) = H (Y ) ? H (Y X ) = 1.571 ? 0.761 = 0.813.2 离散无记忆信源，熵为 H(X)，对信源的 L 长序列进行等长编码，码字是长为 n 的 D 进 制符号串，问： （1） 满足什么条件，可实现无失真编码； （2） L 增大，编码效率η 也随之增大吗？ 解： （1）当 n log D ≥ LH ( X ) 时，可实现无失真编码；7（2）等长编码时，从总的趋势来说，增加 L 可提高编码效率，且当 L → ∞ 时，η 但不一定 L 的每次增加都一定会使编码效率提高。→ 1。_3.3 足变长编码定理指明，对信源进行变长编码，总可以找到一种唯一可译码，使码长 n 满_ H (X ) _ H (X ) 1 H(X ) 1 ≤n& + ，试问在 n & + 时，能否也找到唯一可译码？ logD logD L log D L答：变长编码定理指明只有满足 n ≥__ H (X ) ，才能构成唯一可译码。但是平均码长 n 应该 log D小 于 1+_ H(X ) ，这是根据 n 应尽可能短的要求，这是得到的码是最佳码，其实 logDn&_H (X ) 1 + 也能找到唯一可译码。 log D L3.7 对一信源提供 6 种不同的编码方案：码 1~码 6，如表 3-10 所示。 表 3-10 同一信源的 6 种不同编码信源消 消息概 码1 息 率 u1 u2 u3 u4 u5 u6 u7解：码2码3码4码5码61/4 1/4 1/8 1/8 1/8 1/16 1/160 10 00 11 01 001 111001 010 011 100 101 110 1111 10 100
1000000 01 001
00000100 01 100 101 110 1110000 001 011 100 101 码 1：其二次扩展码是奇异码，如 u1u2 和 u5u1 对应的码字均为 010； 码 2：是唯一可译码，非奇异等长码是唯一可译码，且是即时码，平均码长为 3； 码 3：是延长码，是唯一可译码，但不是即时码，平均码长为 n = ∑ pi ni =i =1 749 = 3.06 168码 4：是非延长码，故是唯一可译码，也是即时码；平均码长为n = ∑ pi ni =i =1749 = 3.06 167 i =1码 5：是树码，即非延长码，因此是即时码；平均码长为 n = ∑ pi ni = 码 6：是非延长码，因此是即时码；平均码长为 n = ∑ pi ni =i =1 721 = 2.625 ； 825 = 3.125 8综上所述，码 2~6 均为唯一可译码，码 2、4、5、6 是即时码。 3.10 信源符号集 X={0,1,2}，一信源含 8 个消息，编码为即时码，若要求码长只取 1,3,5 中的一个，应用克拉夫特不等式，分析按上述要求能否构成唯一可译码。 解：克拉夫不等式：∑Dm =1M? nm≤1当编码码长为 1 时，码字只有三种 0,1,2，但却有 8 个消息，即出现多个消息用同一个码字 表示的情况，此编码为奇异码，不具备唯一可译性，不能构成唯一可译码。 当 编 码 码 长 为 3 时 ， 可 以 编 码 为 000,001,010,011,100,101,110,111 即 有∑Dm =1M-n m= 8 * 3?3 =8 & 1 满足克拉夫特不等式，能够构成唯一可译码。 27当编码码长为 5 时，克拉夫不等式为∑Dm =1M? nm= 8 * 3-5 & 1 ，即存在唯一可译码。m m3.11 某一信源有 N 个消息，等概分布，对其进行最佳二元霍夫曼编码，问当 N=2 和 N=2 +1 （m 为整数）时，每个码字的长度等于多少？平均码长等于多少？ 解： m N=2 ：每个码字的长度等于 m，平均码长等于 m； N=2 ：2 个码的码字长度为 m+1，2 -1 个码的码字长度为 m，平均码长等于 m +m mm+2 2m3.15 离散无记忆信源 ?? X ? ? x1 x2 x3 ? ? ?=? ? q ( X ) ? ? 0 .5 0 .3 0 .2 ?（1）求 X 的最佳二元码，平均码长及编码效率； (2) （2）求 X 的最佳二元码，平均码长及编码效率； (3) （3）求 X 的最佳二元码，平均码长及编码效率； 解： （1）x1 x2 x3 0 11 10 平均码长为 1.5，编码效率为 0.99 （2） x 1x 1 x 1x 2 x 1x 3 x 2x 1 x 2x 2 01 101 001 110 1111 平均码长为 3，编码效率为 0.99 （3）x 2x 3 1110x 3x 1 000x 3x 2 1001x 3x 3 10009x1x1x1 100 x2x1x1 1011x1x3x3 x3
x3x1x1 x3x1x2 x3x1x3 x3x2x1 x3x2x2 x3x2x3 x3x3x1 x3x3x2 x3x3x3 10
1 0平均码长为 4.487，编码效率为 0.993 3.21（1）两个无前缀变长码的级联定义为x1x1x2 x2 0001x1x1x3 x1x3 01100x1x2x1 x1 11111x1x2x2 x2 01010x1x2x3 1x3 111000x1x3x1 x3x1 01111x1x3x2 0x2 101011C = C1 ? C 2，即?c1 ∈ C1 , ?c2 ∈ C 2 , c = c1 ? c2 ∈ C证明：无前缀变长码的级联仍然是无前缀变长码。 证明： （1）由于 C1 和 C 2 都是变长码，所以级联之后， C1 ? C 2 得到的码字的长度也不可 能是唯一的。 假设得到的码字 C 中的某个码字 cm 是码字 cn 的前缀，且假设 cm = c1i ? c1 j ，c n = c1k ? c2l 则 c1i 必定是 c1k 的前缀， 这不符合题目要求， 所以码字 C 必定是无前缀的。 结合这两点，所以得到无前缀变长码的级联仍然是无前缀变长码。 （2）考虑以下系统： 设有两个相互独立的信源：x ? X ? ? 1 = ?1 ?q ( X ) ? ? ? ?3 ?x2 1 3x3 1 6x4 ? y ? Y ? ? 1 = ?1 1 ? 和? ? ? q(Y)? ? 6? ? ?5y2 1 5y3 1 5y4 1 5y5 ? 1? ? 5??1 ? 2 xk 定义 z k = ? 1 ? yk ?2① {z k }: 的熵为多少？k为奇数 k为偶数，k=0,1,2,3,4,5,6,7,8②对 {z k }: 分别设计 D=2，D=3 的霍夫曼编码，比较编码效率 η ； ③对 {xk }: 和 {yk }: 分别设计 D=2，D=3 的霍夫曼编码，将它们级联后得到一个新的无前缀变 长码，并将它们的编码效率与②的结果比较； ④验证③中的级联码仍然满足香农第一定理（式（3-23）。. ）10解： ①由题意，可得：? z z z 0 z 2 z 4 z 6 z8 z 5 z 7 ? ? Z ? ? 1 3 ? ?q (Z )? = ? 1 1 1 1 1 1 1 1 1 ? ? ? ? ? 6 6 10 10 10 10 10 12 12 ? ?1 1 故H (Z ) = ?∑ q (zi ) logq ( zi ) = -2 × log ? 5 ×i =0 8661 1 1 1 log ? 2 × log 10 10 12 12= 0.94② {z k }: 霍夫曼编码，D=2 消 息 码 字 z0 20 z1 22 z2 12 z3 21 z4 11 z5 01 z6 10 z7 00 z8 02平均码长 n = ∑ nm q (nm ) = 2 （比特/符号）m =08编码效率 η =H (Z ) 0.94 = = 0.9853 n log D 2 × log 3霍夫曼编码，D=3 消 息 码 字 z0 100 z1 110 z2 011 z3 101 z4 010 z5 111 1 z6 001 z7 111 0 z8 000平均码长 n = ∑ nm q (nm ) =m =0819 （比特/符号） 6编码效率 η = ③ {xk }:H (Z ) 0.94 = = 0.9851 n log D 19 × log 2 68 1 1 1 1 H ( X ) = ?∑ q ( xi ) logq ( xi ) = -2 × log ? 2 × log = 0.58 3 3 6 6 i =0霍夫曼编码，D=2 消 息 x1 x3 x5 x711码 字11100100平均码长 n = ∑ nm q (nm ) = 2 （比特/符号）m =08编码效率 η =H (Z ) 0.58 = = 0.96 n log D 2 × log 2霍夫曼编码，D=3 消 息 码 字 x1 1 x3 0 x5 21 x7 20平均码长 n = ∑ nm q (nm ) =m =084 （比特/符号） 3编码效率 η =H (Z ) 0.58 = = 0.91 n log D 4 × log 3 38{yk }: H (Y ) = ?∑ q( yi ) logq( yi ) = -5× 1 log 1 = 0.70i=055霍夫曼编码，D=2 消 息 码 字 y0 10 y2 01 y4 00 y6 111 y8 110平均码长 n = ∑ nm q (nm ) =m =0812 （比特/符号） 5编码效率 η =H (Y ) 0.70 = = 0.97 n log D 12 × log 2 5 霍夫曼编码，D=3 消 息 码 字 y0 1 y2 0 y4 22 y6 21 y8 2012平均码长 n = ∑ nm q (nm ) =m =088 （比特/符号） 5编码效率 η =H (Y ) 0.70 = = 0.92 n log D 8 × log 3 5级联后得到的一个新的无前缀变长码，设为 Z ' H (Z ' ) = ?∑ q (z 'i )logq (z 'i ) = 1.2820i =1D=2 平均码长 n = ∑ nm q (nm ) = 6 × 4 ×m =1201 1 1 1 + 6× 4× + 4× 5× + 4× 5× 15 30 15 30H Z' 1.28 编码效率 η = = = 0.88 n log D 4.8 × log 2 D=3 平均码长 n = ∑ nm q (nm ) = 4 × 2 ×m =1( )= 4.8 （比特/符号）201 1 1 1 + 4 × 3× + 6 × 3× + 6 × 4 × 15 30 15 30=44 （比特/符号） 15编码效率 η =H Z' 1.28 = = 0.91 n log D 44 × log 3 15( )与②的结果比较可以发现，级联后的无前缀变长码的编码效率没有②中 定义的{zk } 霍夫曼编码效率高。④验证：③中的级联码仍然满足香农第一定理H Z' = 4.24 H Z' n H Z' 1 D = 2 ， log D ， nL = 4.8 ，L=1，满足定理 ≤ L & + log D L log D LH Z' = 2.68 H Z' n H Z' 1 D = 3 ， log D ， nL = 2.93 ，L=1，满足定理 ≤ L & + log D L log D L( )( )( )( )( )( )3.22 离散无记忆信源 ?? X ? ? x0 ?=?1 ?q ( X ) ? ? 4 ?x1 ? 3? ? 4?13（1） 计算该信源的熵； （2） 采用二进制代码传输消息 x0 = 0, x1 = 1 ，求 q(0),q(1)； （3） 对原信源进行二维扩展后，采用费诺编码法，并求编码效率； （4） 对原信源进行三维扩展后，采用霍夫曼编码法，并求编码效率。 解： （1） H ( X ) = ?1 3 3? ?1 log + log ? = 0.81bit/符号 ?4 4 4 4? ?（2） q (0) = q ( x0 ) = 0.25 ， q (1) = q ( x1 ) = 0.75 （3）二进制扩展信源的概率空间为?x x ?X 2 ? ? 0 0 = 1 ? 2 ? ? P( X ) ? ? ? 16对其进行费诺编码x0 x1 3 16x1 x0 3 16x1 x1 ? 9 ? ? 16 ?i1 2 3 4Pi9/16 3/16 3/16 1/16第一次分解 第二次分解 第三次分解 0 (9/16) 0 1 （7/16） (3/16) 1 (4/16) 0 (3/16) 1 (1/16)代码组 0 10 110 111n=4 3 9 × 3 + × 2 + × 1 = 1.6875 码元/符号 16 16 16LH ( X ) 2 × 0.81 = × 100% = 96% n log D 1.6875η=(4) X 的三次扩展信源的概率空间为?x x x ?X 3 ? ? 0 0 0 1 ? ?= P( X 3 ) ? ? ? ? 64x0 x0 x1 3 64x0 x1 x0 3 64x0 x1 x1 9 64x1 x0 x0 3 64x1 x0 x1 9 64x1 x1 x0 9 64x1 x1 x1 ? 27 ? ? 64 ?对其进行二进制霍夫曼编码14n=27 27 10 158 ×1 + × 3 + × 5 = = 2.469 码元/符号 64 64 64 64LH ( X ) 3 × 0.81 = × 100% = 98.4% n log D 2.469η=4.1 解：在不允许有失真的情况下，I（X;Y）=H(X)-H(X|Y)则，I（X;Y）=H(X)，失真度D=0，R(D)有最大值 H(X)。 4.2 说明信源在不允许失真时.其信息率所能压缩到的极限是什么？当允许信源存在一定的 失真时.其信息率所能压缩的极限又是什么？ 答： （1）在不允许失真时信息率所能压缩的极限为： H (x ) (2) 假设信源允许失真度为 D .则其信息率所能压缩到的极限值为：R( D) = min{I ( y ), D ≤ D}p ( y| x )??0 ? X ? ? x1, x 2, x3 ? ? 4.4 给定信源分布 ? ? = ?0.5,0.25,0.25? 失真测度矩阵为：[d]= ? 2 ?q ( X )? ? ? ?1 ?求失真函数的定义域和值域。 解：因 Dmin =2 0 11? ? 3? ? 0?∑ q( x ) min di i yj iij= 0 × 0.5 + 0 × 0.25 + 0 × 0.25 = 0Dmax = min ∑ q ( xi )dijj = 1, 2, 3....J= min{0.25 × 2 + 0.25 ×1, 0.5 × 2 + 0.25 × 1, 0.5 × 1 + 0.25 × 3}15=0.75 因 Dmin =0，所以：R( Dmin ) = H ( X )1 1 1 log 2 + log 4 + log 4 2 4 4 3 = 2 =由信息率失真函数的定义可知：R( Dmax ) = 0所以.该信息率失真函数的定义域为： D ? [0, 0.75] .值域为： R ( D ) ? [0, ] 4.6 给定二元信源 ?3 2? X ? ? x1 ?=? ?q( X ) ? ? ax2 ? ?0 ? 且 a & 0.5 .失真测度矩阵为 [d ] = ? 1? a ? ?aa? ? .求 0?失真函数 R ( D ) 。 解：由题意知：Dmin = ∑ q ( xi ) min d ij =0i yjDmax = min ∑ q ( xi )diji= min{(1 ? a ) a, a 2 } = a2因此. D 的定义域为 D ? [0, a 2 ]R ( Dmin ) = H ( X ) = H (a ). R ( Dmax ) = 0 因此. R ( D ) 的值域为 R ( D ) ? [0, H ( a )] 当 0 & D & a 时：2D = ∑ p ( x ) p ( y | x ) d ( x, y )XY?= ∑ p ( x, x ) d ( x, y )XY= aP( x = x1 , y = x2 ) + aP( x = x2 , y = x1 ) = aPe16其中 Pe 为平均错误率。 根据费诺不等式.当为二元系统时：?D H ( X | Y ) ≤ H ( Pe ) ? H ( X | Y ) ≤ H ( ) a任选一个信道使得 D = D .则平均互信息为：?I ( X ;Y ) = H ( X ) ? H ( X | Y )D ≥ H (a) ? H ( ) a因此. H ( a ) ? H (D ) 是平均互信息的下限值.根据信息率失真函数的定义.当 0 & D & Dmax 时. a平均互信息的下限值就是信息率失真函数。因此：D ? ? H (a) ? H ( ) R( D) = ? a ?0 ?0 ≤ D ≤ a2 others为证实该下限确实是实际存在的一个信道.我们下面来证实这一点。 假设一个反向信道：? D ?1 ? a P=? ? D ? ? a如下图：D ? a ? ? D? 1? ? a?x11?D a D a D ay1x2所以可得：1?D ay2? a2 ? D p (Y = y1 ) = ? ? a ? 2D ? 2 ? p (Y = y ) = a ? a ? D 2 ? a ? 2D ?17因0 ≤ D ≤ a &21 且 0 & p ( yi ) & 1, i = 1, 2 因此所设的反向试验信道是实际存在的.在该试验 2信道下： D =?∑ p ( x, x ) d ( x, y )XYH ( X | Y ) = ∑ p ( x, y ) logXY1 p ( x, y )D a2 ? D D a ? a2 ? D = + a a ? 2D a a ? 2D D = aD a D 1 log + (1 ? ) log D a D a 1? a D = H( ) a =在该信道中传输的信息量为：I ( X ;Y ) = H ( X ) ? H ( X | Y )= H (a ) ? H ( = R (D )综上所述.该二元信道信源的信息率失真函数为：D ? ? H (a ) ? H ( ) R(D ) = ? a ?0 ?D ) a0 ≤ D ≤ a2 others5.1 舍信道输入符号集 X={错误！ 错误！ 未找到引用源。 }， 错误！ 未找到引用源。 }， 错误 未找到引用源。 输出符号集 Y={错误！ 错误 未找到引用源。 如果信道是无噪无损信道， 则其信道容量为多少？如果信道是无噪确定信道， 则其信道容量 又为多少？ 解答： （1） 若信道是无噪无损信道，则 k=s，此时的信道容量为（2） 若信道是无噪确定信道，则有 k&s,此时信道容量为5.2 判断以下几种信道是不是准对称信道。 （1）错误！未找到引用源。 （2）错误！未找到引用源。 （3）错误！未找到引用源。 错误！ 错误！ 错误！ 错误 未找到引用源。 错误 未找到引用源。 错误 未找到引用源。 （4）错误！未找到引用源。 错误！ 错误 未找到引用源。 解： （1）为行对称信道，不是准对称信道； （2）行集合和列集合均不同，不是准对称信道； （3）是行对称信道，也是准对称信道； （4）是准对称信道。 解析：准对称信道的几种定义和特征。参考 P105 5.3 答：信道的信息传输率达到信道容量 C=logr（bit/s）.此时，信源的最佳编码是使的 信道的输入符号达到等概率分布，而且平均码长最短。185.4 信道的信息传输速率是信道输入分布的函数，担心到容量与信道的输入分布为 u，这种 说法对吗？ 解： 由信息传输率的定义式错误！ 错误！ 未找到引用源。 可知， 信息传输率是信道输入分布的函数； 错误 未找到引用源。 而信道容量 C 是在某个特定输入分布下 R 所取得的极大值， 因此与输入分布无关， 而只反映 信道的特性。 5.8 对于题图 5-2 所示二进制删除信道，有 q（x=0）= α ，q（x=1）= 1 ? α 。 （1）求平均互信息量 I(X;Y)； （2） α 为何值时，I(X;Y)达到最大值 C； （3）根据（2）中的 α 值，计算 I(x;y)的值，即求 I(0;0),I(1;0),I(0;e)。0.5 0 0.5 0 1 1 (5-1) 1 1 0 0.5 0 1-q 0 q q 1 (5-2) 1-q e 1 00.3 0.5 0.2 0.5 1 0.2 0.3（2 ） 0.52解：设（1 ）（1） q( x = 0) = q0 = α ， q ( x = 1) = q1 = 1 ? α 信道矩阵为 P = ?1 ? q? 0 ?q0 ? q 1 ? q? ?[ q( y = 0)0 ? ?1 ? q q q( y = e) q ( y = 1) ] = [α 1 ? α ] ? q 1 ? q? 0 ? ? = [α (1 ? q ) q (1 ? α )(1 ? q) ]? I (X;Y) = H(Y) ? H(Y X ) = H(α(1? q), q,(1?α)(1? q)) ? H(1? q, q)（2）由信道矩阵可知，该信道为准对称信道，因此当信源等概率分布，即 α 道容量 C，此时1 1 C = H ( (1 ? q), q, (1 ? q)) ? H (1 ? q, q) = (1 ? q)log 2 2 2=1 时达到信 2（3）由自信息量的定义式 I ( y ) = log p ( x y) = log p ( y x) p ( x) q( y)1 q( y = 0) = (1 ? q) = q( y = 1) ， q( y = e) = q 2? I (0;0) = logp( y x) p(0 0) 1? q = log = log = log 2 1 q( y ) q ( y = 0) (1 ? q ) 219? I (1;0) = logp (0 1) 0 = log =∞ 1 q( y = 0) (1 ? q ) 2? I (0; e) = logp(e 0) q = log = log1 = 0 q (e) q5.9 解：设使平均信息量达到信道容量的信源分布为 q( x1 )= α ,q( x2 )=1- α 由 w( y j ) =∑ q( x ) p( yi =1 i 2 i2jxi )j=1,2可得 w( y1 ) =∑ q( x ) p ( yi =1 21xi ) = 0.3α + 0.5(1 ? α ) = 0.5 ? 0.2αw( y2 ) = ∑ q ( xi ) p ( y2 xi ) = 0.7α + 0.5(1 ? α ) = 0.5 + 0.2αi =1平均互信息量I ( X ; Y ) = H (Y ) ? H (Y X )=?∑ w( y j ) logw( y j ) + ∑∑ q( xi ) p( y j xi ) log p( y j xi )j =1 i =1 j =1222=-(0.5-0.2 α )log(0.5-0.2 α )-(0.5+0.2 α )log(0.5+0.2 α + α (0.3log0.3+0.7log0.7) +(1- α )(0.5log0.5+0.5log0.5) 求 C 的问题转化为 α 为何值时 I ( X ; Y ) 达到最大值?I ( X ; Y ) =0 ?α得 α =0.5α = 0.5则信道容量 C= I ( X ; Y )=9.123 比特/符号5.13 解： （1）先计算总信道的信道转移概率矩阵?1 ? p = p1 ? p2 = ? 4 1 ? ?21 4 1 21 4 0?1 ?2 1 ?? 1 ? 4 ?? 2 ? 0 ?? 0 ?? ? ?0 ?1 2 1 2 0 00 0 1 2 1 2? 0? ? ?1 0? ? ?= 4 1? ?1 ? 2? ?2 1? ? 2?1 4 1 21 4 01? 4? ? 0? ?可见该串行信道的总信道矩阵 p 等于第一级信道的信道矩阵 p1 ，从而概率分布满足p ( y | x) = p ( z | x)（对所有的 x,y,z）20对 式两边求和得∑ q( x) p( y | x) = ∑ q( x) p( z | x)x xp( y ) = p ( z )p( y | x) p ( x) p( z | x) p( x) = p( y) p( z ) 即有 p( x | y ) = p( x | z )即总的信道容量等于第一个信道的信道容量 计算总的信道容量： 第一个信道是输入只有两个消息的情况，设最佳分布为 q ( x1 ) = α , q ( x2 ) = 1 ? α 仿照书上 p108 例 5.8 可计算出 α = 0.4 ，则信道容量 C = C 2 = 0.32 (比特/符号) 6.1 R 为信息传输率，根据香农第二定理，当码长 → ∞ 时，满足什么关系式，可以错误概 率 Pe → 0. 答：当 0&R&C, n → ∞ 时， Pe → 0. 6.3 根据香农定理说明，哪个物理量是保证无差错传输时信息传输率 R 的上限值，那个物 理量又是信源可压缩信息的最低极限。 答：信道容量 C 是保证无差错传输时信息传输率 R 的上限值。 E（R）是最佳编码错误概率的一个上界。 6.4 最大后验概率译码准则就是最小错误译码准则，对吗？ 答：对。 6.5 在信源等概分布时，则极大似然译码准则就是最小错误译码准则，对吗？ 答：对。6.6 离散无记忆信道 DMC 转移概率矩阵为（1）q(x1)=1 2q(x2)=1 4q(x3)=1 ,求最佳判决译码及错误概率； 4（2）若信源等概分布，求最佳判决译码及错误概率。 答： （1） 由 P ( xy ) =P( y | x) q ( x) 得211 ?1 ? 4 12 ? 1 1 P( xy ) = ? ? 12 8 ?1 1 ? ? ? 24 121? 6? ? 1? 。 24 ? 1? ? ? 8?取每列中的最大值 可以得 y1 →x1, y 2 → x 2, y 3 → x1∴ Pe =1 1 1 1 1 1 11 + + + + + = 。 12 24 12 12 24 8 24（2）等概分布时最大似然译码准则，信道转移矩阵 P，取最大值（每列）得y1 → x1, y 2 → x 2, y 3 → x 3 1 1 1 1 1 1 1 1 Pe = ( + + + + + ) = 3 3 6 6 3 3 6 28.1 什么是检错码？什么是纠错码？两者有什么区别？ 能发现错误但不能纠正错误的码称为检错码，不仅能发现错误还能纠正错误的码称为纠错 码。 8.2 试述分组码的概念，并说明分组码的码率 r 的意义。2 k 个 n 重的集合 C 称为线性分组码，当且仅当它是 n 维线性空间中的一个 k 维子空间。码率 r=k/n，他说明在一个码字中信息位所占的比重，比重越大，码的传输信息的有效性就越 高。 8.3 什么是码的生成矩阵和校验矩阵？一个（n，r）线性分组码的生成矩阵和校验矩阵各是 几行几列的矩阵？ 生成矩阵 r 行 n 列，校验矩阵 n-k 行 n 列。 8.4 什么样的码称为系统码？系统码的生成矩阵和校验矩阵在形式上有何特点？ 如（k,n）码，若前 k 位为与信息组相同的信息元，后 k-n 位是检验元，则称为系统码。设 系统码生成矩阵为 G，其左边 k 行 k 列应该是一个 k 阶单位方阵 I，即 G=[I:P],则系统码的 检验局矩阵 H 具有以下形式 H=[P’:I]，P’为 P 的矩阵的转置。 8.5 什么是对偶码？试举例说明之。 若一个码的检验矩阵是另一个码的生成矩阵，则称两者互为对偶码。例（7,3）和（7,4）是 一对对偶码。 8.6 试述码的距离和重量的概念。线性分组码的最小距离有何实际意义？ 两个码字之间，对应位取值不同的个数，称为他们之间的汉明距离，简称距离。码字中非零22码元的个数，称为码字的汉明重量，简称重量。线性分组码的最小距离是衡量码抗干扰能力 的重要参数，码的最小距离越大，抗干扰能力越强。 8.7 如果要构建一个能纠 2 个错的线性分组码，则其 H 矩阵中至少应保证多少列线性无关？ 纠正 2 个错误，则要求码的最小距离 d&=2*2+1=5,故需要 4 列线性无关。 8.8 什么是接受序列 y 的伴随式 s？为什么伴随式 s 只由错误图样 e 决定？T T 若 所以伴随式 s 只由错误图 s=yH =e H 称为接收序列的伴随式。 e=0,则 s=0;e ≠ 0,则 s ≠ 0，样 e 决定。 8.9 如何构造一个码的标准阵列？标准阵列有哪些性质？ 标准阵列的性质： （1） 、如果把陪集首看成是错误图样，则每一个陪集中各 n 重具有相同的错误图样 （2）每一个陪集中的 2 个 n 重都有相同的伴随式，而不同的陪集具有不同的伴随式 （3）对于同一列的各个子集来说，其中 2 个 n 重的错误图样虽然不同，但全部对应于同一 个许用字码。 8.10 如何利用标准阵列译码？为什么说用标准阵列译码时， 译码错误概率的大小与陪集首的 选择有关？ 当输入译码器的接收序列为 y 时，经查表总能确定 y 落在标准阵列的第 j 行第 i 列，译码器 就判定发送码字是第 i 列所对应的许用码字 c i ， 而错误图样就是第 j 行所在陪集的陪集首 e j 。 所以说，译码错误概率的大小与陪集首的选择有关。 8.11 什么是完备码？为什么说汉明码是完备码？ 线性分组码的错误图样书正好等于伴随式数目，则称这种吗为完备码。 8.12 某分组码的校验矩阵为k k?011100? ? ? H= 101010 ? ? ?110001 ? ? ?求： （1）n=?k=?该码的码字有多少？ （2）该码的生产矩阵； （3）矢量 010111 和 100011 是否为码字？ 解： （1）由检验矩阵易知 n=6,k=3,有 23 = 8 个码字 （2）检验矩阵 H= P T ? I r[] 生产矩阵 G= [I ? P]k23?011? ? ? 所以 P= 101 ? ? ?110 ? ? ?码字需满足条件：?100011 ? ? ? 所以生产矩阵 G= 010101 ? ? ?001110? ? ?ci ? H T =0，带入码字验证得 100011 为码字，010111 不是码字。8.13 某二元（n,k）系统线性分组码的全部码字如下：
求： （1）n=?k=? (2)码的生成矩阵 G 和检验矩阵 H 解： （1）n=5,因为全部码字只有 4 组，故 k=2?ab100 ? ? ? T （2）设校验矩阵为：H= cd 010 因为 c i ? H =0 故带入全部分组码得： ? ? ?ef 001 ? ? ? ?10100 ? ? ? H= 11010 检验矩阵 H= P T ? I r 生产矩阵 G= [I k ? P ] ? ? ?01001? ? ?[]易求得 G= ??10110 ? ? ?01011?8.14 已知一个线性分组码的校验矩阵为?0111100? ? ? H= 1011010 ? ? ?1101001 ? ? ?试求其生成矩阵。当输入信息序列为 01 时，求编码器输出的码字序列。 解：方法同 8.12?1000011 ? ?0100101? ? G= ? ?0010110? ? ? ?0001111? ci = mi ? G ，代入信息序列 01 分别求的： c 0 =
= 11010018.15 设一个（7,4）分组码的生成矩阵为24?1000111 ? ?0100101? ? G=? ?0010011? ? ? ?0001110?求： （1）该码的全部码字 （2）码的标准阵列 （3）码的简化译码表 解： （1） ci = mi ? G 信息组分别为 10 01 10 01
共十六组 分别代入上式，得全部码字分别对应为：
1111 （2） 信息 组 许用 码字 有单 错的 n重
11101100010
1111000剩下的单错 n 重依此类推易得 （3）译码表 伴随式 000 001 010 100 110 011 101 111 错误图样
00008.16 构造 8.15 题中（7,4）分组码的对偶码，构造其系统码形式的 G 矩阵和 H 矩阵，并写出 全部码字。 解：对偶码即（7,3）码，其生成矩阵等于（7,4）码的 H 矩阵，检验矩阵等于 G 矩阵，故25?1111000 ? ?1010100 ? ? H= ? ?0110010? ? ? ?1100001 ??1001101 ? ? ? G= 0101011 ? ? ?0011110? ? ? 全 部 码 字 为 ： 10008.17 某（5,2）线性分组码的 H 矩阵?11100? ? ? H= 10010 ? ? ? ? ?11001?求： （1）该码的 G 矩阵 （2）该码的标准阵列 （3）该码的简化译码表 （4）说明该码是否为完备码 解： （1）G= ? （2） 信息组 许用码字 有单错的 n 重 00
?10111 ? ? ?01101?（3） 伴随式 000 001 010 100 101 111 错误图样
26011 110 （4）8.18 试构造 GF（2）上的（15,11）汉明码，求其系统码形式的 H 矩阵和 G 矩阵 解： 重： 11 10 01 00 4 11?111? ?111? ? H= ? ?011? ? ? ?101 ??000? ?000? ? ? ?000 ? ? ? ?000? ?000 ? ? ? G= ?000 ? ?000 ? ? ? ?000 ? ?100 ? ? ? ?010 ? ? ? ?001?得： (1)=(Cn-2?? 1C0Cn-1) C 9.1 答： 一个线性分组码， C=(Cn-1Cn-2?? ? C1C0),若将码元左移以为， ?C 也是一个码元，则称 C 为循环码。设 C=(Cn-1Cn-2??C1C0)是（n，k）循环码的一个码字，则 ? 与其对应的多项式(Cx)=Cn-1xn-1+Cn-2xn-2+??+C1x+C0 称为码字的 C 的码字多项式，其系数就 ? 是码字中个码字的值。 9.2 答 ： 设 C=(Cn-1Cn-2 ??? C1C0) 是 (n,k) 循 环 码 的 一 个 码 字 ， 则 与 其 对 应 的 多 项 式 (Cx)=Cn-1xn-1+Cn-2xn-2+??+C1x+C0 称为码字 C 的码字多项式。在 GF(2)的(n,k)循环码中，g(x) ? 是唯一存在的，且每一低于或等于(n-1)次的 g(x)倍式，一定是码多项式。性质：(n,k)循环码 的生成多项式 g(x)一定是 xn-1 的因式：xn-1=g(x)h(x)，反之，若 g(x)为 n-k 次，且除尽 xn-1， 则此 g(x)一定生成一个(n,k)循环码。 9.3 答：若 g(x)是(n,k)循环码的生成多项式，有 xn-1=g(x)h(x) h(x)是 k 次多项式，称为校验多项式 令 h(x)=hkxk+hk-1xk-1+??+h1k1+h0 ? 则 h0 h1 ?? hk 0 ?? 0 ? ? H= 0 h0 ?? hk-1 hk ?? 0 ? ?0 0 h0 hk n-k-1 令 g(x)=gn-kx +gn-k-1x +??+g1x+g0 ?n-k0则gn-kgn-k-1?? ?g1g00?? ?027C=0gn-k?? ?g2g1g0?? ?000?? ?0n-12gn-kgn-k-1n-12?? ?g0n-k9.4 答： 首先将信息化多项式 m(x)乘以 x 成为 x g(x)得到余式 r(x),该余式就是检验多项式，m(x),然后将 x m(x)除以生成多项式经电路在除法电路的基础口， 将输入信息之位 m(x)以 n―k 个寄存器高端输入， 相当于 m(x) 乘以 xn-k,移位脉冲 cp 在 1nk 个节拍中，k1,k2 打向“1” ，各信息元直接经 k1 输出，成为 系统码的前 k 个码元，同时它们又依次进入除法电路，进行 xn-km(x)除以 g(x)的运算，运 算结束时留在移位寄存器中的存数就是余式 r(x)的系数， 随后 cp 在 k+1―N 个节拍内， k1,k2 打向“2” ，使移位寄存器中的各检验元一次输出，形成一个长为 n 的码元。9.5 答： 伴随多项式 s(x)=y(x) mod g(x)=[c(x)+e(x)] mod g(x)=e(x) mod g(x),故在接收到 y(x) 后，计算出 s(x),可根据 s(x)找出对应的估值错图样=e'(x),从而计算出 c'(x)=y(x)+e'(x),若 c'(x)=c(x),则译码正确，反之，错误。 9.6 答：设 s(x)是接收码字多项式 r(x)的伴随式，则 y(x)的一次循环移位 xy(x)(mod xn-1) 的伴随式 s(1)是 s(x)在伴随式计算电路中无输入时，右移一位的结果，称为自发运算。 经性质说明在计算得到接收码字多项式 y(x)的伴随式 s(x)后， 无需重新计算就可得到 y(x) 的各次循环移位所对应的伴随式 s(i)(x),i=1,2,3……,n-1,同时， s(i)(x)也是 e(x)的各次循环移位 所对应的伴随式。这样，我们就可以把某一可纠正的错误图样 e(x)及其所有小于等于 n-1 次 的循环移位成一类，只需用一个错误图样来代表，译码时只要计算这个错误图样的伴随式， 经类中其他错误图样的伴随式都可由经伴随式在 g(x)除法电路循环移位来得到。 这样就使译 码器要识别的 错误图样的个数大为减少，从而有望降低译码器的复杂程度。 9.7 答： Meggit 译码器将 s（x）计算电路与 s（x）自发运算电路并行完成。 前一个码字的纠错译码过程与后一个码字的 s（x）计算过程在时间上是重叠的，故虽然每 一个码字在译码器中仍需逗留 2n 拍，但从整体看，该译码器实现了连续译码输出。 9.8 解：因为 g（x）=x4+x2+x+1 由 x7-1=g（x）L（x） 解得：L（x）=x3+x+1 解：因为 n-k=6 所以 有 C31C11=3 种选择289.9对应的生成多项式为（x2+x+1） 4+x+1）（x2+x+1）(x4+x3+1); （x ； 2 4 3 2 (x +x+1)(x +x +x +x+1); 9.10 解：因为 y（x）不是 g（x）的倍式 所以 y（x）不是码多项式 y（x）的伴随式 s（x）=y（x）mod g（x）D9.11、设计一个由 g(x)= 解：+x+1 生成的(15,11)循环汉明码的编码器。12+C(x)+2输出1 输入 m(x)移位脉冲 cp 在 1~11 个节拍内, , 打到“1” ，cp 在 12~15 个节拍内， , 打到“2” 。9.12证明：+++++x+1 为(15,5)循环码的生成多项式，并求：(1)、该码的生成矩阵； (2)、当信息多项式为 m(x)= + +x+1 时的系统码多项式；(3)、画出以 g(x)除法电路为核心的 n-k 级编码器。 解：(1)∵n=15,k=5 g(x)为 10 次首 1 多项式 ∴ + + + + + + + + +x+1/( -1)+x+1 为(15,5)循环码的生成多项式G= (2)检验元多项式 r(x)= m(x)/g(x)29=( = 则 c(x)= （3） m(x)+r(x)=)mod(+++++x+1)+12++++...+2 1输出m(x)输入9.13证明：由 g(x)=可生成一个(21,11)循环码。画出 ,其伴随式是什么？此码的伴随式计算电路。若接收码字多项式为 y(x)= 证明：伴随式电路如下+∵y(x)= ∴S(x)=y(x)modg(x)=+++9.14 已知一个(n,k)循环码的生成多项式为 g(x)，x+1 是 g(x)的一个因子。求证： (1)设 n 为奇数，则全 1 的 n 重矢量不是一个码字； (2)设 n 为偶数，则全 1 的 n 重矢量是一个码字。 证明：全 1 的 n 重可用多项式表示为：f(x)= 若 f(x)为一个码字多项式，则 g(x)=f(x) 又(x+1)/g(x),则(x+1)/f(x) 即 x=-1 是 f(x)=0 的一个解 当 n 为奇数时，x=-1 时，f(x)=1，此时全 1 的 n 重矢量不是一个码字； 当 n 为偶数时，x=-1 时，f(x)=0，此时全 1 的 n 重矢量是一个码字。309.15 设计一个由 g(x)=x4+x+1 生成的（5,11）循环汉明码的译码器 解：设 g(x)=x4+x+1 按错误图样（000）设计，于是 s(x)=e(x) mod g(x)=x7 (mod x4+x+1)=x3+x+1,即 s=(1011),则译码器电路为9.16 设α是 GF（24）上的本原元，求α，α3，α5 的最小多项式 解： （1）码以α为根，即以α，α2，α4，α8 共轭根系为根，最小多项式：m1(x)=x4+x+1 (2)码以 x3 为根， 即以α3， 6， 12， 24=α9 共轭根系为根， α α α 最小多项式 m3(x)=x4+x3+x2+x+1 (3)码以α5 为根，即以α5，α10 共轭根系为根，最小多项式：m5(x)=x2+x+1 9.17 解：n=31=2m-1,得 m=5 设α是 GF（25）上的本原元，得α5=α2+1，α31=1 对于 t=2,则码以α，α3 为根，即以α，α2，α3，α8，α16 共轭最小 多项式 m1(x)=(x-α)(x-α2)(x-α4)(x-α8)(x-α16)=x4+x+1 m3(x)=(x-α3)(x-α6)(x-α12)(x-α24)(x-α26)=x4+x3+x2+x+1 得到 g(x)=m1(x)m3(x)=x10+x9+x8+x6+x5+x3+131
更多相关文档