八月瓜首页 > 专利查询 > >正文

处理信号方法和信号处理装置

基本信息

  • 申请号 CN00121794.1 
  • 公开号 CN1283047A 
  • 申请日 2000/07/31 
  • 公开日 2001/02/07 
  • 申请人 索尼英国有限公司  
  • 优先权日期  
  • 发明人 J·H·麦因泰雷 I·麦利恩  
  • 主分类号  
  • 申请人地址 英国瑟里郡 
  • 分类号  
  • 专利代理机构 中国专利代理(香港)有限公司 
  • 当前专利状态 发明专利申请公布 
  • 代理人 王岳 
  • 有效性 失效 
  • 法律状态 失效
  •  

摘要

一种图象处理装置用来处理表示至少部分彩色视频图象的信号采样,以产生表示图象的合法彩色版本的合法彩色信号采样。
装置包括:过采样处理器,调节因子发生器,彩色合法器,抗折叠处理器,和十中抽一采样处理器,抗折叠处理器通过选择对应于基本输入信号来样的基本合法彩色信号采样来滤波合法彩色信号采样,这里没有基本或相关附加彩色信号采样相对于输入信号采样已经发生变化。
展开

权利要求书

1.一种处理表示至少部分彩色视频图象的输入信号采样以产生表 示所述图象之合法信号版本的合法信号采样的方法,所述方法包括步 骤: 通过为每个基本输入信号采样产生至少一个附加信号采样来产生 输入图象采样的过采样版本; 从所述输入信号采样中产生调节因子,其当与所述输入信号采样 结合时具有将所述彩色视频图象的非法彩色象素变换成合法彩色象素 的效果; 将所述调节因子与所述输入信号采样结合以产生所述合法的彩色 信号采样; 用滤波器有选择地滤波所述合法的彩色信号采样,其依赖于所述 合法的彩色信号采样是否已经相对于所述输入信号采样发生变化和所 述该合法的彩色信号采样是否没有变化,旁路该滤波器;和 十中抽一采样所述有选择滤波的合法彩色信号采样以产生具有对 应于基本输入信号采样采样速率之采样速率的所述合法信号采样的版 本。
2.根据权利要求1的方法,其中有选择滤波所述合法彩色信号采 样的所述过采样版本的步骤包括步骤: 确定所述基本合法彩色信号采样和相关附加合法彩色信号采样至 少之一种的每一个是否当与调节因子结合时相对于对应输入信号采样 发生变化,并且对于每个基本输入信号采样,如果至少一个所述对应 输入信号采样相对于所述至少一个基本和相关附加合法彩色信号采样 变化; 用所述滤波器滤波所述至少一个基本和所述相关附加合法彩色信 号采样;或者如果没有所述至少一个基本和所述附加合法彩色信号采 样变化; 旁路滤波所述多个所述合法彩色信号采样和所述附加彩色信号采 样的步骤。
3.根据权利要求2的方法,其中所述至少一个所述合法彩色信号 采样和所述附加合法彩色信号采样表示若干对应于所述折叠滤波器的 约束长度的采样。
4.根据权利要求1的方法,其中有选择滤波所述合法彩色信号采 样的所述过采样版本的步骤包括步骤: 选择存储来自所述过采样版本的所述基本合法彩色信号采样, 滤波所述合法彩色信号采样的所述过采样版本,以及接着十中抽 一采样所述滤波的合法彩色信号采样的步骤, 确定每一个所述基本合法彩色信号采样是否当与所述调节因子结 合时相对于对应输入信号采样发生变化和所述对应输入信号采样相对 于所述基本合法彩色信号采样没有发生变化,执行步骤: 用来自所述过采样版本的对应选择存储的基本合法彩色信号采样 替换所述滤波的十中抽一采样的合法彩色信号采样。
5.根据权利要求1的方法,其中所述输入信号采样是具有亮度和 两个彩色差分分量的彩色差分信号采样,所述方法包括步骤: 将输入彩色差分信号采样变换成具有表示红,绿和蓝光三个正交 彩色基准轴之分量的彩色基准信号采样; 将所述彩色基准信号采样与所述调节因子结合;和 将所述结合的彩色基准信号采样变换成彩色差分信号采样。
6.根据权利要求1的方法,其中所述调节因子是刻度因子,并且 将所述调节因子与所述输入信号采样结合的步骤包括将所述调节因子 与所述彩色差分信号采样相乘的步骤。
7.一种图象处理装置,用于处理表示至少部分彩色视频图象以产 生表示所述图象之合法彩色版本的合法彩色信号采样的信号采样,所 述装置包括: 过采样处理器,用于通过为每个基本输入信号采样产生至少一个 附加信号采样来产生输入信号采样的过采样版本; 调节因子发生器,用于产生多个调节因子,其当与所述输入信号 采样结合时具有将所述彩色图象的非法彩色象素变换成合法彩色象素 的效果; 耦合到所述调节因子发生器的彩色合法器,其用于将所述调节因 子与所述输入信号采样结合以产生合法彩色信号采样; 耦合到所述彩色合法器的抗折叠处理器,用于用抗折叠滤波器有 选择地滤波所述合法彩色信号采样的过采样版本,其依赖于所述合法 的彩色信号采样是否已经相对于所述输入信号采样发生变化和该合法 的彩色信号采样是否没有变化,旁路该滤波器;和 耦合到彩色合法器的十中抽一采样处理器,其用于十中抽一采样 所述有选择滤波的合法彩色信号采样以产生具有对应于基本输入信号 采样采样速率之采样速率的合法信号采样。
8.根据权利要求7的图象处理装置,其中所述抗折叠处理器用来: 确定所述基本合法彩色信号采样和相关附加合法彩色信号采样至 少之一种的每一个是否当与所述调节因子结合时相对于对应输入信号 采样发生变化,并且如果至少一个所述对应输入信号采样相对于所述 至少一个基本和相关附加合法彩色信号采样变化,所述抗折叠处理器 用来: 用所述抗折叠滤波器滤波所述至少一个基本和所述相关附加合法 彩色信号采样;或者如果没有所述至少一个基本和所述附加合法彩色 信号采样变化, 将所述至少一个基本和所述相关附加合法彩色信号采样送到所述 抗折叠处理器的输出,旁路抗折叠滤波。
9.根据权利要求8的图象处理装置,其中由所述至少一个基本合 法彩色信号采样和所述附加合法彩色信号采样表示的数目对应于所述 折叠滤波器的约束长度。
10.根据权利要求7的图象处理装置,其中所述抗折叠处理器耦合 到所述十中抽一采样处理器,所述抗折叠处理器用来: 选择存储来自所述过采样版本的从所述合法化处理器接收的所述 基本合法彩色信号采样, 滤波所述合法彩色信号采样的所述过采样版本,和 从所述十中抽一采样处理器接收所述十中抽一采样的滤波的合法 彩色信号采样,所述抗折叠处理器用来: 确定每一个所述基本合法彩色信号采样是否当与所述调节因子结 合时相对于对应输入信号采样发生变化和所述对应输入信号采样相对 于所述基本合法彩色信号采样没有发生变化, 用来自所述过采样版本的对应选择存储的基本合法彩色信号采样 替换所述滤波的十中抽一采样的合法彩色信号采样,以产生所述合法 彩色信号采样。
11.根据权利要求7的图象处理装置,其中所述输入信号采样是具 有亮度和两个彩色差分分量的彩色差分信号采样,所述装置包括: 工作时与所述调节因子发生器耦合相关的彩色变换处理器,用来 通过变换呈彩色差分信号采样形式的所述输入信号采样,产生呈彩色 差分信号采样形式的所述输入信号采样的版本,其具有对应于红,绿 和蓝光的分量,彩色差分形式的所述输入信号采样的所述版本和彩色 差分形式的版本被平行地送到所述调节因子发生器。
12.根据权利要求7的图象处理装置,其中所述调节因子是在0和 1之间的刻度因子,所述彩色合法器用来将所述刻度因子与所述输入 信号采样相乘。
13.一种提供计算机可执行指令的计算机程序,其当装载到数据处 理器上时构成使数据处理器进行如权利要求7图象处理装置的操作。
14.一种提供计算机可执行指令的计算机程序,其当装载到计算机 上时使计算机完成如权利要求1的方法。
15.一种计算机程序的产品,具有计算机可读媒体,其上记录了表 示权利要求13或14的计算机程序的信息信号。
16.一种视频信号处理系统,包括: 视频再现装置,其能够再现表示至少部分彩色视频图象的视频信 号采样; 图象处理装置,其用来处理所述视频信号采样,以产生表示所述 图象的合法彩色版本的合法彩色信号采样,所述图象处理装置包括: 过采样处理器,用于通过为每个基本输入信号采样产生至少一个 附加信号采样来产生输入信号采样的过采样版本; 调节因子发生器,用于产生多个调节因子,其当与所述输入信号 采样结合时具有将所述彩色图象的非法彩色象素变换成合法彩色象素 的效果; 耦合到所述调节因子发生器的彩色合法器,其用于将所述调节因 子与所述输入信号采样结合以产生合法彩色信号采样; 耦合到所述彩色合法器的抗折叠处理器,用于用抗折叠滤波器有 选择地滤波所述合法彩色信号采样的过采样版本,其依赖于所述合法 的彩色信号采样是否已经相对于所述输入信号采样发生变化和该合法 的彩色信号采样是否没有变化,旁路所述滤波器;和 耦合到彩色合法器的十中抽一采样处理器,其用于十中抽一采样 所述滤波的合法彩色信号采样以产生具有对应于基本输入信号采样采 样速率之采样速率的合法信号采样。
17.根据权利要求16的视频信号处理系统,包括: 显示装置,其工作时配置成显示所述合法彩色信号采样。
18.根据权利要求17的视频信号处理系统,其中所述再现装置也 是记录装置,并且所述合法彩色信号采样是通过所述记录/再现装置被 记录在可读媒体上的。
19.根据权利要求17的视频信号处理系统,包括记录装置,其中 所述合法彩色信号采样是通过所述记录/再现装置被记录在可读媒体上 的。
展开

说明书

本发明涉及处理表示彩色视频图象的信号采样以产生法定彩色版 本图象的方法。
而且,本发明涉及用于处理表示彩色视频图象的信号 采样以产生法定彩色版本图象的装置。
彩虹的颜色是公知的,其对应于具有由人眼可看见的波长范围的 光,能够通过红,绿和蓝三色组合来表示。
由于这个原因,彩色电视 和视频图象可以通过分离图象的红,绿和蓝分量和在图象内空间分离 取样点处取样这些分量而产生。
例如,彩色电视摄像机安装有分色单 元,其将在摄像机视场内形成的图象颜色分离成红,绿和蓝分量。
根 据图象的行列分离,图象的每一个红,绿和蓝分量被在两维上取样。
每行在规则移动取样点上取样以产生若干表示产生图象之行列分离的 行的采样。
对于本领域技术人员来说,这些取样点作为象素是公知的。
每一个采样表示构成图象之一个象素的一个红,绿和蓝分量。
使用彩色视频显示单元,通过分离表示象素红,绿和蓝分量的信 号采样并将每个分别馈送到三图象发生器之一个上,彩色图象可以从 该信号采样中重新产生。
每个图象发生器工作为附加在彩色屏上的红, 绿和蓝三色之一个以行列方式重建图象的版本。
通过在对应于彩色图 象取样的象素位置的屏上位置产生每个象素的红,绿和蓝分量,可以 重新产生该彩色图象。
由于每个象素都包括红,绿和蓝分量,这些分 量的相对强度产生了混合的红,绿和蓝光,其表示了在图象对应点上 的颜色。
因此,红,绿和蓝分量的混合能够再现任何原始彩色图象的 颜色,其可以是彩虹的任何颜色。
所以,三图象发生器的合成效果将 再现表示了在电视摄像机视场内形成的彩色图象之彩色图象的版本。
将彩色图象表示成红,绿和蓝信号采样为以某种方式传输、记录 和再现该彩色图象提供了便利。
但是,为了减小传递该彩色图象必须 要传输的信息量,已知的电视传输技术和视频图象记录技术将红,绿 和蓝信号变换成彩色差分信号,其通常是由亮度和第一及第二色度信 号构成。
例如,亮度信号是将象素的红,绿和蓝信号分量合成为表示 象素位置图象的光相对强度的单一分量而形成。
第一色度信号是通过 在亮度信号和红色信号之间形成差分而产生,第二色度信号是通过在 亮度信号和蓝色信号之间的差分而形成的。
彩色差分信号格式是信号格式的一个例子,其形成了信号空间, 其中能够表示彩色视频图象的象素,但不能直接用产生彩色视频图象 的红,绿和蓝分量对应。
结果,表示彩色差分空间中象素的所有彩色 差分信号分量的值并不对应于由彩色图象的红,绿和蓝分量形成的信 号空间内的象素。
例如,如果亮度分量是其最小值0,则两个色度信 号分量的任何非零值将导致不落在红,绿和蓝彩色基准空间内的信号 值。
类似地,如果亮度分量是其对应于白光的最大值,则两个色度信 号的任何非零值也将不落在红,绿和蓝彩色基准空间内。
不落在红,绿和蓝彩色基准空间内的任何颜色都是非法颜色。
对 于彩色基准信号的例子,导致不落在红,绿和蓝彩色基准空间内之值 的彩色差分信号三分量的任何组合都将是非法值。
当彩色图象作为例 如彩色差分信号传输或处理时,能够产生这种非法的彩色值。
例如, 视频信号常常以这种格式处理以产生诸如彩色冲洗效果(color wash effects)的视频效果。
结果,能够产生三色基准空间分量值,它们 是红,绿和蓝基准空间内的非法值。
如果这些非法彩色值在彩色图象 中显示,产生的颜色将不与该图象正确部分相匹配。
再现图象的彩色 视频显示单元可以将彩色值严格限制在能够显示分量的最大值,非法 象素可以以不可预测的方式再现或处理。
在1987年12月Research Department,Engineering Division, of the British Broadcast Corporation的V G Devereux的题目为 “Limiting of YUV Digital Video Signals”的文章中,公开了一 种将YUV彩色差分信号形式的非法彩色象素变换成关于红,绿和蓝 (GB)彩色基准空间的合法彩色象素的方法。
为了将对应的红,绿和 蓝彩色基准空间中的象素变换成合法象素,该方法彼此之间相对地改 变在YUV彩色差分空间中的象素分量。
综合上述,可以认为,为了可靠地将图象的非法彩色象素变换成 合法彩色象素,提供一种处理彩色视频图象的方法是一种通用的要求。
根据本发明,提供了一种处理表示至少部分彩色视频图象的输入 信号采样以产生表示合法彩色版本图象之合法信号采样的方法,该方 法包括步骤:通过为每个基本输入信号采样产生至少一个附加信号采 样来产生输入图象采样的过采样版本;从输入信号采样中产生调节因 子,其当与输入信号采样结合时具有将彩色视频图象的非法彩色象素 变换成合法彩色象素的效果;将调节因子与输入信号采样结合以产生 合法的彩色信号采样;用滤波器有选择地滤波该合法的彩色信号采样, 其依赖于该合法的彩色信号采样是否已经相对于输入信号采样发生变 化和所述该合法的彩色信号采样是否没有变化;旁路该滤波器;和十 中抽一采样滤波的合法彩色信号采样以产生具有对应于基本输入信号 采样采样速率之采样速率的合法信号采样的版本。
图象中的非法颜色能够通过在最大频率之外的模拟域中的视频图 象高频分量产生,其能够根据输入信号采样的采样速率表示。
这些高 频分量产生由于折叠误差(aliasing errors)导致的视频图象失真。
该失真产生图象中的非法颜色。
为了通过减小该失真效果来提供改进, 要产生输入信号采样的过采样版本,以便视频图象中的这些带外分量 出现在输入信号采样的过采样版本的带内分量中。
这在更精确地表示 模拟视频信号中提供了进一步的优点,因为在较低采样速率下视频图 象的采样点能够落在不对应于最大视频信号的位置上。
因此,过采样 版本提供了视频信号的较好表示,因为存在增加的可能性是最大的视 频信号的更接近于信号采样的暂时位置。
然后,通过产生和应用调节 因子产生合法彩色信号采样,视频图象以这种过采样形式被合法化。
但是,当合法彩色信号采样的过采样版本例如用抗折叠滤波器滤波时, 能够发生彩色视频图象的失真,这是因为滤波要求该信号采样应当用 滤波器的脉冲响应来卷积。
结果,已经被合法化的合法彩色象素或者 非法象素可以再一次地变成非法。
因此,通过有选择地滤波与该合法 彩色信号采样是否已经相对于输入信号采样发生变化无关的该合法彩 色信号采样,可以基本上减小因滤波导致的使彩色象素非法的可能性。
有利地是,在优选实例中,有选择地滤波所述合法彩色信号采样 的过采样版本的步骤包括:确定基本合法彩色信号采样和相关附加合 法彩色信号采样至少之一种的每一个是否当与调节因子结合时相对于 对应输入信号采样变化,并且对于每个基本输入信号采样,如果至少 一个对应输入信号采样相对于至少一个基本和相关附加合法彩色信号 采样变化,则用滤波器滤波至少一个基本和相关附加合法彩色信号采 样,或者如果没有至少一个基本和附加合法彩色信号采样变化,则旁 路滤波该多个合法彩色信号采样和附加彩色信号采样的步骤。
正如上述,尽管表示彩色视频图象的输入信号采样具有相对于与 红,绿和蓝信号空间不同的信号空间的值,但是本发明的实例发现在 输入信号采样是具有亮度和两个彩色差分信号分量的彩色差分信号采 样时的特殊应用。
这样,在调节因子是参考红,绿和蓝彩色基准空间 计算和应用的情况下,将调节因子和输入信号采样结合的步骤包括步 骤:将输入彩色差分信号采样变换成具有关于红,绿和蓝光三个正交 彩色基准轴之值的彩色基准信号采样,将彩色基准信号采样与调节因 子结合和将结合的彩色基准信号采样变换成彩色差分信号采样。
在另一实例中,有选择地滤波所述合法彩色信号采样的所述过采 样版本的步骤包括步骤:选择存储来自所述过采样版本的所述基本合 法彩色信号采样,滤波所述合法彩色信号采样的所述过采样版本,以 及接着十中抽一采样所述滤波的合法彩色信号采样的步骤,确定每一 个所述基本合法彩色信号采样是否当与调节因子结合时相对于对应输 入信号采样发生变化和所述对应输入信号采样相对于所述基本合法彩 色信号采样没有发生变化,完成用来自所述过采样版本的对应选择存 储的基本合法彩色信号采样替换所述滤波的十中抽一采样的合法彩色 信号采样的步骤。
在另一实例中,基本合法彩色信号采样首先被存储,并且所有的 过采样合法彩色信号采样通过抗折叠滤波器滤波和十中抽一采样。
但 是,如果调节因子没有改变输入信号采样的效果的话,十中抽一采样 的滤波的合法彩色信号采样然后用存储的基本合法彩色信号采样替 换。
尽管调节因子可以是附加到输入信号采样以便产生合法彩色信号 采样的数字值,在优选实例中,调节因子是刻度因子,并且调节因子 与输入信号采样结合的步骤包括将调节因子与输入信号采样相乘的步 骤。
根据本发明的一个方案,提供有根据专利权利要求7的图象处理 装置。
该图象处理装置的其它特征和方面在附加权利要求中提供。
现在通过例子结合附图说明本发明的实例,其中: 图1是在红,绿和蓝彩色基准空间中颜色的三维表示; 图2是在彩色差分信号空间中图1所示的三维红,绿和蓝基准空 间的三维表示; 图3是彩色电视和视频处理系统的示意方框图; 图4是根据本发明第一例子实施例的图3所示图象处理装置的详 细示意方框图; 图5是提供以CCIR-601 4∶2∶2格式的亮度和色度采样关联的概 念表示的示意图; 图6是出现在图4所示图象处理装置中的格式变换器的示意方框 图; 图7是出现在图6中的速率变换器详细表示的示意方框图; 图8是出现在图4中的抗折叠处理器的示意方框图; 图9是出现在图8中的分析单元的示意方框图; 图10是(a)输入信号采样,(b)在抗折叠处理器处理之前的合 法彩色信号采样,和(c)在抗折叠处理器处理之后的合法彩色信号采 样之过采样版本的图形表示; 图11是根据本发明第二实例的图象处理装置的示意方框图; 图12是出现在图11中的过采样处理器的示意方框图; 图13是出现在图12中的上采样发生器的示意方框图; 图14是通过图13中所示的上采样发生器产生的信号采样的图形 表示; 图15是彩色基准变换器的示意方框图; 图16是在对应轴上彩色基准信号采样分量的图形表示; 图17是出现在图11中的调节因子处理器的示意方框图; 图18是出现在图11中的调节因子软化器(softener)的示意方 框图; 图19是出现在图18中的多路分用器的示意方框图; 图20是通过图19中所示的多路分用器产生的信号采样的图形表 示; 图21是出现在图18中的软化滤波器(softening filter)的示 意方框图; 图22是出现在图11中的彩色合法认定器(colour legaliser) 的示意方框图; 图23是出现在图11中的十中抽一采样处理器的示意方框图; 图24是出现在图23中的十中抽一采样滤波器的示意方框图;和 图25是出现在图11中的彩色抗折叠处理器的示意方框图。
对术语“非法彩色象素”意义的较好理解可以从参考红,绿和蓝 原基准色产生的彩色的三维表示中得到,其示于图1。
图1中,红, 绿和蓝分量可以表示在相互垂直的正交轴上。
绿轴G是刻度在0和1 之间垂直表示的。
蓝轴B是刻度在0和1之间水平表示的,而红轴R 是表示为离开图平面的轴,也是刻度在0和1之间。
形成彩色图象的所有颜色可以由红,绿和蓝分量的对应混合产生 和表示。
这样,在R,G,B三轴之间形成的空间(RGB空间)代表了 这些颜色,使得在RGB空间内的任何点都对应着特定的颜色。
而且, 通过形成提供红,绿和蓝分量最大值的所有点,可形成如图1所示的 立方体。
结果,立方体的每一个面都对应于红,绿或蓝分量的最大值。
例如,平行于红轴R的平面用G=0标记,这是因为对于位于该平面内 的所有颜色,该轴代表了绿分量的最小值。
对应地,标记为G=1的另 一平行平面对应于绿分量处于最大值的所有颜色。
类似地,立方体的 其它平面被标记为B=0和B=1,R=0和R=1,表示蓝和红分量能够在RGB 彩色空间中具有的最小和最大值。
因此,以立方体形成的RGB空间代 表了在图象能够存在的所有合法的颜色。
因此,视频图象中的红,绿 和蓝分量被再现和结合以重新产生该图象,其代表了产生图象的实景。
正如所说明的,为了方便已经参考红,绿和蓝色产生的电视或视 频图象的传输,图象部分被表示成红,绿和蓝色的形式,而不是参考 红,绿和蓝色。
这可以例如减小为了表示彩色视频图象所必须传输的 信息量,并因此减小了电视或视频图象的带宽。
这种形式彩色电视和 视频图象的一个例子是彩色差分显示。
为了表示彩色视频图象,该图 象要被分成多条线或行,并且每行被分成公知为象素的采样点。
正如 已经说明的,对于每个象素,要产生红,绿和蓝采样。
为了减小视频 图象的带宽,要从每个象素的红绿和蓝采样中产生亮度和两个色度信 号。
亮度分量是根据下面的方程(1)产生,其中选择系数a,b和c 满足方程(2)和人眼检测这些颜色的相对本领。
例如,美国国家电视 标准委员会(NTSC)彩色电视标准定义方程(1)系数a,b和c为下 述值,a=0.587,b=0.299和c=0.114。
类似的分量在欧洲的逐行倒相 (PAL)彩色电视系统中也提供了。
Y=aG+bR+cB    (1) a+b+c=1               (2) U=(B-Y)=f(Cb-Offb)    (3) V=(R-Y)=g(Cr-Offr)    (4) 两个色度信号是根据方程(3)和(4)产生的。
U分量是通过从 蓝色分量减去亮度信号采样Y产生的。
V色度信号分量是通过从红色 分量减去亮度信号采样分量产生的。
通过刻度因子f,g和偏置因子Offb和Offr,Cb和Cr表示不同于色度信号的U和V表示,但其它是相同 的。
刻度因子f,g是根据方程(2)并结合用来表示色度分量采样的 字长度来确定的。
正如本领域技术人员所知,象素的红,绿和蓝信号 采样能够从YUV或YCrCb分量中恢复以从方程(1),(2),(3) 和(4)的简单操作中产生绿色分量。
在下面的说明中,表示成具有YUV 彩色差分信号之亮度和彩色差分分量的视频图象将称为YUV彩色差分 信号或者具有YUV信号格式。
具有RGB空间之红,绿和蓝分量的信号 采样将称为RGB彩色差分信号或者具有RGB信号格式。
表示为YUV彩色差分信号形式的彩色象素可以概念上认为落在图 2所示彩色差分信号空间之内。
图2中,垂直轴Y表示象素的亮度分 量并表示成具有在16和235之间的值。
该刻度对应于能够由8位数以 数字形式表示的值的范围。
对应地,两个色度信号分量水平提供并且 轴离开了纸平面U,V。
这些分量在刻度上表示在-128和127之间。
这个范围还对应于能够用8位数表示的但不变换成双极表示的范围。
在彩色差分空间(YUV空间)表示彩色象素的效果是存在彩色差分分 量YUV的值,其不对应于红,绿和蓝彩色差分空间(RGB空间)内的 点。
这通过在图2中由虚线CL_SPACE形成的立方体表示出,立方体 的每一个角都被标记为黑,蓝,深红,红,蓝绿,绿,白色和黄色BK, B,M,R,C,G,W,Y。
正如在图2所示YUV彩色差分空间内部的RGB 空间的表示中所理解的,传输表示成彩色差分信号之彩色视频图象的 效果是能够产生YUV彩色差分空间中的信号值,其不落在或对应于RGB 空间中的那些值。
为了在使用不同广播标准用于传输电视图象的独立电视公司之间 和国家电视权威机构之间提供一种交换视频和电视图象的简便方法, Committee International e des Radio Communications(CCIR)制 定了用于表示电视和视频图象的标准。
一个这种标准公知为CCIR-601 并且提供了表示成4∶2∶2格式的彩色差分信号(YCrCb)。
这种4∶ 2∶2格式表示亮度分量相对于两个色度信号分量之两个采样的每一个 被表示成4个采样。
至于例子CCIR-601 4∶2∶2格式,彩色电视节 目和视频图象常常以数字形式被表示在彩色差分空间之内。
在该形式 内,为了按希望通过视频或电视节目的导演引入特定效果和彩色冲洗 特征,通常应用视频效果。
这还能够具有引入在YUV彩色差分空间中 表示的不对应于RGB空间中之值的视频图象的彩色象素值的效果。
从 前面参考图1和2的讨论可以理解,产生不落在彩色差分空间(RGB 空间)内彩色象素的视频或电视图象的任何采样是非法的彩色值。
借 助在YUV空间中表示信号的例子,可以理解当YUV空间中的非法彩色 值被变换到RGB空间和显示时,图象的该象素彩色值将不与周围的合 法值匹配,而且,重现视频图象的视频显示装置将以非预测方式产生 用于该非法象素的颜色。
为此,要求检测和将视频图象的非法彩色象 素变换到合法的彩色象素。
本发明的实施例使用四种方法的任何一种将非法彩色象素变换到 合法的彩色象素。
能够将非法彩色象素变换到合法彩色象素的这四种 方法将在下段进行简单的说明。
对于使彩色图象非法彩色象素合法化的第一和第二种方法,通过 将YUV彩色差分信号格式中的输入信号采样变换到RGB彩色基准格式, 该非法彩色象素可参考RGB空间被合法化。
第一种方法用作为限制分 别对应于非法彩色象素之红,绿和蓝分量的信号采样。
这就是说,象 素的红,绿和蓝分量是在不考虑每个分量在其它分量上具有的影响和 象素从RGB彩色基准空间的非法位置到合法位置移动的对应方式的情 况下被限制的。
结果,独立改变红,绿和蓝信号分量具有改变图象颜 色或色调以及亮度和对比度的效果。
通过将红,绿和蓝分量的刻度从0到1刻度变换到形成在-0.5到 0.5之间等价刻度上的双极刻度,由独立地限制红,绿和蓝分量来合 法化的方法具有进一步的改进。
这是通过将信号分量从在0和255之 间刻度变换到在-128和127之间刻度作为刻度定标来用8位量化的二 进制表示实现的。
该双极表示具有的优点在于:对于能够独立地测试 以确认调节因子是否将在信号分量上具有效果的每个信号分量能够计 算其调节因子。
而且,不是简单的硬性限制,产生用于双极化RGB信 号的调节因子将具有改变信号采样的效果,即使在这些信号采样对应 于在图1所示RGB空间内极小值(在此为0)时的分量下也是如此。
双极化形式还提供了对于相依RGB方法的优点在于:调节因子将趋于 将象素更朝着RGB空间的中心移动,而不是朝着0移动,其代表着在 单极性形式的极小值。
产生用于独立RGB限制之调节因子Kx的方法以用于红色分量的伪 码形式提供如下: Rx=Rin-128; 如果Rx<-128,Kr=-128/Rx; 则如果Rx>127 Kr=127/Rx; 则Kr=1; 对应地,由彩色合法验证器应用的伪码如下: Ry=Kr x Rin; Rout=Ry+128; 对应地,相同的伪码适用于绿和蓝色信号采样。
适用于RGB信号格式中输入信号采样的两个合法方法的第二个基 本上与上述限制红,绿和蓝分量的独立方法相同。
但是,对于相依RGB 限制方法,调节因子Kr,Kg和Kb是首次计算的,并且选择这三个调 节因子的最低一个,其它两个因子被设置为该最低值。
然后按上述应 用该调节因子。
使红,绿和蓝分量合法化的相依方法提供了不变的色 调和在彩色值的饱和和亮度上提供了某些改变。
用于产生调节因子的 伪码如下出现: Kr,Kg和Kb按上述计算; Kmin=最小的(Kr,Kg,Kb); Kr=Kmin; Kg=Kmin; Kb=Kmin。
计算的调节因子然后应用到输入信号采样Rin,Gin,Bin,通过 彩色合法验证器产生合法的彩色信号采样。
合法化彩色象素的第三和第四个方法适用于YUV彩色差分信号采 样形式的信号采样。
这在输入采样已经是YUV彩色差分格式的情况下 提供了一个优点,因为不要求提供变换器将输入信号采样变换到RGB 彩色基准格式的形式。
第一个这种YUV方法是独立的YUV方法,其在 不改变亮度分量的情况下限制了两个色度彩色差分分量的每一个。
这 必然导致象素的合法彩色信号采样,其中亮度分量保持不变。
由于亮 度分量Y不变,通过测试RGB彩色基准空间(Rin)中输入信号的对 应R分量,有可能测试V是否代表合法值,这是因为从方程(4)可见, V=R-Y。
根据下述伪码可以找到最大和最小值。
如果(Rin>1) 使Vx=1-Y 则如果(Rin<0)使Vx=-Y 则使Vx=Vin 对应地,对于蓝色度分量: 如果(Bin>1) 使Ux=1-Y 则如果(Bin<0)使Ux=-Y 则使Ux=Uin 但是,已经发现这不足以确保象素是合法的,因为象素的绿分量 为非法仍然是可能的。
因此,存在确保绿分量也移动到彩色基准空间 G=1边沿或者彩色基准空间G=0边沿上的问题。
所以,要重新计算绿 分量,对于CCIR-601标准,其根据方程(5)进行: Gx=Y-(0.299Vx+0.114Ux)/0.587    (5) 然后根据下面的伪码计算三个调节因子: Ku=Ux/Uin; Kv=Vx/Vin; 此后,为了确定绿分量是否应当被限制在RGB空间的G=0边沿或 者RGB空间的G=1边沿,估计亮度分量以确定其是否在中心值(0.5) 之上或之下。
根据这个估计,绿分量的中间调节因子计算如下: 如果(Y<0.5) KG=Y/(Y-Gx)否则 KG=(Y-1)/(Y-Gx); 但是如果KG大于‘1’,其对应于合法象素,则其被设置为‘1’, 使得没有效果: 如果(KG>1)使KG=1; 最后,两个色度分量U和V的两个调节因子是通过用绿色分量的 中间调节因子换算每一个来计算的; Kuout=Ku*KGKvout=Kv*KG彩色合法化的这种方法具有的优点是:尽管发生色调的变化,但 亮度分量保持不变。
使YUV信号采样合法化的第二种方法是相依UV合法化方法。
借助 这种方法,为两个色度分量U,V建立了单一的调节因子K。
该调节因 子是通过计算6个中间调节因子以及通过从这6个中间调节因子(K1, K2,K3,K4,K5,K6)选择最低的一个形成最后调节因子而形成的。
这些是根据下述伪代码计算的: 对于将蓝色分量移到B=1的蓝色边沿: K1=(1-Y)/U; 对于将蓝色分量移到B=0的蓝色边沿: K2=-Y/U; 对于将红色分量移到R=1的红色边沿: K3=(1-Y)/V; 对于将红色分量移到R=0的红色边沿: K4=-Y/V; 对于将绿色分量移到G=1的绿色边沿: K5=(Y-1)/(Y-G); 对于将绿色分量移到G=0的绿色边沿: K6=Y/(Y-G); 两个色度分量U和V的调节因子是从6个中间值的最低值形成的; Kuout=Kvout=lowest(K1,K2,K3,K4,K5,K6) 然后根据上面相依YUV方法给出的相同伪代码,公共调节因子通 过颜色合法验证器施加到输入信号采样的色度分量。
借助这种方法, 象素颜色的亮度和色调保持不变。
图3示出了其中为了将彩色图象的非法彩色象素变换到合法彩色 象素而可以进行彩色视频图象处理的方案。
图3中,示出的图象处理 装置1根据开关3的结构从彩色电视接收器2或视频播放器6中接收 输入信号。
电视接收器2具有天线4,用于检测载有电视图象的射频 信号。
电视接收器2从检测的射频信号中恢复彩色电视图象并且将该 电视图象经过信道7馈给开关3。
经过第二信道9还耦合到开关3的 是视频播放器6,其提供了从预先记录的视频产品中产生输入信号的 例子。
所接收的电视图象和预先记录的视频图象是表示可以包含非法 象素和可以通过图象处理器1处理的彩色视频图象之输入信号的例 子。
对于图3所示的实施例,这两个例子输入信号的任何一个都可以 通过合适构成开关3来馈送到图象处理装置1。
图象处理器1用来检测对应于非法彩色之彩色图象的输入信号象 素,并且将这些非法彩色变换到合法彩色。
因此,图象处理器1在输 出12和输出14产生在输入信道5上接收的视频图象合法版本的信号 采样。
为了控制图象处理器1和提供方便的拥护接口,提供了主控制 处理器16以控制图象处理器1的工作。
控制处理器16经过信道18 馈入输入控制信号和经过信道19接收来自图象处理装置1的输出信 号。
控制处理器16装有视频显示单元20,其上显示从图象处理装置1 接收的通过输出信号传输的信息,伴有合适的消息提供操作员。
输出 信号代表了表示对应于非法彩色象素之信号采样的位置和值的操作参 数和其它数据。
图3所示的图象处理装置在图4中进行了较详细地表示,这里图 3和4里出现的共同部分用相同的标记表示。
正如从下面的说明可以 理解的,出现在图3和4中的本发明的实施例在从表示视频图象的输 入采样视频图象的合法彩色版本中有应用。
表示视频图象象素的输入 信号采样能够以任何方便的形式提供。
如果来自电视接收器2或视频 播放器6的例子输入信号是模拟形式,则开关3将包括模拟数字变换 器以产生这些模拟信号的数字采样版本。
但是,更有可能的是,电视 接收器2和频播放器6将产生表示该彩色图象的数字信号采样。
而且, 该信号采样可表示呈彩色差分信号采样形式具有在YUV空间中分量的 视频图象的象素。
这些信号采样可以根据诸如CCIR-601 4∶2∶2标 准的公知标准产生。
但是相应地,输入信号采样可以是RGB信号采样, 或者实际上该输入信号采样可以是表示包括任何方便信号基准空间的 分量,因此本实例并不局限于信号采样的格式或者其中表示视频图象 的方式。
本发明的实施例将参考呈CCIR-601 4∶2∶2标准形式的输 入信号采样进行说明,其中与用于红色色度信号分量Cr和蓝色色度信 号分量Cb的两个采样比较,亮度分量Y由4个信号采样表示。
上述将非法彩色象素变换到合法彩色象素的方法要求输入信号采 样是具有为YUV空间或者RGB空间之分量的形式。
这是因为通常标记 为Kx的调节因子是为YUV彩色差分信号格式或RGB彩色差分信号格 式产生的。
由于这个原因,经过信道5接收的输入信号采样一定要变 换到这些形式的任何一个,并且为了将使用上述4个彩色合法化方法 的选项给操作员,输入信号采样被变换成两种该形式。
正如在CCIR-601 4∶2∶2标准中定义的,为了减小表示视频图象 所要求的信息量,表示色度信号分量所用的采样数是亮度分量数的一 半。
由于人眼对图象分辨的视感觉对于彩色要比对于亮度变换有更少 的敏感,因此能够进行用于表示色度分量的信号采样数目的这种减少。
因此,CCIR-601 4∶2∶2格式对亮度分量提供了4个采样,对每个红 色和蓝色色度分量提供了2个采样。
但是,为了将视频图象的非法象 素变换成合法彩色象素,视频图象一定要以这种形式提供,其中每个 象素具有用于为识别在YUN空间或者RGB空间中对应点所必需的所有 分量的信号采样。
这参考图5能够更好的理解,其中图5A表示4∶2∶ 2格式的彩色差分信号采样的表示,而图5B提供了4∶4∶4格式的上 采样版本,其中每个Y亮度信号采样提供有相关的色度信号采样。
图 5A中,每个4∶2∶2格式的亮度信号采样Y1,Y2,Y3,Y4表示为以 行配置的四个块的每一个。
与第一对亮度信号采样Y1,Y2相关的是第 一色度采样C1,与第二对亮度信号采样Y3,Y4相关的是第二色度信 号采样C2。
这两个色度信号采样C1,C2布置在亮度信号采样第一行 下面的第二行上以表示对应的相关性。
正如从图5A可理解的,第一亮 度信号采样Y1有与第一色度信号采样C1的空间相关性。
概念上说, 这对应于图象内的象素值,该图象具有与在图像内相同位置上之彩色 值相关的亮度值。
但是,没有与第二亮度信号采样Y2相关的色度信号 采样,这因为色度信号采样C1与亮度信号采样Y2在空间上是不相关 的。
类似地,尽管第二色度信号采样C2与第三亮度采样Y3在空间上 是相关的,但是没有与第四亮度信号采样Y4空间相关的色度采样。
这 样,对于没有相关色度信号采样的那些亮度信号采样Y2和Y4,在RGB 彩色基准空间内的对应位置是不能确定的,结果不能产生这些采样的 调节因子。
但是,通过在色度采样之间的时间位置上进行插值产生附 加色度采样,对于每一个亮度信号采样将会产生色度采样。
这种情况 示于图5B中,这里附加色度信号采样C1b和C2b已经从初始色度信 号采样C1a和C2a中产生,其现在对应地与先前不具有对应色度信号 采样的亮度信号采样Y2和Y4相关。
这个格式在下面的说明中将公知 为4∶4∶4格式。
第一实施例 提供本发明第一实施例的图象处理装置示于图4。
图4中,YCrCb 4∶2∶2格式的输入采样是从信道5通过图象处理装置接收的并且被 馈给彩色格式处理器24。
彩色格式处理器将来自YCrCb 4∶2∶2格式 的输入信号采样变换成4∶4∶4格式,并且在输出导体23上产生RGB 彩色基准信号采样或者彩色差分信号采样,其依赖于从控制信道18接 收的控制信号。
RGB形式或YUV形式的输入信号采样经过连接导体23 被馈到过采样处理器26的输入。
正如将要简短解释的,过采样处理器 26产生输入信号采样的过采样版本,其表示为对应于输入信号初始采 样点的基本输入信号采样,以及对应于对输入信号过采样版本插值一 次的附加采样点。
输入信号过采样版本的基本输入信号采样和附加信 号采样从两个平行导体25,27馈送到调节因子发生器28。
在两个输 出导体29,31上产生两平行组的调节因子,其分别对应于过采样输入 信号采样的基本和附加输入流。
两个平行流的调节因子被馈到彩色合 法化处理器30的对应输入端。
在两个对应平行的输入导体32,34上 也馈到该彩色合法化处理器30的是过采样输入信号的基本和附加采 样。
在将调节因子与输入信号采样结合之后,合法化处理器30在两个 输出导体32’,34’上出现用于基本信号采样和附加信号采样之合法彩 色信号采样的过采样版本。
彩色合法化处理器30通过施加调节因子将 视频图象内的非法彩色象素变换到合法彩色值。
在被合法化之后,合 法彩色信号采样馈到抗折叠处理器37,为了去掉与折叠误差相关的带 频分量,其用低通滤波器滤波该信号采样。
在两个另外的导体25’,27’ 上也馈到该抗折叠处理器37的是输入信号的过采样版本。
正如将要简 短解释的,抗折叠滤波器用来滤波合法化彩色信号采样,其依赖于信 号采样是否已经相对于输入信号采样发生变化。
之后,两个平行流的 过采样合法化彩色信号采样被送到十中抽一采样处理器38。
十中抽一 采样处理器38将该过采样版本十中抽一采样到合法化彩色信号以提供 具有对应于输入信号采样采样速率之采样速率的版本。
十中抽一采样 的合法化彩色信号采样然后被送到第二彩色格式处理器39,其将该合 法化彩色信号采样重新变换到被送入信号复制器40的CCIR-601 4∶2∶ 2标准。
信号复制器40复制该4∶2∶2形式的合法化彩色信号采样和 将这些信号的第一和第二版本送到第一和第二输出端12,14。
正如图 3所示,第一输出12被送到用于显示该合法视频图象的彩色视频显示 单元8,第二输出14被送到用于记录该合法视频图象的记录装置10。
图6详细表示了完成将4∶2∶2形式的YCrCb信号采样变换到YUV 彩色差分版本之功能和产生RGB彩色基准4∶4∶4形式的输入信号采 样之版本的示意方框图,这里出现在图4中的部分用相同的数字标记。
图6中,格式处理器24安装有第一调节处理器44,其通过根据方程 (3)和(4)提供的对应刻度因子,接收输入信号采样和用于将这些 信号采样从YCrCb格式变换到YUV格式。
第一调节处理器44的输出 送到速率变换处理器46。
速率变换处理器46用于将4∶2∶2的YUV 信号采样变换到4∶4∶4形式的YUV信号采样。
YUV4∶4∶4信号采 样从速率变换处理器送到可控制开关49的第一输入端子47。
YUV 4∶ 4∶4信号采样还送到彩色差分到RGB彩色基准变换处理器48。
彩色 变换处理器48用于将YUV4∶4∶4格式信号采样变换到具有对应于RGB 彩色基准空间之分量的信号采样,其在彩色变换处理器48的输出端出 现在开关49的第二输入端子51上。
可控制的开关是通过开关控制器 34控制的,其使开关49馈送YUV形式的或者RGB形式的输入信号采 样到输出信道23。
开关49的具体构成是依赖于在控制信道18上所接 收的控制信号。
从图7可以得到较好地理解速率变换处理器46的工作,该图提供 了速率变换处理器46较详细的示意方框图,同样出现在图6中的部分 用相同的数字标记。
图7中,YUV 4∶2∶2格式信号采样是从输入信 道馈送到信号采样多路分用器52的。
信号采样多路分用器52安装有 开关54,其用于在开关控制器62的控制下将从输入信道50接收的信 号采样馈送到三个输出端子56,58,60之一上。
正如可以理解的,存 在各种方法,其中YUV亮度和彩色差分信号采样可以被多路复用到输 入信道50上。
但是,根据CCIR标准601,4∶2∶2信号采样是这种 方式被多路复用的,其中彩色差分信号采样是用亮度信号采样间置的 (…Cr1,Y1,Cb1,Y2,Cr3,Y3,Cb3,Y4…)。
但是,不管使用什 么格式,开关控制器62都将亮度和两个彩色差分信号采样相互分开, 使得亮度信号采样Y被送到第一端子56,而红色和蓝色色度信号采样 U,V被分别送到第二和第三端子58,60。
亮度信号采样经过第一端子 56被送到信号采样再分多路复用器64。
这是因为亮度信号采样是已经 在要求的格式和要求的采样数目。
但是,红色和蓝色色度信号采样需 要从两个采样被上采样到四个采样。
为此,红色和蓝色色度信号采样 从第二和第三端子58,60分别送到第一和第二采样速率变换器66,68。
每一个采样速率变换器都将在每一个原始色度信号采样之间引入附加 信号采样使得能够有效地加倍色度信号采样的采样速率。
然后上采样 色度信号采样被送到第一和第二半带滤波器70,72,其配置成以低通 滤波器滤波各自的色度信号采样,该低通滤波器具有基本上为新的上 采样之采样速率一半的截止频率。
半带滤波器70,72的效果是在通过 采样速率变换器66,68引入的附加采样点处提供插值信号采样。
结果, 红色和蓝色色度信号采样就被变换到其中原始2个采样现在被表示成 4个采样的形式。
然后,4亮度采样和4红色和蓝色色度信号采样就被 送到信号采样再分多路复用器64的各个端子74,76,78。
信号采样 再分多路复用器64安装有开关80,其用于在开关控制器82的控制下 根据开关80的位置连接每一个输入端子74,76,78到输出端子79。
开关控制器82根据预定的格式使多路复用格式的信号采样出现在输出 端子79上。
正如将理解的,能够方便地使用任何格式,并且在下面的 说明中将假设4亮度和红色和蓝色色度信号采样的每一个将被顺序地 多路复用在一起作为三组的4信号采样(4∶4∶4)。
回到图4所示的图象处理装置1,YUV或者RGB 4∶4∶4信号采样 的信号采样经过连接信道23送到过采样处理器26。
正如已经解释的, 过采样处理器26产生输入信号采样的过采样版本,其经过连接器25, 27被送到调节因子发生器28。
调节因子发生器28根据上述合法化方 法的任何一个来控制产生用于YUV或者RGB信号空间中视频图象每个 象素之每一个基本和附加输入信号采样的表示为K的对应调节因子。
在下面的说明中,为了在RGB空间中移动非法象素的位置,假设调节 因子K是用于刻度信号采样的刻度因子,以便它们表示的颜色是合法 的,因此,调节因子发生器28为对应于RGB空间中红,绿和蓝分量的 每一个信号采样产生对应的调节因子Kr,Kg,Kb。
但是,如果操作员 选择了在YUV彩色差分信号形式的输入信号采样上操作的两个彩色合 法化方法的任何一个,则正如上述,仅仅计算调节因子Ku,Kv用于两 个彩色差分信号分量U和V。
四个彩色合法化方法的任何一个是由使 用控制处理器16的操作员选择的,控制处理器16产生表示所选择合 法化方法的控制信号,并且其经过输入信道18被送到调节因子发生器 28。
有效地以过采样形式产生的调节因子通过彩色合法验证器30与输 入信号采样的过采样版本结合。
然后,合法化彩色信号的过采样版本 被送到抗折叠滤波器37,其在输出导体32’,34’上。
现在参考图8所 示的较详细的方框图给出抗折叠处理器37工作的较详细说明。
图8中, 所示抗折叠处理器37包括第一和第二分析单元84,85,合法彩色信 号采样的过采样版本的基本和附加信号采样从第一和第二导体32’,34’ 送到该第一和第二分析单元84,85。
还送到第一和第二分析单元84, 85的第二输入端的是来自第一和第二平行导体25’,27’的输入信号采 样的过采样版本的基本和附加信号采样。
在分析单元84,85的第一输 出端,基本和附加合法彩色信号采样被分别送到开关88的第一和第二 输入端子86,87。
开关88的输出送到低通滤波器90,其滤波过采样 形式的合法彩色信号采样以从视频信号带宽中去掉折叠误差,该视频 信号对应于十中抽一采样之后的信号的采样速率。
开关控制器90操作 控制开关88使得连续地选择合法彩色信号的基本和附加信号采样,结 果滤波器90能够滤波该合法彩色信号。
滤波器90的输出被送到可控 制开关93的第一输入端92。
合法彩色信号采样的过采样版本所送到 的滤波器90的输入端也连接到可控制开关93的第二输入端94。
开关 93的控制输入端95接到‘或’门96。
‘或’门96从来自分析单元84, 85的第二输出信道中接收第一和第二逻辑输入。
来自可控制开关93 的输出连到信号采样分离器103,该分离器103操作再一次地分离在 两个连接信道105,106上的基本和附加合法彩色信号采样,两个连接 信道105,106被连接到十中抽一采样处理器38。
操作中,分析单元84,85将输入信号采样的过采样版本与用于每 个基本和附加信号采样的合法彩色信号采样的过采样版本比较。
图9 较详细地示出了一个分析单元84的例子,这里也出现在图8中的部分 用相同的数字标记。
图9中,基本输入信号采样从第一导体25’送到 具有经过信号采样延迟98连接的六个输出级97的第一移位寄存器 104。
并联地,基本合法彩色信号采样从连接导体32’送到具有对应数 目的输出级97和采样延迟98的第二移位寄存器。
第一移位寄存器104 的每个输出级被送到六个比较器100之一个的第一输入端。
第二移位 寄存器的每个输出级被连接到比较器100的第二输入端。
比较器100 产生表示来自输出级的出现在每一个第一和第二输入端的信号采样是 否相等的逻辑信号。
这些逻辑信号是通过‘或’门101组合的,该‘或’ 门产生送到导体102上的输出信号,其表示来自比较器100的每个逻 辑信号的逻辑‘或’。
从每个分析单元,两个逻辑信号被送到‘或’ 门96。
因此,‘或’门96产生总逻辑信号,其表示输入信号采样是 否等于在对应移位寄存器104,99中输出级数目的窗口中过采样形式 的合法彩色信号采样。
如果输入和合法彩色信号采样在由第一和第二 移位寄存器形成的窗口内是相等的,则‘或’门96的输出为真,因此 从控制输入端送到开关93的信号使得开关将来自滤波器90输入端的 采样经过可控制开关93的第二端子94连接到信号采样多路分用器 103,因此旁路了滤波器90。
但是,如果任何输入信号采样与由移位 寄存器104,99的长度形成的窗口内的合法彩色信号采样是不相等的, 则来自‘或’门96的总输出将产生逻辑假,其当被送到控制输入95 时将引起开关93把在滤波器90输出端的信号采样送到信号采样分离 器103。
因此,在由移位寄存器104,99形成的窗口内没有合法彩色信号 采样已经从对应输入信号采样变化的情况下,抗折叠滤波器37控制旁 路折叠滤波器90并因此在没有变化的情况下将合法彩色信号采样送过 抗折叠滤波器37。
已经发现,当滤波合法彩色信号采样时,该滤波器 具有改变这些信号采样的效果,这些信号采样可以引起图象内已被合 法化或者已经要合法化的象素变成非法。
这由图10图形表示的信号采 样表示出。
图10a中,七个输入信号采样以过采样形式表示为具有对 应于在垂直线107之上的信号采样高度的幅值。
正如图10a中所示, 那些由虚线108表示的具有幅值大于1的输入信号采样是表示非法象 素的分量。
图10b中,对应的合法彩色信号采样相对图10a所示的输 入信号采样示出。
正如将观察到的,对应非法象素的中心三个信号采 样已经通过合法化方法改变,使得现在它们具有小于’1’的幅值。
因此, 这些合法彩色信号采样的任何一个将引起‘或’门96产生逻辑“假” 控制信号,其将引起来自滤波器90的输出的信号采样被送到信号分离 器103。
这由图10c表示,其中中心三个信号采样表示成虚线,具有 表示这些信号采样已经被送到和通过滤波器90的白色采样点。
但是, 正如将知道的,这将对应于具有三个样值或三个级的约束长度的滤波 器。
滤波器的约束长度是采样的数量,此上,该滤波器具有效果或者 对应级数目。
由于这个原因,分析单元84,85的级数目对应于滤波器 90的约束长度 第二实施例 现在参考图11说明本发明的第二实施例,这里出现在图3中的部 分具有相同的数字标记。
图11中,所示图象处理装置1经过信道5接 收输入信号采样并且与第一实施例一样,这些信号采样是CCIR-601 YCrCb4∶2∶2格式。
输入信号采样首先送到彩色变换处理器110,其 刻度对应于两个CrCb色度信号的信号采样,使得它们被变换到两个UV 色度信号采样的形式。
而且为了容许在输入信号采样中发生的量化误 差,每个输入信号采样用其表示的字长从10位增加到15位。
这提供 了增加的分辨率,通过这可以检测和处理量化误差和舍入效果,使得 这些误差能够避免。
从彩色变换处理器110耦合到连接信道112的是 速率变换处理器114。
速率变换处理器114将4∶2∶2格式的输入信 号采样变换到4∶4∶4格式,其基本上是按照图6所示的速率变换处 理器46,在第一实施例中进行了附加说明。
因此,在输出信道116上 出现的是同从输入信道5接收的输入信号采样,但其是YUV4∶4∶4 格式的形式。
图11中,除非其它说明,在各个部分之间的每个信道是 代表4∶4∶4格式的彩色差分信号采样YUV。
该信号采样从连接信道 116送到过采样信号处理器118。
过采样信号处理器118产生YUV4∶4∶ 4信号采样的四倍过采样版本,并且将这些信号采样以4∶4∶4格式 出现在四个平行输出信道120,122,124,126上。
因此在第一输出 信道120,提供了原始输入信号采样,而在第二输出信道122,产生了 第一过采样版本的输入信号采样。
因此在第二输出信道122上提供的 信号版本对应于第一过采样版本,也就是通过增加两个因子的采样速 率。
在第三和第四输出端124,126,根据其它加倍的采样速率产生其 它附加的信号采样。
过采样处理器118工作的其它解释将简短地提供。
但是,在下面的说明中,与上采样之前原始输入信号采样之采样点相 关或对应的那些信号采样将称为基本采样,而与过采样之后附加的时 间点对应的那些信号采样将称为附加采样。
每个从过采样处理器118的输出被送到彩色基准变换器128。
彩 色基准变换器128为每个在四个平行信道120,122,124,126上接 收的YUV信号采样产生呈与YUV格式平行的4∶4∶4格式之RGB彩色 基准信号采样形式的等价版本。
因此,RGB彩色基准变换器128在4 对输出信道130,132,134,136,138,140,142,144的每一对上 分别提供4∶4∶4格式的YUV和RGB版本,每对对应于由过采样产生 的基本和各个附加信号采样。
这将提供两种格式(YUV或RGB)的输入 信号采样,通过它可以应用四种合法化方法的任何一个。
正如图11所示,调节因子处理器146接收YUV和RGB格式的输入 信号采样的过采样版本,其平行于每个基本输入信号采样和与每个基 本信号采样相关的三个对应的过采样版本。
因此,对应地,调节因子 处理器146根据两个YUV彩色差分合法化方法或两个RGB彩色基准合 法化方法的任何一个来产生相关的调节因子。
在前者情况下,对于信 号采样的每个象素,仅仅产生两组调节因子,一个是对应于红色差分 分量U,另一个是对应于蓝色差分分量V。
在后者的情况下,对于RGB 信号格式的每一个红,绿和蓝分量产生一组调节因子。
对于每个基本的和每个与基本采样相关的附加信号采样产生调节 因子。
这些提供在四个对应的输出148,150,152,和154上。
然后, 调节因子的4个平行版本的每一个被送到调节因子软化器156,其通 过自适应和改变调节因子来软化这些调节因子,目的是有效减小因施 加没有软化的调节因子所产生的失真。
与将要简短说明的软化处理相 联系,十中抽一采样调节因子的结果是调节因子的四倍过采样版本将 减小到两倍过采样版本。
由于这个原因,仅仅提供两个输出信道158, 160以将软化的调节因子送到彩色合法器162,在分别与对应两倍过采 样版本的基本信号采样和附加信号采样相关的两个输出信道158,162 上。
正如图11底半部所示,彩色合法验证器162接收在输入信道158, 160上的调节因子的过采样版本。
在两对其它输入信道164,166,168, 170上还提供到彩色合法验证器162的是由过采样处理器128在第一 和第二输入信道对130,132,134,136上产生的也被送到调节因子 处理器146的输入信号采样的YUV和RGB 4∶4∶4版本。
根据所选择 的用于合法化视频图象的方法,彩色合法验证器162将调节因子与在 输入信道164,166,168,170上接收的输入信号采样的版本结合以 便在各个输出信道172,174上产生合法的彩色信号采样。
第一输出信 道172提供对应于基本输入信号采样的合法彩色信号采样,而第二输 出信道174提供对应于输入信号采样附加过采样版本的合法彩色信号 采样。
因此实际上,输出信道172,174提供对应于输入信号采样的合 法彩色信号采样的过采样版本,但是为输入信号采样速率两倍的过采 样,其为8∶8∶8的速率。
同样在另一输出信道176上产生的是表示 多个修改标志的数据,其每一个都与在基本和附加合法彩色信号采样 中的一个采样相关,表示这种以合法形式的信号采样是否已经相对于 对应基本和附加输入信号采样发生变化。
合法彩色信号采样的过采样版本从输出信道172,174送到十中抽 一采样处理器178。
十中抽一采样处理器滤波器178从8∶8∶8速率 和4∶4∶4速率滤波和十中抽一采样该合法彩色信号采样。
在滤波和 十中抽一采样该合法彩色信号采样的过采样版本之后,十中抽一采样 处理器178将滤波的合法彩色信号采样经过输出信道184送到第二彩 色基准变换器182。
修改的标志经过信道176平行地送到十中抽一采 样处理器178,以及经过另一控制信道188直接地传送到彩色抗折叠 处理器180。
在选择了两个RGB彩色合法化方法之任何一个的情况下, 第二彩色基准变换器182将在输入信道184上接收的合法彩色信号采 样变换到YUV彩色差分信号采样。
如果使用了两个YUV合法化方法的 任何一个,则合法化彩色信号采样将已经是YUV格式。
因此,第二彩 色基准变换器182将在连接到彩色抗折叠处理器180的输出信道190 上对应地提供YUV形式的合法化彩色信号采样。
然后,彩色抗折叠处 理器180接收呈YUV彩色差分采样形式的4∶4∶4速率的合法彩色信 号采样。
彩色抗折叠处理器180还在控制信道188上接收表示修改标 志的数据。
彩色抗折叠处理器180操作彩色差分UV的过采样色度分量,预备 用于从4采样到2采样十中抽一采样该色度分量。
但是,在输出信道 194上产生的合法彩色信号采样保持在4∶4∶4速率的过采样格式。
YUV 4∶4∶4格式的合法彩色信号采样从彩色抗折叠处理器180 经过输出信道194被送到第二调节因子发生器196。
第二调节因子发 生器196使用上述两者方法之任何一种操作产生另外一组的调节因 子,用于产生YUV信号采样的调节因子。
这些另外的调节因子在第一 输出信道198上被送到第二调节因子软化器200。
然后,合法彩色信 号采样的下采样版本在第二信道202上输出并被送到第二彩色合法验 证器204。
在通过第二彩色软化器200之后,另外调节因子被从第二 调节因子软化器206的输出信道送到第二彩色合法验证器204。
第二 彩色合法验证器204操作将软化的另外调节因子与合法彩色信号采样 的下采样版本结合和产生表示具有合法颜色之视频图象版本的合法彩 色信号采样的最终版本。
然后,合法彩色信号采样的最终版本经过连 接信道210被送到第二彩色变换处理器208。
第二彩色变换处理器208 操作刻度YUV格式的信号采样,使得色度信号被重新变换成YCrCb格 式彩色差分信号采样。
第二彩色变换处理器208还操作十中抽一采样 色度信号采样,使得4∶2∶2格式的合法彩色信号采样出现在输出信 道211上。
最后,信号复制器209产生合法彩色信号采样的第二版本, 并且第一和第二版本出现在两个输出信道12,14上。
输出信道19提 供表示非法象素分量的位置和值的信息,该非法象素分量的位置和值 通过控制处理器16重叠在由合法彩色信号采样表示的视频图象的显示 版本上。
本发明第二实施例工作的更好理解可通过下面参考详细表示图11 所示图象处理装置中每个处理器工作示意图来进行。
为了减少重复, 对应于第一实施例的那些特征不再详细说明。
因此,例如速率变换处 理器110和彩色变换处理器114的工作基本上与第一实施例的图5和 6中出现的彩色变换处理器44和速率变换处理器46的说明相同。
但 是,过采样处理器118现在将参考图12,13和14进行说明,这里也 出现在图11的部件使用相同的数字标记。
图12中,所示过采样处理器118接收YUV4∶4∶4格式的在多路 分用器220的彩色差分信号采样。
多路分用器220有开关222,其在 开关控制器224的控制下操作将在输入信道116接收的采样转换到三 个端子226,228,230的每一个。
三个端子226,228,230的每一个 分别耦合到三个上采样处理器232,234,236之一上。
多路分用器220 通过将每一个亮度和红色和蓝色色度信号采样送到三个上采样处理器 232,234,236之对应的一个上来操作分离该彩色差分信号采样。
上 采样处理器的每一个操作产生4倍的从多路分用器220接收的信号采 样的过采样版本。
图13详细地示出了上采样处理器。
上采样处理器232 装有第一采样速率变换器238,其通过在所接收基本信号采样之间引 入采样点来操作加倍经过信道213接收的信号采样的采样速率。
然后, 通过将变换的亮度信号采样送到半带滤波器240来产生作为在这些新 采样点之附加信号采样的信号采样,半带滤波器240用具有基本上等 于信号采样之新采样频率一半的截止频率的低通滤波器来滤波被变换 的亮度信号采样。
这个结果是在半带滤波器241的输出端产生亮度信 号的版本,该亮度信号的版本包括基本信号采样(S0)和附加信号采 样(Si),其因此对应于两倍的亮度信号采样的过采样版本。
然后, 第一半带滤波器240的输出被送到第二上采样速率变换器242,其操 作再一次在现有信号采样之间引入采样点,使得当速率变换信号被送 到第二半带滤波器244时,在输出信道245上产生4倍的亮度信号采 样的过采样版本。
这个处理的结果能够从图14的信号采样的图形表示 中理解出。
图14中,原始或者基本亮度信号采样被设定为S0,而通 过第一过采样级产生的第一附加信号采样被设定为Si。
通过第二过采 样级附加的第三和第四信号采样被设定为Sii1和Sii2。
实际上,提 供有原始信号采样的4倍过采样版本。
这不仅适用于亮度信号采样而 且适用于通过其它过采样处理器234,236采样的U和V色度信号采 样。
通过将在第二半带滤波器245输出端的信号采样送到可控制开关 246,过采样处理器232还操作重新多路复用信号采样的多采样版本, 可控制开关246在开关控制器248的影响下操作将信号采样连续地送 到4个先进先出(FIFO)缓存器250,252,254和256的每一个。
因 此,开关控制器248操作分离被送到第一输出端子258的基本信号采 样S0,被送到第二输出端子260的第一过采样附加信号采样Si,以 及被送到随后输出端子262,264的第三和第四附加信号采样Sii1, Sii2。
这些信号采样的每一个被送到FIFO缓存器,其将这些信号采 样分组4组并且然后将基本和对应附加信号采样对应平行地出现在各 个平行输出信道266,268,270,272上。
FIFO缓存器的控制是由控 制电路274提供的,其通过控制信道276耦合到每个FIFO缓存器。
因此实际上,在每个过采样处理器232,234,236的输出端,对于YUV 彩色差分信号三分量的每一个,出现有用于在输入信道231,233,235 上接收的每个信号采样的4个版本。
然后,来自每个上采样处理器的 输出被交叉连接到4个多路复用电路278,280,282,284之一上。
交叉连接是通过一组信道286承担的,其将每个基本和附加信号采样 送到各自的多路复用器278,280,282,284,多路复用器278,280, 282,284将每个彩色差分信号分量YUV多路复用到输出信道。
结果, 4个平行输出信道120,122,124,126平行提供了彩色差分YUV 4∶ 4∶4格式的信号采样的基本和过采样版本。
因此,例如,多路复用器 278安装有通过开关控制器288控制的开关236。
开关控制器操作选 择从FIFO缓存器到每个输入端子288,290,292送来的4个采样, 使得它们被多路复用到输出信道220,222,224,226上。
本领域技 术人员可以理解,存在有形成输入信号过采样版本的其它方式,其可 以不要求上述的速率变换。
例如,在优选实施例中,对应于过采样信 号的三个附加采样是通过拷贝每个各自的基本输入信号采样和表示用 于每个这些采样产生4个平行流采样的对应时间移动来产生的。
从过采样处理器118部件和工作的上述说明可以知道,产生了彩 色差分信号采样的4倍过采样版本,从这可产生对应的调节因子。
当 作为不适当地由具有对应于4∶4∶4之采样速率的彩色差分信号采样 表示的视频图象内信息的结果而应用该合法化方法时将产生视频图象 的失真。
这是因为在模拟域中的视频图象常常包含比那些能够在4∶4∶ 4的较低采样速率时所表示的视频图象更高的频率分量,使得当进行 彩色合法化时,调节因子适用于彩色视频图象的信号采样,而且,由 于这种较高频率分量在这个较低采样速率时不适当的表示产生的折叠 误差导致的失真而在视频图象中产生非法彩色象素。
而且,除非视频 图象的时间采样点与模拟视频图象信号的最大值一致,则这些最大值 也将不用视频图象的采样数字版本表示,使得即使在调节因子应用在 数字域的视频图象之后,非法彩色值仍将出现在视频图象的模拟版本 中。
由于这个原因,通过以16∶16∶16速率有效表示YUV彩色差分 信号格式的视频图象,通过为具有4∶4∶4速率的基本信号采样产生 也具有YUV格式4∶4∶4的三个附加信号采样,彩色图象是超级采样 的。
当然,如果有可能,则视频信号应当表示成具有无限采样速率的 连续信号。
但是,已经发现,从在对应于16∶16∶16速率采样速率之 上进一步增加采样速率产生的优点通过在实现较高采样速率下进一步 减小关于物理问题的失真不会带来性能上的对应增加。
在这种过采样 格式中,是调节因子产生和应用具有基本上减小与不适当的采样速率 相关失真之效果的输入信号采样的版本,并且因此提供改善视频图象 颜色合法性。
在YUV信号格式中输入信号采样的过采样版本由过采样处理器118 产生之后,YUV信号采样的版本是以RGB基准信号采样的形式产生, 其具有以RGB彩色基准空间为基准的分量。
这受到图15详细示出的彩 色基准变换器128的影响。
图15中,所示彩色基准变换器128对于 过采样YUV彩色差分输入信号4个版本的每一个包括有4个彩色变换 器280的一个,其耦合到来自过采样处理器118的输出信道120,122, 124,126的对应一个上。
每一个彩色变换器用来将彩色差分信号采样 YUV变换到对应的RGB彩色基准信号采样。
RGB彩色基准信号采样出 现在各自的输出信道上,其然后被连接到各自的RGB移位处理器282。
RGB移位处理器282用来将每一个都具有在8位采样的0和255之间 之值的RGB彩色基准信号采样变换到落在-128和127之间等价刻度的 RGB信号采样的双极版本。
双极RGB彩色基准采样在输出端出现在输 出信道132,136,140,144上的RGB移位处理器。
平行地,等价的YUV 彩色基准信号采样从4平行连接信道120,122,124,126直接耦合, 从过采样处理器直接耦合到彩色基准变换器128的对应输出信道130, 134,138,142。
正如已经解释的,RGB移位处理器282提供了特别的优点,其形 成了图15所示的一部分彩色基准变换器128,这能够从图16所示的 单极和双极形式的RGB空间的图形表示中很容易地理解。
图16a中, 红绿蓝色的三个基准轴表示成与图1相同,在0和255之间刻度。
图 16所示的是通过RGB移位处理器282产生的双极格式中的对应表示。
在图16b中,每一个红绿蓝色轴现在都被刻度,使得两个刻度的极值 位于-128和127之间,轴的中心是0。
结果,当调节因子K是通过调 节因子处理器146产生,并且被应用到RGB彩色基准形式的输入信号 采样时,结果将是移位RGB空间中的对应象素。
对于相依RGB合法化 方法,这将使非法象素更朝着空间的中心移动,而不是朝着极小值0 移动,极小值0是在如果调节因子是为图16a所示彩色基准轴产生的 情况。
而且,在非法颜色靠近或位于最小彩色值附近的情况下,也就 是在图16a中的0或靠近0,用调节因子刻度的效果本质上将是用0 乘该信号采样,目的是将彩色基准空间中的对应点移动到用于该特殊 轴的最小值。
这表示有更严格的限制,并且因此通过在图16b所示的 双极形式上表示RGB基准空间中的彩色信号采样,调节因子的影响将 更精确地表示出。
而且,当应用调节因子时软化处理将更为有效。
回到图11,调节因子处理器146根据合法化视频图象之非法彩色 象素的上述4种方法来产生调节因子。
但是,在第二实施例中,这是 为由过采样处理器118产生的4组YUV4∶4∶4彩色差分信号采样的 每一个进行的。
根据本发明第二实施例的调节因子处理器146详细地 示于图17中,其出现在图11中的相同部分具有相同的数字标记。
所 示调节因子处理器146具有用于4对输入信道130,132,134,136, 138,140,142,144的每一个的调节因子发生器284。
调节因子处理 器146还在输入信道18上接收送到控制处理器286的控制信号。
控 制处理器286产生合适的控制命令,其经过控制信号信道288被送到 每一个调节因子发生器284。
控制信号用作指示调节因子发生器应当 使用4个彩色合法化方法的哪一个。
因此,根据用于变换YUV彩色差 分信号格式或RGB彩色基准信号格式的非法彩色信号采样的上述合法 化方法的任何一个,调节因子发生器284为每一个具有YUV彩色差分 分量或者等价形式的RGB彩色基准分量的输入信号采样产生调节因 子。
该调节因子在第一输出信道290被送到量化处理器292。
在第二 输出信道292,输入信号采样以RGB彩色基准信号采样的形式被送到 量化处理器292的第二输入。
通过减小彩色图象中象素变成非法或者保留因量化和舍入误差产 生的非法的可能性,调节因子量化处理器292给彩色合法化处理提供 了进一步的改进。
该改进是通过将RGB彩色基准信号采样形式的每个 输入信号采样与量化阈值相比较提供的。
正如已经解释的,表示输入 信号采样的数字采样的字长是由彩色变换处理器从10为增加为15位。
因此对应地,增加了能够表示输入信号采样的分辨率,由此允许相对 于量化阈值来进行原始采样的量化,这是相对于原始字长确定的。
如 果信号采样小于量化阈值,则对该输入信号计算的调节因子被设置为 1,因此其当用对应输入信号采样相乘时没有效果。
引入与量化阈值比 较的原因是调节因子和输入彩色信号采样仅仅表示在有限量化水平。
对于现在的实施例,每一个原始输入信号采样是仅仅用10位采样表示 的。
量化误差能够引起调节因子将彩色图象的其它合法象素改变到非 法象素,因为在10位的形式下,信号采样可以被舍入最多到一个值, 其使它表现为非法。
通过处理来自输入信道5的具有10位表示最低位 一半值的信号采样来计算该量化误差。
出现在调节因子发生器284输 出端的信号采样的最终值提供了量化误差q的测量。
量化误差导致产 生这种调节因子,其表示输入信号采样应当是合法的而事实上应当不 是。
通过将具有落在由下面方程(6)表示值之值的对应输入信号采样 的调节因子设置为1的值,在降低彩色图象中产生的或保留的非法象 素机会中将提供改进。
1<Sin<=1+|q|    (6) 方程(6)中,Sin是象素之红,绿和蓝分量的任何一个。
对于RGB 双极形式的输入信号采样,这里R,G和B值已经具有从它们中减去的 0.5并且其对应于由量化处理器292完成的处理的伪代码表示如下: 如果((|R|-RSlack)<=0.5)&(|G|-GSlack)<=0.5)&(|B|- BSlack)<=0.5)) 设置K=1.00 否则 设置K=Kmin 这里Kmin是按前面通过彩色合法化方法计算的,RSlack,GSlack 和BSlack是对应于量化阈值q的预定值和通过馈送具有用于表示信 号采样的10位字最低位一半值的信号采样来计算的。
为了进一步提高用于产生调节因子的精确性,量化阈值RSlack, GSlack和BSlack(|q|)是参考RGB彩色基准空间产生的,因为这是 用于产生彩色图象和将要用于再现彩色视频图象的信号空间。
这在应 用量化阈值中提供了一致性并且通过控制处理器286被送到量化处理 器。
因此,不考虑其中输入信号采样处理的形式,量化阈值是根据RGB 彩色基准空间设置的,使得即使调节因子是为YUV彩色差分信号采样 形式的输入信号采样计算的,RGB信号采样是相对于量化阈值RSlack, GSlack和BSlack测试的。
这是因为在当调节因子是为YUN彩色差分 信号采样和RGB彩色基准信号采样产生时所产生的量化因子之间存在 差别。
而且,由于输入信号已经是过采样的,以及附加信号采样有效 地表示比原始采样更少重要性的其它分辨率的采样,量化阈值q能够 被设置为不同的量,其依赖于基本和附加采样的相对重要性。
在任何量化误差已经通过量化处理器292去掉之后,所得输出信 号经过各自的信道296被分别从每个量化处理器292送到调节因子折 叠处理器294。
在控制处理器286的控制下,通过配置折叠处理器294 来将预折叠常数引入每一个调节因子,调节因子处理器146具有进一 步的优点。
已经发现,当彩色信号采样的过采样合法版本用抗折叠滤 波器滤波和十中抽一采样时,视频图象的一些先前合法的象素将再次 变成非法和图象的其它合法部分部分能够产生非法的彩色象素,这是 信号采样在滤波和十中抽一采样期间被改变的结果。
为了减小合法彩 色象素变成非法的可能性,折叠处理器294用通常由方程(7)表示的 折叠常数来操作刻度每一个调节因子,这里Kx’是在折叠之前的调节 因子。
Kx=Kx’αg    (7) 通过使折叠常数αg大于1,对应地刻度因子增加到接近于1,使 得减小它们在输入信号采样上的效果。
结果,合法化视频图象的效果 被减小,结果如果希望,视频图象能够正比地保持为更多的非法。
但 是,如果折叠常数αg小于1,则将增加调节因子的效果,使得合法彩 色值再次变成非法的可能性被正比地减小。
这具有缩小RGB彩色基准 空间的等价效果。
这通过在YUV彩色差分基准空间的第一彩色基准立 方体内具有间断线的第二立方体CL_SPACE在图2中表示出。
在量化 误差已经通过量化处理器去掉之后应用该折叠常数。
但是,当量化处 理器与折叠常数结合时,对于YUV彩色差分信号和RGB彩色基准信号, 一定要考虑在使其它合法象素非法上的结合效果。
伪代码中,量化处 理器与折叠处理器的结合效果如下: 如果((|R|<=0.5)&(|G|<=0.5)&(|B|<=0.5)) 设置K=Kminαg 否则 如果((|R|-RSlack)<=0.5)&(|G|-GSlack)<=0.5)&(|B|- BSlack)<=0.5)) 设置K=αg 否则 设置K=Kminαg 折叠调节因子出现在4个平行输出信道148,150,152,154并且 被送到调节因子软化器156。
与到调节因子处理器146的输入一样,4 个输出的每一个对应地与由过采样处理器118提供的彩色输入信号采 样的过采样版本的基本和3个附加信号采样之一相关联。
因此,对应 地,图17所示的每个输出都有对应的调节因子值K0,Ki,Kii1和Kii2。
图18较详细地示出了调节因子软化器,其也在图11中出现的部件用 相同的数字标记。
图18所示的调节因子软化器156有多路分用处理器 300,4个输入信道148,150,152,154的每一个都送入该多路分用 处理器300。
多路分用处理器300分离与YUV彩色差分信号空间的两 个色度信号分量或者彩色基准空间的红绿和蓝色信号分量相关的调节 因于分量,其依赖于正采用的4个彩色合法化方法是哪一个。
多路分 用器300将每个分离的信号分量经过信道304,305送到两相关软化 处理器302的每一个。
从图19的图中将更好地理解多路分用器300 的工作,其也在图18中出现的部件使用相同的数字标记。
正如图19所示,在4个输入信道148,150,152,154上接收的 信号采样被分别送到4个分离处理器306之一个上。
分离处理器306 基本上按照图12所示的信号分离处理器220工作,在此不进一步地说 明。
但是,在实际上,分离处理器306分离相对于对应RGB信号分量 产生的调节因子的3个分量,并且将与每个这些信号分量相关的每个 调节因子经过信道308送到一个或三个对应的多路复用器310。
在调 节因子是相对于YUV彩色差分信号分量产生的情况下,对于相对于U 和V彩色差分分量产生的调节因子仅仅要求两个多路复用器310。
多 路复用器310有4个输入端,其连接到来自信号分离处理器306的各 自的输出端。
在开关控制器320的控制下,每个输入端子312,314, 316,318通过开关322依此被连接到输出端子304。
在第二组输出信 道305经过两级延迟电路提供了用于每个信号分量的调节因子的第二 版本。
在第一和第二输出信道对304,305上产生的调节因子提供了与 RGB信号空间或YUV信号空间之每一个信号分量相关的调节因子序列 流,该来自第二输出305的序列流相对于第一输出304被延迟两个信 号采样。
多路分用器300的效果能够在图20所示的在输出信道304, 305对上产生的调节因子的图形表示中理解。
图20中,来自第一输出 304的信号采样示于图20a,来自第二输出305的信号采样示于图20b。
信号采样表示成相对于时间的幅值。
与每个信号采样相关的是对应的 指定,即调节因子是否与基本信号采样K0或者第一过采样信号采样Ki 或者由输入信号采样的第二过采样提供的第二和第三调节因子采样 Kii1和Kii2之一个相关。
对于与每一个各自YUV或RGB信号分量相关的在多路分用处理器 300输出产生的每个调节因子,提供有软化滤波器302。
因此,每对第 一和第二输出304,305都有对应对的软化滤波器302。
根据本发明第 二实施例的软化滤波器302详细地示于图21中,其也出现在图18中 的部件具有相同的数字标记。
图21所示的软化滤波器302有逆变器 324,其改变在输入信道304上接收的每一个调节因子的极性。
逆变器 324的输出连接到加法器326的第一输入,和连接到加法器326的第 二输入,连接1值。
结果,在到软化滤波器302的输入处的调节因子 被变换到相反的刻度,即从1变到0,从0到1。
然后被逆变的调节因 子送到移位寄存器,其示于图21,由用延迟单元332互连的9级330 构成。
移位寄存器328的中心抽头334直接连接到最后的非加混合级 336。
在各自的对应级上,中心抽头334的任何一边,移位寄存器的各 级是配对的,并且来自每一个这些配对级的信道将这些级的输出连接 到中间非加混合器338的第一和第二输入。
每个中间非加混合器选择 从对应于来自移位寄存器328各级的配对输出的第一和第二输入中接 收的两个调节因子的较小一个。
所选择的两输入的较小一个经过乘法 器340被送到最后的非加混合级336。
刻度系数Wn施加到乘法器340 的另外输入,其在施加到最后的非加混合级336之前用来刻度通过中 间非加混合器338产生的较小采样。
最后的非加混合级336用来比较 在5个输入上接收的每一个调节因子和选择5个输入的较小一个作为 输出调节因子。
这个选择的调节因子从非线性处理级336的输出送到 用来改变调节因子极性的第二逆变器344的输入。
这施加到加法器346 的第一输入并且1值施加到加法器346的第二输入,使得在软化滤波 器302的输出,所选择的调节因子再一次地从1变化到0刻度,从0 变到1。
正如将要从参考图21说明的软化滤波器302的工作可以理解的, 对于出现在和送到输入304的每个调节因子,软化的调节因子是在输 出348通过与存储在移位寄存器328的其它先前接收的调节因子结合 选择这个调节因子产生的。
调节因子在施加到移位寄存器之前被逆变 即从1变化到0,从0变到1刻度,目的是提供有益的效果,通过它, 那些最靠近和因此当用对应输入信号采样时具有最小效果的调节因子 在通过软化滤波器提供的选择处理中具有最小值。
对应地,那些当用 对应输入信号采样时将具有最大效果的即那些最接近0的调节因子将 被逆变到最接近1和因此在软化器中具有最大的影响。
结果,由软化 滤波器产生的软化处理更强烈地适用于那些在输入信号采样上具有最 大效果的调节因子,特别是对具有关于在调节因子和信号采样的量化 值中的量化误差和其它非精确性的输入信号采样。
而且,通过应用窗 口函数,其通过刻度每个输入被提供到使用具有窗口函数系数Wn的乘 法器340的最后非线性处理级336,由系数表示的成形窗口是用调节 因子卷积的。
这减小了滤波器输出302中的折叠误差。
尽管所示的乘 法器的数目是4个,其有效地对应于5抽头窗口函数,但应当理解该 窗口能够是任何长度。
从上面的说明可以理解,每个软化滤波器302分别适用于与彩色 输入信号之信号采样的每个分量相关的调节因子。
而且,相同的软化 滤波器还适用于来自多路分用器300的第二输出305,其提供了被延 迟两个采样之时间的调节因子。
加到第二输出305的这个第二软化滤 波器的效果是产生施加到附加输入信号采样的第二软化调节因子。
来 自每个软化滤波器302的输出从输出信道348,350送到第一和第二 多路复用器352,354。
多路复用器将调节因子形成为两个流,每一个 流具有与作为4∶4∶4彩色差分信号格式或者RGB4∶4∶4彩色基准 格式的每个信号分量相关的调节因子。
与基本和附加采样相关的每个 流提供在相关的输出信道158,160上。
因此,调节因子软化器156 不仅有效地通过根据平滑或带限制效果自适应它们的值来软化调节因 子,而且通过分半调节因子数目来十中抽一采样调节因子,使得现在 调节因子处在8∶8∶8速率的过采样形式。
正如从观察图11所示的图象处理装置1示意图可理解的,图象处 理装置1一般形成为两个平行流的处理器,第一上部流是与产生软化 调节因子的任务相关联,第二下平行流提供由于应用调节因子。
为此, 彩色合法器162从来自软化器156的两个输出信道接收软化的调节因 子,在第一和第二输入信道158,160,以及在输入164,166,168, 170的两个其它对,YUV4∶4∶4彩色差分信号采样和彩色RGB4∶4∶4 彩色基准信号采样被送到用于输入信号采样的过采样版本的信道对 上,该输入信号采样的过采样版本在彩色基准变换器128的输出上对 应地产生。
因此,信号采样对的每一个都产生基本输入信号采样的版 本和对应于从过采样输入信号产生的附加输入信号采样的版本。
图22 详细地示出了彩色合法器162,也出现在图11中的部件使用相同的数 值标记。
图22中,所示彩色合法器162从控制信号总线149接收信号,其 被送到第一控制处理器356。
控制处理器356将控制信号经过控制信 道358送到两个乘法处理器360之每一个的输入,该控制信号表示已 经选择了用于合法化非法彩色信号采样之4个方法的哪一个。
乘法处 理器360还接收两对的输入信道164,166,168,170,其分别将从用 于YUV彩色差分输入信号采样或RGB彩色基准输入信号采样的过采样 处理器118产生的基本和附加信号采样送到乘法处理器360。
根据由 操作员选择的和由从控制处理器356送到的控制信号所指示的用于合 法化输入信号采样之4个方法的哪一个,乘法处理器360将在第一和 第二输入信道158,160上接收的用于基本和附加输入信号采样的软化 调节因子与作为YUV彩色差分形式或RGB彩色基准形式的输入信号采 样的对应分量相乘。
在每个乘法处理器360的输出端,产生合法的彩 色信号采样,其是在极化变换器361上接收的。
极化变换器361将从 RGB双极形式的输入信号采样产生的合法信号采样变换成单极形式。
对于基本合法信号采样和用于附加合法信号采样的输出信道174,这 转变了用于在第一输出172上产生的信号采样的彩色双极化器282的 工作。
来自调节因子软化器的第一和第二输入也被送到第二控制处理器 362。
第二控制处理器362为对应于基本输入采样和附加输入采样的每 个所接收调节因子确定对应的调节因子是否已经具有改变合法彩色信 号采样之输入信号采样的对应版本的效果。
如果调节因子具有改变相 对于对应合法彩色信号采样之输入信号采样的效果,则在第二控制处 理器362的输出176设置和产生表示这个事实的标志。
正如在下段要 说明的,公知为修改标志的这些标志,将用在十中抽一采样处理器178 和彩色抗折叠处理器180上。
合法信号采样从第一和第二输出信道172,174送到十中抽一采样 处理器178,其详细示于图23,也出现在图11的部件使用相同的数 值标记。
在第一输入172接收的对应于基本输入信号采样的合法彩色 信号采样被送到多路分用器364的第一输入。
对应于合法彩色信号过 采样版本的附加合法彩色信号采样从连接信道174送到多路分用器364 的第二输入。
除了多路分用器364仅仅要求两个输入和因此对应地将 仅仅具有两个信号分离器变换器之外,多路分用器364基本上根据前 面对图18调节因子软化器中说明的多路分用器300工作。
因此,对应 于每个过采样形式的YUV或RGB分量的信号采样的序列版本被分离成 它们3个各自分量的每一个并且被多路复用到3个各自输出信道366, 368,370之一个上。
因此,每个输出信道366,368,370出现了过采 样版本,其包括用于合法信号采样3个分量之一的基本和附加信号采 样。
这些信号采样被送到十中抽一采样滤波器372的第一输入。
十中 抽一采样处理器178也在第二输入接收在彩色合法器162中产生的修 改标志。
标志是通过分配处理器374从连接信道176接收的,分配处 理器374用来将每个修改的标志分配给3个十中抽一采样滤波器之对 应一个,标志是根据3信号分量的哪一个产生的。
作为在连接信道176 上接收的修改标志的拷贝被送到连接信道188,其耦合到十中抽一采 样处理器178的对应输出。
十中抽一采样滤波器372之一详细示于图24,也出现在图23的 部件使用相同的数值标记。
图24中,修改标志被送到第一移位寄存器 373,其具有若干级377,其中存储了连续被送到该移位寄存器的标志。
按类似的方式,提供了滤波器的合法彩色信号采样分量的信号采样被 送到第二移位寄存器378,其具有对应数目的级379。
除了中心级外, 相对于移位寄存器378中心级382相等替换的每个级379是配对的。
每对第一级的内容被送到相关加法器400的第一输入,每对第二级被 送到相关加法器400的第二输入。
来自每个加法器400的输出被送到 相关乘法器402的第一输入。
乘法器用窗口函数的多个刻度系数d0, d1,d2,d3,d4,d5之一来刻度对应移位寄存器对的相加内容。
然后, 刻度的相加信号采样通过网络加法器404进行相加,形成被送到最后 加法器406第一输入的合成信号采样。
移位寄存器378中心级中包含 的信号采样被送到最后加法器406第二输入,并且与合成信号采样相 加以产生复合的十中抽一采样的信号采样,其被送到逻辑门408的第 一输入。
移位寄存器378中心级391的信号采样也被送到逻辑门408 的第二输入。
第二移位寄存器的每级连接到逻辑“或”功能单元410, 其产生被送到逻辑门408的第三控制输入的逻辑输出信号。
逻辑门408 在输出导体412上出现十中抽一采样采样。
工作中,信号采样被送到连续的第一移位寄存器,通过加法器结 合,通过由系数d0,d1,d2,d3,d4,d5形成的窗口函数刻度,和 相加形成被送到逻辑门408的复合十中抽一采样输出信号采样。
对应 的修改标志是逻辑“或”以确定移位寄存器378中的任何合法彩色信 号采样是否已经被彩色合法器162从输入信号采样发生变化。
如果相 对于输入信号采样没有发生合法彩色信号采样的变化,则送到逻辑门 408的控制信号为真,其将该门设置为将来自移位寄存器378中心级 391的信号采样送到输出导体412。
但是,如果在第一移位寄存器376 中的任何标志已经被设置为“假”,其表示合法彩色信号采样已经相 对于输入信号采样发生变化,则送到逻辑门的控制信号被设置为“假”, 结果是,复合信号采样被选择为十中抽一采样信号采样。
而且,通过 将两个采样送到用于形成的每个十中抽一采样信号采样的第二移位寄 存器,该信号被从8∶8∶8十中抽一采样到4∶4∶4。
第二移位寄存器378,加法器400和相关乘法器402结合以完成 在最后加法器406输出产生十中抽一采样信号采样的合成十中抽一采 样和滤波处理。
但是,如果在第二移位寄存器378的对应存储器长度 或约束长度内没有合法彩色信号采样已经相对于输入信号采样发生变 化,则是“或”和被送到门408之控制输入的修改标志安排被保持在 中心级被送到输出导体412的信号采样。
旁路十中抽一采样滤波器的 本方案给本发明第一实施例提供了其它优点,其是与通过十中抽一采 样滤波器结合被再次变成非法彩色象素的信号采样的可能性相联系 的。
通过确定在窗口内的对应于十中抽一采样滤波器约束长度的基本 或附加合法彩色信号采样是否被彩色合法器162改变和从基本合法彩 色信号采样中形成十中抽一采样信号采样,可以减小因将基本和合法 彩色信号采样结合成复合信号导致的产生非法象素的危险。
在十中抽 一采样处理器178的输出,多路复用器414再次多路复用合法彩色视 频图象象素的分量以形成4∶4∶4格式的用于对应彩色差分信号之3 个YUV或RGB分量的数据流。
合法彩色信号采样从十中抽一采样处理器178经过信道184送到 第二彩色基准变换器182。
在使用用于RGB信号采样的两个彩色合法 处理之任何一个的情况下,第二彩色基准变换器182将合法彩色信号 采样从RGB彩色基准空间变换到YUV彩色差分空间。
如果选择了用于 YUV信号采样的两个其它彩色合法化方法之一,其要求信号采样保持 为对应YUV彩色差分基准空间的分量,则旁路由彩色变换处理器182 提供的变换处理。
在任何情况下,合法彩色信号采样作为YUV彩色差 分信号出现在变换处理器182的输出并且经过连接信道190送到彩色 抗折叠处理器180。
彩色抗折叠处理器180详细示于图25,也出现在图11的部件使 用相同的数值标记。
正如图25所示,彩色抗折叠处理器180,4∶4∶ 4速率的合法彩色信号采样被送到多路分用器416的输入。
多路分用 器416分离与3个YUV彩色差分信号分量的每一个相关的信号采样。
亮度分量Y被送到输出多路复用器418,而红和蓝色差分信号采样被 分别送到两个对应抗折叠滤波器420之一个的输入。
每个抗折叠滤波 器接收在输入端的合法彩色信号采样的两个色度U,V分量之一,并且 平行地,信号采样被送到开关424的第一输出端421。
抗折叠滤波器 420根据低通滤波器的特征滤波该信号分量,低通滤波器具有近似为 在4∶2∶2速率时色度信号采样频率值之一半的截止频率,以便减小 预备用于从4采样(4∶4∶4)到两采样(4∶2∶2)十中抽一采样的 色度信号采样中的折叠误差。
但是,滤波的信号采样保持在具有每个 象素4采样的过采样形式(4∶4∶4)并且被送到开关424的第二端 子412。
开关424是通过控制处理器426从控制总线428控制的。
控 制处理器426经过信道188接收表示修改标志的数据,该修改标志是 在彩色合法器162中产生的并且经过十中抽一采样处理器178送到彩 色抗折叠滤波器。
类似于在十中抽一采样处理器178中完成的工作, 控制处理器426审查在对应于抗折叠滤波器420约束长度之窗口内的 修改标志,确定合法信号采样是否已经通过彩色合法器162相对于对 应输入信号采样发生了变化。
如果窗口内的任何合法信号采样已经相 对于输入信号采样发生了变化,如修改标志之一被设置为“假”所示 的,则开关426被设定到开关424的第二个输入端子422,并且滤波 的色度信号采样从抗折叠滤波器420的输出送到输出多路复用器418。
但是,如果对应于抗折叠滤波器420约束长度之窗口内的修改标志没 有是“假”,其表示没有合法彩色信号采样已经相对于输入信号采样 发生了变化,则控制处理器426将合适的控制信号经过设置开关424 的控制总线428送到第一端子421,使得出现在第二输入端子422的 信号采样被送到输出多路复用器418。
正如已经解释的,彩色抗折叠滤波器180在色度信号采样从4采 样被十中抽一采样到2采样以形成4∶2∶2格式之前,用来滤波色度 信号采样。
为此,控制处理器426选择未滤波色度信号采样或者滤波 色度信号采样,其依赖于对应于滤波器约束长度之窗口内的任何对应 的输入信号采样是否在信号采样的合法版本中已经发生了变化,这正 如由修改标志所表示的。
这具有特别的优点,因为已经发现,滤波信 号采样合法版本的一个效果能够是再一次地重新非法化由信号采样表 示的彩色象素或者使原始合法彩色象素非法。
通过产生在控制处理器 426接收的修改标志,其表示窗口内的合法信号版本是否已经改变或 没有改变,如果合法信号采样没有相对于输入信号采样发生改变,则 提供用于旁路抗折叠滤波器的有效处理。
在穿过或旁路了抗折叠信号 采样之后,YUV彩色差分信号采样输出多路复用器418重新多路复用, 该输出多路复用器418重新多路复用来自每个信号分量的信号采样以 形成4∶4∶4格式的YUV彩色差分信号。
然后,这些合法的彩色信号 采样经过信道194被送到第二调节因子发生器196。
第二调节因子发生器196,第二彩色合法器204和第二调节因子 软化器200结合起来给从十中抽一采样处理器180接收的彩色信号采 样提供第二彩色合法处理。
尽管在彩色合法器162已经处理输入信号 采样之后该彩色信号采样可以是合法的,已经观察到,抗折叠滤波器, 第二彩色基准变换器182,随后应用到在第一彩色合法器162输出产 生的彩色信号采样的十中抽一采样处理器180的工作能够具有改变一 些这些信号采样的效果。
结果,从这些分量中产生的RGB彩色基准空 间中的对应象素能够再一次地是非法彩色,因为它们对应于在RGB彩 色基准空间外部的点。
为了修正这个问题和提供对图11所示图象处理 装置的进一步改进,彩色合法化的第二级被应用在从十中抽一采样处 理器180接收的信号采样,这是由第二调节因子发生器196结合第二 彩色合法器204根据上述合法化彩色图象方法之一来承担的。
但是, 再一次地,由第二调节因子发生器196经过连接信道198提供的调节 因子是通过在输入端接收来自连接信道198的调节因子的第二调节因 子软化器200软化的。
第二软化器以与软化滤波器156基本上相同的 形式但具有较小的窗口长度来实现的。
彩色信号采样经过第二连接信 道202被直接送到第二彩色合法器204。
第二彩色合法器使用由第一 彩色合法器162应用的相同合法化方法滤波调节因子。
然后,软化的 调节因子经过信道206被送到第二彩色合法器204的第二输入。
然后 第二彩色合法器204将软化的调节因子与彩色信号采样结合并在第二 彩色合法器204的输出提供最后的合法彩色信号采样。
这些经过信道 21)被送到彩色差分变换处理器208的输入。
如果合法化方法应用在 RGB信号格式,则第二彩色基准变换器182不将该信号采样变换成YUV 形式,但是合法彩色信号采样将保持在RGB形式,并且将通过第二彩 色变换处理器208被变换到YUV形式。
该最后彩色变换处理器208根 据方程(2)和(3)将YUV形式的彩色差分信号采样变换到YCrCb格 式。
彩色变换处理器208还将红和蓝色度信号采样十中抽一采样到分 半这两个色度信号采样之采样速率的效果,使得在处理器信道211的 输出,合法彩色信号采样再一次地在CCIR 4∶2∶2格式。
最后,合 法彩色信号采样被复制器215复制,其将4∶2∶2格式的合法彩色信 号采样的拷贝送到两个输出12和14的每一个。
从十中抽一采样处理器180的第二输出提供了图11所示的图象处 理装置1的其他输出信道19,其提供了表示修改标志的数据拷贝。
这 些修改标志被送到示于图3的主控制处理器16,并且其在视频显示单 元20上显示对应位置的显示和是非法的彩色图象的象素值。
正如本领域技术人员可理解的,在不脱离本发明范围的情况下, 可以对实施例进行各种修改。
特别是,尽管优选实施例已经参考具有 彩色差分分量的彩色差分信号采样的形式进行了说明,应当理解,图 象处理装置能够用表示为任何格式之彩色视频图象的彩色信号采样工 作。
而且,应当理解,尽管优选实施例已经用其中图象处理装置完成 某些功能的形式进行了说明,但是应当理解,本发明的实施例可以以 专用硬件的形式实现,或者实现为数据处理器或者为一组通过执行适 当软件满足实施例特征之功能的数据处理器。
因此,应当理解,当在 数据处理器或一组数据处理器和存储了计算机程序的存储媒体上执行 时提供这些特征之功能的计算机程序可以看作为本发明的方案。
展开

查看更多专利详情信息请先登录或注册会员

相关专利类别推荐

获取手机验证码,即可注册成为会员

专利详情咨询

咨询内容

姓名

手机

验证码

用户登录

手机号

手机验证码

提示

不能再减了!!!

提交成功

八月瓜客服中心已经收到您的信息,正在为您派遣知识产权顾问。知识产权顾问会携带贴心的服务以闪电搬的速度与您联系。

扫一扫关注八月瓜微信 创业一手掌握