压缩感知重构算法之基追踪

压缩感知重构算法之基追踪（Basis Pursuit ，BP ）

除匹配追踪类贪婪迭代算法之外，压缩感知重构算法另一大类就是凸优化算法或最优化逼近方法，这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，其中最常用的方法就是基追踪(Basis Pursuit, BP)，该方法提出使用1l 范数替代0l 范数来解决最优化问题，以便使用线性规划方法来求解[1]。本篇我们就来讲解基追踪方法。理解基追踪方法需要一定的最优化知识基础，可参见最优化方法分类中的内容。

1、l1范数和l0范数最小化的等价问题

在文献【2】的第4部分，较为详细的证明了1l 范数与0l 范数最小化在某条件下等价。证明过程是一个比较复杂的数学推导，这里尽量引用文献中的原文来说明。

首先，在文献【2】的4.1节，给出了(P1)问题，并给出了(P1)的线性规划等价形式(LP)，这个等价关系后面再详叙。 4.1 The Case 1p =

In the case 1p =, (1P ) is a convex optimization problem. Write it out in an equivalent form, with

θ being the optimization variable:

11()

min ||||.n P subject to y θ

θθΦ=

This can be formulated as a linear programming problem: let A be the n by 2m matrix []Φ-Φ. The linear program

()min1,0T n z

LP z subject to Az y x =≥.

has a solution *z , say, a vector in 2m

which can be partitioned as ***[]z u v =; then ***u v θ=-

solves 1()P . The reconstruction *1,?n x

θ=ψ. This linear program is typically considered computationally tractable. In fact, this problem has been studied in the signal analysis literature

under the name Basis Pursuit [7]; in that work, very large-scale underdetermined problems.

2、基追踪实现工具箱l1-MAGIC

若要谈基追踪方法的实现，就必须提到l1-MAGIC 工具箱（工具箱主页：https://www.wendangku.net/doc/b05596970.html,/~justin/l1magic/），在工具箱主页有介绍：L1-MAGIC is a collection of MA TLAB routines for solving the convex optimization programs central to compressive sampling. The algorithms are based on standard interior-point methods, and are suitable for large-scale problems.

另外，该工具箱专门有一个说明文档《l1-magic: Recovery of Sparse Signals via Convex Programming 》，可以在工具箱主页下载。

该工具箱一共解决了七个问题，其中第一个问题即是Basis Pursuit ： Min-1l with equality constraints. The problem 11()min ||||,P x subject to Ax b =

also known as basis pursuit, finds the vector with smallest 1l norm

1||||:||i i

x x =

∑ that explains the observations b . As the results in [4, 6] show, if a sufficiently sparse 0x exists

such that 0Ax b = then 1()P will find it. When ,,x A b have real-valued entries, 1()P can be recast as an LP (this is discussed in detail in [10]).

工具箱中给出了专门对（1P ）的代码，使用方法可参见l1eq_example.m, 说明文档3.1节也进行了介绍。

在附录中，给出了将（1P ）问题转化为线性规划问题的过程，但这个似乎并不怎么容易看明白：

3 如何将(P1)转化为线性规划问题？

尽管在l1-MAGIC 给出了一种基追踪的实现，但需要基于它的l1eq_pd.m 文件，既然基追踪是用线性规划求解，那么就应该可以用MATLAB 自带的linprog 函数求解，究竟该如何将(P1)转化为标准的线性规划问题呢？我们来看文献【3】的介绍：

3 Basis Pursuit

We now discuss our approach to the problem of overcomplete representations. We assume that the dictionary is overcomplete, so that there are in general many representations s γγγαφ=∑.

The principle of Basis Pursuit is to find a representation of the signal whose coefficients have minimal 1l norm. formally, one solves the problem

1min ||||a subject to a s Φ=. (3.1) From one point of view, (3.1) is very similar to the method of Frames (2.3): we are simply replacing the 2l norm in (2.3) with the 1l norm. however, this apparently slight change has major consequences. The method of Frames leads to a quadratic optimization problem with linear equality constraints, and so involves essentially just the solution of a system of linear equations. In contrast, Basis Pursuit requires the solutions of a convex, nonquadratic optimization problem, which involves considerably more effort and sophistication. 3.1 Linear Programming

To explain the last comment, and the name Basis Pursuit, we develop a connection with linear programming (LP).

The linear program in so-called standard form [7,16] is a constrained optimization problem defined in terms of a variable m x ∈ by

min ,0,T c x subject to Ax b x =≥ (3.2)

where T c x is the objective function, Ax b = is a collection of equality constraints, and 0x ≥ is a set of bounds. The main question is, which variables should be zero.

The Basis Pursuit problem (3.1) can be equivalently reformulated as a linear program in the standard form (3.2) by making the following translations:

2;(,);(1,1);(,);.m p x u v c A b s ????Φ-Φ? Hence, the solution of (3.4) can be obtained by solving an equivalent linear program. (The equivalent of minimum 1l optimizations with linear programming has been known since the 1950’s; see[2]). The connection between Basis Pursuit and linear programming is useful in several ways.

这里，文献【3】的转化说明跟文献【2】中4.1节的说明差不多，但对初学者来说仍然会有一定的困难，下面我们就以文献【3】中的符号为准来解读一下。

首先，式(3.1)中的变量a 没有非负约束，所以要将a 变为两个非负变量u 和v 的差a u v =-，由于u 可以大于也可以小于v ，所以a 可以是正的也可以是负的[4]。也就是说，约束条件a s Φ=要变为()u v s Φ-=，而这个还可以写为[,][;]u v s Φ-Φ=，更清晰的写法如下：

[]u s v ????

????Φ-Φ=????????????

然后，根据范数的定义，目标函数可进一点写为：

1||||||||i i i i

i

a a u v ==-∑∑

目标函数中有绝对值，怎么去掉呢？这里得看一下文献【5】：

对L1norm 如何线性化的理解最主要的是要想明白为什么对单一元素的最小化，即min ||x 等价于以下的线性规划问题。

min ,0

y z

y z x y z +-=≥ 现在假设以上的线性规划问题的最优解00,y z ，并且000,0y z >>。这个时候，总可以找到一个很小的正数α使得10100,0y y z z αα=-≥=-≥。而对于11,y z 它们满足以上线性规划的所有约束，比如110000()y z y z y z x αα-=---=-=，但这组可行解却具有比00,y z 更小的目标函数值，即002y z α+-。这就证明了00,y z 并不是最优解，从而导出矛盾。所以这一般的结论就是对于以上的线性规划问题，其最优解必须满足要吗0y =，要吗0z =，从而其最优目标值要吗是x ，要吗是x -，即||x 。

现在推广到有限维度的向量1L norm 最小化，即11min ||||min ||n

i i x x ==∑。它等价于以下的

线性规划问题

min ()

,0

c Y Z Y Z X Y Z +-=≥ 其中c 是1行n 列的矩阵，并且每个元素都是1。 到现在一切应该都清晰明白了，总结如下： 问题1

min ||||..,p s t s a ααΦ=∈ 可以转化为线性规划问题min ..,0T c x

s t Ax b x =≥，

其中，12[1,1,,1]T p c ?= ，2p x ∈ ，[,]A =Φ-Φ，b s =；求得最优化解0x 后可得变量a 的最优化解000(1:)(1:2)a x p x p p =-+。

4、基于linprog 的基追踪MATLAB 代码(BP_linprog.m) function [ alpha ] = BP_linprog( s,Phi )

%BP_linprog(Basis Pursuit with linprog) Summary of this function goes here %Version: 1.0 written by jbb0523 @2016-07-21

%Reference:Chen S S, Donoho D L, Saunders M A. Atomic decomposition by %basis pursuit[J]. SIAM review, 2001, 43(1): 129-159.(Available at:

%https://www.wendangku.net/doc/b05596970.html,/viewdoc/download?doi=10.1.1.37.4272&rep=rep1&type=pdf) % Detailed explanation goes here

% s = Phi * alpha (alpha is a sparse vector) % Given s & Phi, try to derive alpha [s_rows,s_columns] = size(s); if s_rows

s = s'; %s should be a column vector

end

p = size(Phi,2);

%according to section 3.1 of the reference

c = ones(2*p,1);

A = [Phi,-Phi];

b = s;

lb = zeros(2*p,1);

x0 = linprog(c,[],[],A,b,lb);

alpha = x0(1:p) - x0(p+1:2*p);

end

5、基追踪单次重构测试代码(CS_Reconstuction_Test.m)

测试代码与OMP测试单码相同，仅仅是修改了重构函数。

%压缩感知重构算法测试

clear all;close all;clc;

M = 64;%观测值个数

N = 256;%信号x的长度

K = 10;%信号x的稀疏度

Index_K = randperm(N);

x = zeros(N,1);

x(Index_K(1:K)) = 5*randn(K,1);%x为K稀疏的，且位置是随机的Psi = eye(N);%x本身是稀疏的，定义稀疏矩阵为单位阵x=Psi*theta Phi = randn(M,N);%测量矩阵为高斯矩阵

A = Phi * Psi;%传感矩阵

y = Phi * x;%得到观测向量y

%% 恢复重构信号x

tic

theta = BP_linprog(y,A);

x_r = Psi * theta;% x=Psi * theta

toc

%% 绘图

figure;

plot(x_r,'k.-');%绘出x的恢复信号

hold on;

plot(x,'r');%绘出原信号x

hold off;

legend('Recovery','Original')

fprintf('\n恢复残差：');

norm(x_r-x)%恢复残差

压缩感知简介

2011.No31 0 3.2 熟悉结构施工图 结构施工图是关于承重构件的布置,使用的材料、形状、大小及内部构造的工程图样,是承重构件以及其他受力构件施工的依据。 看结构施工图最难的就是钢筋，要把结施图看懂就要知道钢筋的分布情况，现在都是在使用平法来标示钢筋，所以也要把平法弄懂才行。在识读与熟悉结施图的过程中应该充分结合钢筋平法表示的系列图集，搞清楚： a 各结构构件的钢筋的品种，规格，以及受力钢筋在各构件的布置情况。 b 箍筋与纵向受力钢筋的位置关系。 c 各个构件纵向钢筋以及箍筋弯钩的角度及其长度。 d 熟悉各构件节点的钢筋的锚固长度。 e 熟悉各个构件钢筋的连接方式。 f 熟悉在钢筋的搭接区域内，钢筋的搭接长度。 g 核算钢筋的间距是否满足施工要求，尤其是各个构件节点处的钢筋间距。 h 弯起钢筋的弯折角度以及离连接点的距离。 除此以外，对于钢筋混凝土构件，还应该熟悉各个构件的砼保护层厚度，各个构件的尺寸大小、布置位置等。特别注意的是对于结施图的阅读应充分结合建施图进行。 4 结束语 在熟悉施工图纸的过程中，施工技术人员对于施工图纸中的疑问，和比较好的建议应该做好记录，为后续工作（图纸自审和会审）做好准备。 参考文献 [1]《建筑识图》周坚主编 中国电力出版社 2007年；[2]《建筑工程项目管理》银花主编 机械工业出版社 2010年； 摘 要 压缩感知（Compressive Sensing, CS）理论是一个充分利用信号稀疏性或可压缩性的全新信号采集、编解码理论。本文系一文献综述，主要介绍了压缩感知的三部分即信号的稀疏表示、测量矩阵的设计、信号恢复算法的设计。 关键词 压缩感知 稀疏表示 测量矩阵 信号恢复算法 1 引言 1928年由美国电信工程师H.奈奎斯特（Nyquist）首先提出，1948年信息论的创始人C.E.香农（Shannon）又对其加以明确说明并正式作为定理引用的奈奎斯特采样定理，是采样带限信号过程所遵循的规律。它指出：在进行模拟/数字信号的转换过程中，当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>=2fmax)，采样之后的数字信号完整地保留了原始信号中的信息。一般实际应用中保证采样频率为信号最高频率的5～10倍。该理论支配着几乎所有的信号/图像等的获取、处理、存储、传输等。随着科技的发展，成为目前信息领域进一步发展的主要瓶颈之一，主要表现在两个方面： (1)数据获取和处理方面。在许多实际应用中(例如超宽带信号处理、核磁共振、空间探测等），Nyquist采样硬件成本昂贵、获取效率低下，信息冗余及有效信息提取的效率低下，在某些情况甚至无法实现。 (2)数据存储和传输方面。通常的做法是先按照Nyquist方式获取数据，然后将获得的数据进行压缩，最后将压缩后的数据进行存储或传输，这样会造成很大程度的资源浪费。另外，为保证信息的安全传输，通常以某种方式对信号进行编码，这给信息的安全传输和接收带来一定程度的麻烦。 近年来，由D .D o n o h o (美国科学院院士)、E . Candes(Ridgelet， Curvelet创始人)及华裔科学家T. Tao(2006年菲尔兹奖获得者，2008年被评为世界上最聪明的科学家)等人提出了一种新的信息获取指导理论，即压缩感知（Compressive Sensing(CS)，或称Compressed Sensing、Compressed Sampling）。该理论指出：对可压缩的信号通过远低于Nyquist标准的方式进行数据采样，仍能够精确地恢复出原压缩感知简介 刘太明1 黄 虎2 （1、成都理工大学,四川成都,610059;2、成都理工大学,四川成都,610059） 始信号。该理论一提出，就在信息论、信号/图像处理、医疗成像、模式识别、地质勘探、光学/雷达成像、无线通信等领域受到高度关注，并被美国科技评论评为2007年度十大科技进展。 2 CS基本原理 信号x∈R n×1压缩传感的测量过程可以表示为y=Ax∈R M×1,M<

压缩感知的重构算法

压缩感知的重构算法 算法的重构是压缩感知中重要的一步，是压缩感知的关键之处。因为重构算法关系着信号能否精确重建，国内外的研究学者致力于压缩感知的信号重建，并且取得了很大的进展，提出了很多的重构算法，每种算法都各有自己的优缺点，使用者可以根据自己的情况，选择适合自己的重构算法，大大增加了使用的灵活性，也为我们以后的研究提供了很大的方便。 压缩感知的重构算法主要分为三大类： 1.组合算法 2.贪婪算法 3.凸松弛算法 每种算法之中又包含几种算法，下面就把三类重构算法列举出来。 组合算法：先是对信号进行结构采样，然后再通过对采样的数据进行分组测试，最后完成信号的重构。 (1) 傅里叶采样（Fourier Representaion） (2) 链式追踪算法（Chaining Pursuit） (3) HHS追踪算法（Heavy Hitters On Steroids） 贪婪算法：通过贪婪迭代的方式逐步逼近信号。 (1) 匹配追踪算法（Matching Pursuit MP） (2) 正交匹配追踪算法（Orthogonal Matching Pursuit OMP） (3) 分段正交匹配追踪算法（Stagewise Orthogonal Matching Pursuit StOMP）

(4) 正则化正交匹配追踪算法（Regularized Orthogonal Matching Pursuit ROMP） (5) 稀疏自适应匹配追踪算法（Sparisty Adaptive Matching Pursuit SAMP） 凸松弛算法： (1) 基追踪算法（Basis Pursuit BP） (2) 最小全变差算法（Total Variation TV） (3) 内点法（Interior-point Method） (4) 梯度投影算法（Gradient Projection） (5) 凸集交替投影算法（Projections Onto Convex Sets POCS）算法较多，但是并不是每一种算法都能够得到很好的应用，三类算法各有优缺点，组合算法需要观测的样本数目比较多但运算的效率最高，凸松弛算法计算量大但是需要观测的数量少重构的时候精度高，贪婪迭代算法对计算量和精度的要求居中，也是三种重构算法中应用最大的一种。下面分别就贪婪算法中的MP，OMP算法以及凸松弛算法中的BP算法进行详细的介绍。 三种重建算法 本节主要是介绍一些基本的重建算法，比如贪婪迭代算法中的匹配追踪算法，正交匹配追踪算法，以及凸松弛算法中的基追踪算法，对其原理进行了介绍，并用matlab代码重构出来一维和二维的图形，进而比较这几种算法的性能。

压缩感知理论综述(原创)

压缩感知理论综述 摘要：信号采样是模拟的物理世界通向数字的信息世界之必备手段。多年来，指导信号采样的理论基础一直是著名的Nyquist采样定理，但其产生的大量数据造成了存储空间的浪费。压缩感知（Compressed Sensing）提出一种新的采样理论，它能够以远低于Nyquist采样速率采样信号。本文详述了压缩感知的基本理论，着重介绍了信号稀疏变换、观测矩阵设计和重构算法三个方面的最新进展，并介绍了压缩感知的应用及仿真，举例说明基于压缩感知理论的编解码理论在一维信号、二维图像处理上的应用。 关键词：压缩感知；稀疏表示；观测矩阵；编码；解码 一、引言 Nyquist采样定理指出，采样速率达到信号带宽的两倍以上时，才能由采样信号精确重建原始信号。可见，带宽是Nyquist采样定理对采样的本质要求。然而随着人们对信息需求量的增加，携带信息的信号带宽越来越宽，以此为基础的信号处理框架要求的采样速率和处理速度也越来越高。解决这些压力常见的方案是信号压缩。但是，信号压缩实际上是一种资源浪费，因为大量的不重要的或者只是冗余信息在压缩过程中被丢弃。从这个意义而言，我们得到以下结论：带宽不能本质地表达信号的信息，基于信号带宽的Nyquist采样机制是冗余的或者说是非信息的。 于是很自然地引出一个问题：能否利用其它变换空间描述信号，建立新的信号描述和处理的理论框架，使得在保证信息不损失的情况下，用远低于Nyquist 采样定理要求的速率采样信号，同时又可以完全恢复信号。与信号带宽相比，稀疏性能够直观地而且相对本质地表达信号的信息。事实上，稀疏性在现代信号处理领域起着至关重要的作用。近年来基于信号稀疏性提出一种称为压缩感知或压缩采样的新兴采样理论，成功实现了信号的同时采样与压缩。 简单地说，压缩感知理论指出：只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息。在该理论框架

OMP压缩感知重构仿真

clc;clear %% 1. 时域测试信号生成 %产生长度为N=256的稀疏信号，其稀疏度K=23且这23个非零值随机分布于信号256个位置 %观测向量y的长度M=80，即采样率M/N=0.3 N=256; K=23; M=80; x = zeros(N,1); q = randperm(N); x(q(1:K)) =randn(K,1); %原始信号 %% 2. 测量矩阵及观测值获得 Phi=randn(M,N); %测量矩阵% 感知矩阵（高斯分布白噪声）M*N matrixNorm = Phi.'*Phi; matrixNorm = sqrt(diag(matrixNorm)).'; Phi = Phi./repmat(matrixNorm, [M,1]); %注意，观测矩阵是要归一化的，因为原子范数要是1！ y=Phi*x ; %获得线性测量 %% 3.用MP算法重构信号 iterations=K; % 算法迭代次数(m>=K) %signal_reconstruct=zeros(1,1); % 近似解矩阵(初始值为空矩阵) r_n=y; % 残差值M*1 x_rec=zeros(N,1); for times=1:iterations for col=1:N %感知矩阵的所有列向量 innerpro(col)=Phi(:,col)'*r_n; %计算余量和感知矩阵每一列的内积end [val,pos]=max(abs(innerpro) ); %找出内积中绝对值最大的元素和它的对应的感知矩阵的列pos x_rec(pos)=x_rec(pos)+innerpro(pos); %计算新的近似x_rec r_n=r_n-innerpro(pos)*Phi(:,pos); %更新残差 end norm(x_rec-x)/norm(x) % 重构误差 subplot(3,1,1);plot(x);title('origin'); subplot(3,1,2);plot(x_rec);title('reconstruct'); subplot(3,1,3);plot(r_n);title('残差');

几种压缩感知算法

.1压缩感知部分 压缩感知算法主要可分为三类：贪婪迭代算法、凸凸优化（或最优化逼近方法）和基于贝叶斯框架提出的重构算法。由于第三类方法注重信号的时间相关性，不适合图像处理问题，故目前的研究成果主要集中在前两类中。目前已实现6中算法，分别为正交匹配追踪法（）、迭代硬阈值法（）、分段正交匹配追踪法（）、分段弱正交匹配追踪法（）、广义正交匹配追踪（）、基追踪法（）。 1.1 正交匹配追踪法（） 在正交匹配追踪中，残差是总与已经选择过的原子正交的。这意味着一个原子不会被选择两次，结果会在有限的几步收敛。的算法如下 (1)用x表示你的信号，初始化残差e0； (2)选择与e0内积绝对值最大的原子，表示为φ1； (3)将选择的原子作为列组成矩阵Φt，定义Φt列空间的正交投影算子为 通过从e0减去其在Φt所张成空间上的正交投影得到残差e1； (4)对残差迭代执行(2)、(3)步； 其中I为单位阵。需要注意的是在迭代过程中Φt为所有被选择过的原子组成的矩阵，因此每次都是不同的，所以由它生成的正交投影算子矩阵P每次都是不同的。 (5)直到达到某个指定的停止准则后停止算法。 减去的是在所有被选择过的原子组成的矩阵Φt所张成空间上的正交投影，而减去的是在本次被选择的原子φm所张成空间上的正交投影。 经算法重构后的结果如下所示： 算法的使用时间如下：

1.2 迭代硬阈值法（） 目标函数为 这里中的M应该指的是，S应该指的是。这里要求： 之后我们利用式 对目标函数进行变形。接着便是获得极值点： 利用该式进行迭代可以得到极值点，我们需要的是最小值。此时目标函数的最小值就得到了。此时便得到我们需要的公式： 我们要保证向量y的稀疏度不大于M，即，为了达到这一目标，要保留最大的M项（因为是平方，所以要取绝对值），剩余的置零（注意这里有个负号，所以要保留最大的M项）。 算法结果：

压缩感知原理

压缩感知原理(附程序) 1压缩感知引论 传统方式下的信号处理，是按照奈奎斯特采样定理对信号进行采样，得到大量的采样数据，需要先获取整个信号再进行压缩，其压缩过程如图2.1。 图2.1 传统的信号压缩过程 在此过程中，大部分采样数据将会被抛弃，即高速采样后再压缩的过程浪费了大量的采样资源，这就极大地增加了存储和传输的代价。 由于带宽的限制，许多信号只包含少量的重要频率的信息。所以大部分信号是稀疏的或是可压缩的，对于这种类型的信号，既然传统方法采样的多数数据会被抛弃，那么，为什么还要获取全部数据而不直接获取需要保留的数据呢？Candes和Donoho等人于2004年提出了压缩感知理论。该理论可以理解为将模拟数据节约地转换成压缩数字形式，避免了资源的浪费。即，在采样信号的同时就对数据进行适当的压缩，相当于在采样过程中寻找最少的系数来表示信号，并能用适当的重构算法从压缩数据中恢复出原始信号。压缩感知的主要目标是从少量的非适应线性测量中精确有效地重构信号。核心概念在于试图从原理上降低对一个信号进行测量的成本。压缩感知包含了许多重要的数学理论，具有广泛的应用前景，最近几年引起广泛的关注，得到了蓬勃的发展。 2压缩感知原理 压缩感知，也被称为压缩传感或压缩采样，是一种利用稀疏的或可压缩的信号进行信号重构的技术。或者可以说是信号在采样的同时被压缩，从而在很大程度上降低了采样率。压缩感知跳过了采集N个样本这一步骤，直接获得压缩的信号的表示。CS理论利用到了许多自然信号在特定的基 上具有紧凑的表示。即这些信号是“稀疏”的或“可压缩”的。由于这一特性，压缩感知理论的信号编解码框架和传统的压缩过程大不一样，主要包括信号的稀疏表示、编码测量和重构算法等三个方面。

压缩感知 很好的综述 2012

压缩感知? 许志强? 中国科学院数学与系统科学研究院, 计算数学与科学工程计算研究所, 科学与工程计算国家重点实验室,100190,北京 2012年1月12日 摘要 压缩感知是近来国际上热门的研究方向.其在信号处理中具有很好的应用前景. 此外,它与逼近论、最优化、随机矩阵及离散几何等领域密切相关,由此产生了一些漂 亮的数学结果.本文综述压缩感知一些基本结果并介绍最新进展.主要包括RIP矩阵 编码与?1解码的性能,RIP矩阵的构造,Gelfand宽度,个例最优性及OMP解码等. 1引言 现实世界中,人们经常需要对信号进行观测,例如医学图像成像、CT断层扫描等,以期通过观测信息对原始的信号进行重建.由于计算机的离散化存储,我们可将需重建的信号x抽象为一N维向量,可将对信号x的观测抽象为用一n×N的矩阵Φ与信号x进行乘积.例如在CT扫描中,矩阵Φ通常选择为离散Fourier矩阵.那么,我们所观测的信息为 y=Φx.(1)人们自然而问:为重建信号x,至少需要多少次观测?由线性代数知识可知,为使方程组(1)的解存在且唯一,我们须选择n≥N.也就是说,我们需要至少进行n=N次观测.然而,现实世界中的自然信号通常具有一定规律性.对这种规律性,一种常用的刻画方式是自然信号在一组基底表示下是稀疏的.这里的“稀疏”是指它们用一组基底展开后,大多数系数为0,或者绝对值较小.例如,自然图像用小波基底展开后,一般而言,其展开系数大多 ?国家自然科学基金(11171336)及创新群体(11021101)资助. ?Email:xuzq@https://www.wendangku.net/doc/b05596970.html, 1

数绝对值较小.这也就是图像能够进行压缩的原理.然而,这同时为人们减少观测次数n 从理论上提供了可能性.因而,压缩感知的主要任务为:对尽量小的n,设计n×N观测矩阵Φ,以及通过Φx快速恢复x的算法.所以,压缩感知的研究主要分为两方面：矩阵Φ的设计;与反求信号x的算法. 本文主要介绍压缩感知的一些基本结果.在每节里,我们采用注记的方式介绍当前的一些研究进展及研究问题,同时提供与之相关的参考文献,以使感兴趣的读者可进一步探索.本文组织结构如下:第2节中我们介绍了稀疏信号精确恢复的编码、解码方法.特别是,我们将介绍矩阵的零空间性质,及RIP矩阵编码与?1解码的性能.我们在第3节中介绍RIP矩阵的构造方法,包括随机矩阵、结构随机矩阵及确定性矩阵.在第4节中,为理解最优编码、解码对的性能,我们介绍了Gelfand宽度与编码、解码对性能的关联.我们在第5节中介绍了编码、解码对在不同范数意义下的个例最优性.最后一节简要介绍实现解码的算法. 2稀疏信号的恢复 为方便介绍压缩感知理论,我们将信号的稀疏性简单理解为信号中非0元素数目较少.我们所指的信号即为一向量x∈R N.我们用Σs表示s-稀疏向量集合,即 Σs:={x∈R N:∥x∥0≤s}, 这里∥x∥0表示x中的非0元素数目.所谓对信号x0∈R N编码,即指用一n×N的矩阵Φ与x0∈R N进行乘积,那么我们得到 y=Φx0. 此处,y∈R n即为我们所观测到的关于x0的信息.所谓解码,就是试图通过y反求x0,也就是寻找一从R n到R N的映射,我们将该映射记为?.我们用?(y)表示反求结果.一般而言,若n

压缩感知重构算法之基追踪

压缩感知重构算法之基追踪（Basis Pursuit ，BP ） 除匹配追踪类贪婪迭代算法之外，压缩感知重构算法另一大类就是凸优化算法或最优化逼近方法，这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，其中最常用的方法就是基追踪(Basis Pursuit, BP)，该方法提出使用1l 范数替代0l 范数来解决最优化问题，以便使用线性规划方法来求解[1]。本篇我们就来讲解基追踪方法。理解基追踪方法需要一定的最优化知识基础，可参见最优化方法分类中的内容。 1、l1范数和l0范数最小化的等价问题 在文献【2】的第4部分，较为详细的证明了1l 范数与0l 范数最小化在某条件下等价。证明过程是一个比较复杂的数学推导，这里尽量引用文献中的原文来说明。 首先，在文献【2】的4.1节，给出了(P1)问题，并给出了(P1)的线性规划等价形式(LP)，这个等价关系后面再详叙。 4.1 The Case 1p = In the case 1p =, (1P ) is a convex optimization problem. Write it out in an equivalent form, with θ being the optimization variable: 11() min ||||.n P subject to y θ θθΦ= This can be formulated as a linear programming problem: let A be the n by 2m matrix []Φ-Φ. The linear program ()min1,0T n z LP z subject to Az y x =≥. has a solution *z , say, a vector in 2m which can be partitioned as ***[]z u v =; then ***u v θ=- solves 1()P . The reconstruction *1,?n x θ=ψ. This linear program is typically considered computationally tractable. In fact, this problem has been studied in the signal analysis literature under the name Basis Pursuit [7]; in that work, very large-scale underdetermined problems. 2、基追踪实现工具箱l1-MAGIC 若要谈基追踪方法的实现，就必须提到l1-MAGIC 工具箱（工具箱主页：https://www.wendangku.net/doc/b05596970.html,/~justin/l1magic/），在工具箱主页有介绍：L1-MAGIC is a collection of MA TLAB routines for solving the convex optimization programs central to compressive sampling. The algorithms are based on standard interior-point methods, and are suitable for large-scale problems. 另外，该工具箱专门有一个说明文档《l1-magic: Recovery of Sparse Signals via Convex Programming 》，可以在工具箱主页下载。 该工具箱一共解决了七个问题，其中第一个问题即是Basis Pursuit ： Min-1l with equality constraints. The problem 11()min ||||,P x subject to Ax b = also known as basis pursuit, finds the vector with smallest 1l norm 1||||:||i i x x = ∑ that explains the observations b . As the results in [4, 6] show, if a sufficiently sparse 0x exists such that 0Ax b = then 1()P will find it. When ,,x A b have real-valued entries, 1()P can be recast as an LP (this is discussed in detail in [10]).

基于压缩感知的图像重构技术研究

基于压缩感知的图像重构技术研究 压缩感知理论表明，若信号在某变换域具有稀疏表示，且采样矩阵与稀疏矩阵不相关，则可从远低于信号维度的少量非自适应测量值中精确恢复原信号。目前，压缩感知理论已被广泛用于各类磁共振成像中，以便在不降低成像质量的情况下减少采样点数，提高系统扫描速度。 本文即研究从亚采样的磁共振数据中，怎样快速而有效地恢复目标图像。主要研究内容包括：（1）为消除亚采样的磁共振成像重构时可能出现的过光滑（over-smoothed）和混叠伪影现象，将重构问题转化成含复合正则项的约束最小化问题，并提出一种高效的算法来求解。 该算法首先利用Bregman迭代技术，将约束问题转化成一系列无约束问题。然后利用算子分裂技术，将各无约束问题分解成一个梯度问题和一个能使用修改的SBD（Splitting Bregman Denoising）算法来求解的复合正则项的去噪问题。 最后再用加速方案对无约束问题的求解予以加速。本文将该算法称作BFSA （Bregman based Fast SBD Algorithm）。 对非笛卡尔轨迹采样的重构，本文还提出了一种动态更新L的方法。实验结果表明，新算法能够获得比其他算法更好的重构质量。 （2）为了克服现有动态磁共振成像重构速度较慢的问题，本文基于BFSA 算法框架，提出一种高效的动态磁共振成像重构算法ktBFSA。该算法利用SBD3D （Splitting Bregman Denoising for3D images）来求解含复合正则项的3D去噪问题。 实验结果表明，ktBFSA在重构速度和重构质量上都有优势。（3）SENSE （Sensitivity encoding）是常用的并行磁共振成像技术，引入压缩感知后重构

基于先验信息的压缩感知重建算法研究

基于先验信息的压缩感知重建算法研究 随着移动通信、移动互联网、物联网等新兴技术的快速发展,“万物互联”的时代即将到来。由此而产生的的数以万亿数据处理压力,是一个不容小觑的问题。尤其是面对未来的5G通信,传统的奈奎斯特采样定理不仅会大幅增加设备的硬件成本,而且会产生大量的数据冗余。由此可以看出,如何从信号中安全、高效地获取和处理尽可能多的有用信息是促进技术演进的一个重要课题。 Donoho、Candes和Tao等人提出的压缩感知理论可以将压缩与采样两个过程合二为一,将高维度稀疏信号通过压缩采样投影到低维度空间,降低通信设备的采样速率,达到降低硬件成本、减轻采样压力的目的。压缩感知为我们提供了一个全新的采样思路,打破传统采样定理的禁锢,逐渐成为一个全新的信号处理技术。尽管压缩感知在采样率、数据降维等方面拥有极大的优势,但仍有许多问题亟待解决。经过十余年的研究,压缩感知理论体系逐渐完善,主要分为信号的稀疏表示、压缩采样和信号重建三个方向。 信号的稀疏表示是应用压缩感知的前提条件,压缩采样是信号降维的关键技术,信号重建是从压缩信号恢复原信号的必要手段。这三个关键技术相辅相成,共同组成了压缩感知理论的主体框架。在压缩感知的发展过程中,如何有效地利用信号本身的稀疏结构(如块稀疏、稀疏树结构等)或者其他先验信息(支撑集非零概率、测量矩阵的扰动和支撑集部分信息已知等)提升重建性能也是压缩感知的一个重要课题。此外,对压缩感知相关重建算法理论性能(如重建误差、测量矩阵的数学要求、测量值个数等)的研究也是一个十分重要的研究方向。 因此,本文主要聚焦于两个方面:一个是研究可量化的先验信息对压缩感知重建算法的性能影响,为后续的算法研究提供理论支撑;另一个是研究稀疏信号的先验信息和压缩感知重建算法的结合,通过合理建立优化模型,最大化利用信号的先验信息为手段,设计高效、鲁棒的压缩感知重建算法,实现提升重建算法的性能和重建速度的目标。本文利用信号自身的特殊稀疏结构或者先验信息,并纳入到算法的重建过程,建立新的优化模型,提出高效、鲁棒的压缩感知重建算法,并对相关算法的重建性能进行理论分析。本文的研究创新之处主要有以下几点:1.对点对点链路和多点链路压缩感知重建算法的重建性能进行了推导,获得了点对点链路基于支撑集非零概率向量为先验信息场景中的RIP常数性能界以及多点

基于压缩感知的自适应数字波束形成算法

第35卷第2期电子与信息学报Vol.35 No.2 2013年2月 Journal of Electronics & Information Technology Feb. 2013 基于压缩感知的自适应数字波束形成算法 王 建 盛卫星* 韩玉兵 马晓峰 (南京理工大学电子工程与光电技术学院南京 210094) 摘要：该文根据目标在空间的稀疏性，提出了接收端的基于压缩感知理论的自适应数字波束形成算法。在阵元稀布的情况下，用压缩感知的压缩采样理论，恢复出缺失通道的回波信息，然后用恢复的信号做数字波束形成。该算法所形成的波束具有波束旁瓣低，指向误差小，干扰方向零陷深，而且没有栅瓣等优点，波束性能接近满阵时候的波束性能，而且使用该方法减少的阵元数远远大于其他稀布阵方法减少的阵元数。采用蒙特卡罗方法对该方法进行了性能评估，给出了不同信噪比、不同干噪比、不同快拍情况下的计算结果，仿真结果也验证了该算法的正确性。 关键词：压缩感知；数字波束形成；稀布阵；多测量欠定系统正则化聚焦求解算法 中图分类号：TN911.72 文献标识码：A 文章编号：1009-5896(2013)02-0438-07 DOI: 10.3724/SP.J.1146.2012.00517 Adaptive Digital Beamforming Algorithm Based on Compressed Sensing Wang Jian Sheng Wei-xing Han Yu-bing Ma Xiao-feng (School of Electronic Engineering and Optoelectronic Technology, Nanjing University of Science and Technology, Nanjing 210094, China) Abstract: A new adaptive digital beamforming in receiving end based on compressed sensing is proposed. In the case of sparse array antenna, receiving signal from absence elements can be reconstructed by using the theory of compressed sensing. Adaptive digital beamforming techniques are then adopted to form antenna beams, whose main lobe is steered to desired direction and nulls are steered to the directions of interferences. Simulation results with Monte Carlo method show that the beam performances of the proposed method are approaching to that of full array antenna, and actual antenna elements can be reduced greatly. Key words:Compressed sensing; Digital beamforming; Sparse arrays; Regularized M-FOCUSS 1 引言 阵列天线的口径越大，则波束越窄，增益越高，但所需的阵元数也越多，设备量越大。大型阵列，特别是数字波束形成天线或固态有源相控阵天线，每个天线单元都有一个对应的T/R组件，因而阵列的阵面造价十分昂贵，是雷达耗资的主要部分。在阵列口径尺寸一定的前提下，减少T/R组件数目主要有两种方法：一种是子阵技术，但子阵技术的应用不可避免地会引起栅瓣，从而会减小阵列波束电扫描的范围；另一种方法是稀疏布阵技术。传统的稀布阵方式通常可以节省一半左右的T/R组件，它采用遗传算法等各种优化算法对阵元的位置进行优化，以尽可能降低阵列天线波束的副瓣。但是，这样的优化通常只是针对阵列的静态方向图进行的，当波束扫描或进行自适应干扰抑制时，很难保证波束的性能。 2012-05-02收到，2012-11-12改回 *通信作者：盛卫星 shengwx@https://www.wendangku.net/doc/b05596970.html, 压缩感知(Compressed Sensing, CS)理论[14]?是一个充分利用信号的稀疏性(或可压缩性)的全新信号采集、编解码理论。该理论指出，只要信号是稀疏的或可压缩的(即在某个变换域上是稀疏的)，那么就可以用一个与变换基不相关的采样矩阵将变换所得的高维信号投影到一个低维空间上，然后通过求解一个优化问题，从这些少量的投影中以高概率重构出原信号。压缩感知理论突破了传统的奈奎斯特采样定理的束缚，实现了对未知信号的边感知边压缩。在一定条件下，只需采样少量数据，就可以通过重构算法精确地恢复出原信号。由于采样数据少，恢复数据精确，该技术已被广泛应用于数据采集[5]、医学成像、雷达[68]?、通信等领域。 本文通过对压缩感知理论以及数字波束形成(DBF)技术的研究，提出了一种双基地系统的DBF 接收阵下的基于压缩感知的自适应数字波束形成算法。该方法适用于DBF接收阵的应用场合。由于发射能量的空间合成和发射方向图等原因，该方法尚不能适用于发射波束形成。该方法利用目标在空域

形象易懂讲解算法II——压缩感知课件

形象易懂讲解算法II——压缩感知 之前曾经写过一篇关于小波变换的回答，得到很多赞，十分感动。之后一直说要更新，却不知不觉拖了快一年。。此次更新，思来想去，决定挑战一下压缩感知（compressed sensing, CS）这一题目。 在我看来，压缩感知是信号处理领域进入21世纪以来取得的最耀眼的成果，并在磁共振成像、图像处理等领域取得了有效应用。压缩感知理论在其复杂的数学表述背后蕴含着非常精妙的思想。基于一个有想象力的思路，辅以严格的数学证明，压缩感知实现了神奇的效果，突破了信号处理领域的金科玉律——奈奎斯特采样定律。即，在信号采样的过程中，用很少的采样点，实现了和全采样一样的效果。 正是被它的精妙思想所打动，我选择它作为专栏第二篇的主题。理解压缩感知的难度可能要比之前讲的小波还要大，但是我们从中依然可以梳理出清晰的脉络。这篇文章的目标和之前一样，我将抛弃复杂的数学表述，用没有公式的语言讲清楚压缩感知的核心思路，尽量形象易懂。我还绘制了大量示意图，因为排版问题，我将主要以PPT的形式呈现，并按slice标好了序号。 --------------------------------------------------------------------------------------------------------------------------- 一、什么是压缩感知（CS）？ compressed sensing又称compressed sampling，似乎后者看上去更加直观一些。没错，CS是一个针对信号采样的技术，它通过一些手段，实现了“压缩的采样”，准确说是在采样过程中完成了数据压缩的过程。 因此我们首先要从信号采样讲起：

压缩感知技术综述

压缩感知技术综述 摘要：信号采样是模拟的物理世界通向数字的信息世界之必备手段。多年来，指导信号采样的理论基础一直是著名的Nyquist采样定理，但其产生的大量数据造成了存储空间的浪费。压缩感知（Compressed Sensing）提出一种新的采样理论，它能够以远低于Nyquist采样速率采样信号。本文详述了压缩感知的基本理论，着重介绍了信号稀疏变换、观测矩阵设计和重构算法三个方面的最新进展，并介绍了压缩感知的应用及基于压缩感知SAR成像的仿真。 关键词：压缩感知；稀疏表示；观测矩阵；SAR成像； Abstract: Signal sampling is a necessary means of information world physical world to the digital simulation. Over the years, the base theory of signal sampling is the famous Nyquist sampling theorem, but a large amount of data generated by the waste of storage space. Compressed sensing and put forward a new kind of sampling theory, it can be much less than the Nyquist sampling signal sampling rate. This paper introduces the basic theory of compressed sensing, emphatically introduces the new progress in three aspects of signal sparse representation, design of measurement matrix and reconstruction algorithm, and introduces the application of compressed sensing and Simulation of SAR imaging based on Compressive Sensing Keywords: Compressed sensing; Sparse representation; The observation matrix; SAR imaging; 0 引言 Nyquist采样定理指出，采样速率达到信号带宽的两倍以上时，才能由采样信号精确重建原始信号。可见，带宽是Nyquist采样定理对采样的本质要求。然而随着人们对信息需求量的增加，携带信息的信号带宽越来越宽，以此为基础的信号处理框架要求的采样速率和处理速度也越来越高。解决这些压力常见的方案是信号压缩。但是，信号压缩实际上是一种资源浪费，因为大量的不重要的或者只是冗余信息在压缩过程中被丢弃。从这个意义而言，我们得到以下结论：带宽不能本质地表达信号的信息，基于信号带宽的Nyquist采样机制是冗余的或者说是非信息的。 于是很自然地引出一个问题：能否利用其它变换空间描述信号，建立新的信号描述和处理的理论框架，使得在保证信息不损失的情况下，用远低于Nyquist 采样定理要求的速率采样信号，同时又可以完全恢复信号。与信号带宽相比，稀疏性能够直观地而且相对本质地表达信号的信息。事实上，稀疏性在现代信号处理领域起着至关重要的作用。近年来基于信号稀疏性提出一种称为压缩感知或压缩采样的新兴采样理论，成功实现了信号的同时采样与压缩。

压缩感知理论综述

压缩感知理论综述摘要：信号采样是模拟的物理世界通向数字的信息世界之必备手段。多年来，指导信号采样的理论基础一直是著名的Nyquist采样定理，但其产生的大量数据造成了存储空间的浪费。压缩感知(Compressed Sen si ng)提出一种新的采样理论，它能够以远低于Nyquist采样速率采样信号。本文详述了压缩感知的基本理论，着重介绍了信号稀疏变换、观测矩阵设计和重构算法三个方面的最新进展，并介绍了压缩感知的应用及仿真，举例说明基于压缩感知理论的编解码理论在一维信号、二维图像处理上的应用。 关键词：压缩感知；稀疏表示；观测矩阵；编码；解码 一、引言 Nyquist采样定理指出，采样速率达到信号带宽的两倍以上时，才能由采样信号精确重建原始信号。可见，带宽是Nyquist采样定理对采样的本质要求。然而随着人们对信息需求量的增加，携带信息的信号带宽越来越宽，以此为基础的信号处理框架要求的采样速率和处理速度也越来越高。解决这些压力常见的方案是信号压缩。但是，信号压缩实际上是一种资源浪费，因为大量的不重要的或者只是冗余信息在压缩过程中被丢弃。从这个意义而言，我们得到以下结论：带宽不能本质地表达信号的信息，基于信号带宽的Nyquist采样机制是冗余的或者说 是非信息的。 于是很自然地引出一个问题：能否利用其它变换空间描述信号，建立新的信号描述和处理的理论框架，使得在保证信息不损失的情况下，用远低于Nyquist 采样定理要求的速率采样信号，同时又可以完全恢复信号。与信号带宽相比，稀疏性能够直观地而且相对本质地表达信号的信息。事实上，稀疏性在现代信号处理领域起着至关重要的作用。近年来基于信号稀疏性提出一种称为压缩感知或压缩采样的新兴采样理论，成功实现了信号的同时采样与压缩。 简单地说，压缩感知理论指出：只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息。在该理论框架 下，采样速率不再取决于信号的带宽，而在很大程度上取决于两个基本准则：稀疏性

压缩感知原理

压缩感知原理 1压缩感知引论 传统方式下的信号处理，是按照奈奎斯特采样定理对信号进行采样，得到大量的采样数据，需要先获取整个信号再进行压缩，其压缩过程如图2.1。 图2.1 传统的信号压缩过程 在此过程中，大部分采样数据将会被抛弃，即高速采样后再压缩的过程浪费了大量的采样资源，这就极大地增加了存储和传输的代价。 由于带宽的限制，许多信号只包含少量的重要频率的信息。所以大部分信号是稀疏的或是可压缩的，对于这种类型的信号，既然传统方法采样的多数数据会被抛弃，那么，为什么还要获取全部数据而不直接获取需要保留的数据呢？Candes和Donoho等人于2004年提出了压缩感知理论。该理论可以理解为将模拟数据节约地转换成压缩数字形式，避免了资源的浪费。即，在采样信号的同时就对数据进行适当的压缩，相当于在采样过程中寻找最少的系数来表示信号，并能用适当的重构算法从压缩数据中恢复出原始信号。压缩感知的主要目标是从少量的非适应线性测量中精确有效地重构信号。核心概念在于试图从原理上降低对一个信号进行测量的成本。压缩感知包含了许多重要的数学理论，具有广泛的应用前景，最近几年引起广泛的关注，得到了蓬勃的发展。 2压缩感知原理 压缩感知，也被称为压缩传感或压缩采样，是一种利用稀疏的或可压缩的信号进行信号重构的技术。或者可以说是信号在采样的同时被压缩，从而在很大程度上降低了采样率。压缩感知跳过了采集N个样本这一步骤，直接获得压缩的信号的表示。CS理论利用到了许多自然信号在特定的基 上具有紧凑的表示。即这些信号是“稀疏”的或“可压缩”的。由于这一特性，压缩感知理论的信号编解码框架和传统的压缩过程大不一样，主要包括信号的稀疏表示、编码测量和重构算法等三个方面。