。

markdown版本已归档至【Github仓库#xff1a;information-***ory】#xff0c;需要的朋友们自取。

或者公众号【AIShareLab】回复

信息论

文章信源分类按照信源输出的信号取值分类按照信源输出信号(符号间)的依赖关系信源数学模型离散信源连续信源单符号离散无记忆信源(DMS,

Discrete

source)单个连续变量信源多维离散无记忆信源离散无记忆信源的扩展源信源分类

1.连续模拟信源:

在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的是随机的所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度——概率空间来描述信源

用随机变量或随机矢量来表示信源用概率论和随机过程的理论来研究信息

离散信源

用离散随机变量X表示单符号离散信源一个符号表示一完整消息符号取值可列)X的可能取值为信源发出的各种不同符号X的概率分布为各符号的先验概率。

例信源

P(x1),P(x2),…,P(xn)P\left(x_{1}\right),

P\left(x_{2}\right),

P\left(x_{n}\right)P(x1​),P(x2​),…,P(xn​)

ΣiP(xi)1\Sigma_{i}

信源的取值为无穷不可数的连续值,其概率分布用概率密度函数p(x)表示且

∫−∞∞p(x)dx1\int_{-\infty}^{\infty}

p(x)

A{x1,…,xn}\mathbf{A}\{\mathbf{x}_{1},

\ldots,

\mathbf{x}_{\mathrm{n}}\}A{x1​,…,xn​}

信源在离散时间发出单个符号,

[XP][x1⋯xnp(x1)⋯p(xn)]p(xi)≥0,∑i1np(xi)1\begin{array}{l}

\end{array}\right]\left[\begin{array}{ccc}

x_{1}

[XP​][x1​p(x1​)​⋯⋯​xn​p(xn​)​]p(xi​)≥0,∑i1n​p(xi​)1​

p(xi)p\left(x_{\mathrm{i}}\right)p(xi​)

成为符号

[XP][01pq]\left[\begin{array}{l}

\end{array}\right]\left[\begin{array}{ll}

\end{array}\right][XP​][0p​1q​]

单个连续变量信源

[XP][x∈(a,b)p(x)],∫abp(x)dx1\left[\begin{array}{l}

\end{array}\right]\left[\begin{array}{c}

\in(a,

x1[XP​][x∈(a,b)p(x)​],∫ab​p(x)dx1其中

p(x)≥0p(x)

Xi(i1,2,…,L)X_{i}(\boldsymbol{i}1,2,

\ldots,

X_{\mathrm{i}}X[X1​X2​…XL​],Xi​

x∈(a1,a2,…an,)x

PX(x)P(x1x2…xL)P_{X}(x)P\left(x_{1}

x_{2}

x_{L}\right)PX​(x)P(x1​x2​…xL​)

L\boldsymbol{L}L

(XLP(x))((a1a1…a1)…(a1a2…am)…(anan…an)P(a1a1…a1)…P(a1a2…am)…P(anan…an))\begin{array}{l}

X^{L}

(XLP(x)​)((a1​a1​…a1​)P(a1​a1​…a1​)​……​(a1​a2…​am​)P(a1​a2…​am​)​……​(an​an​…an​)P(an​an​…an​)​)​

其中离散消息序列长度为

P(X)∏i1LP(Xixj),j1,2,…,nP(X)\prod_{i1}^{L}

P\left(X_{i}x_{\boldsymbol{j}}\right),

\boldsymbol{j}1,2,

维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。

这种信源为离散无记忆信源。

设信源为

XN[X1X2…XN],(\mathbf{X}^{N}\left[X_{1}

X_{2}

\quad\left(\right.XN[X1​X2​…XN​],(

X\mathbf{X}X

[XP][01pq]\left[\begin{array}{l}

\end{array}\right]\left[\begin{array}{ll}

\end{array}\right][XP​][0p​1q​]

其二次扩展信源为

[X2p(α)][α1(00)α2(01)α3(10)α4(11)p(α1)p(α2)p(α3)p(α4)]p(α1)p2,p(α2)p(1−p)p(α3)p(α4)(1−p)2\left[\begin{array}{l}X^{2}

p(\alpha)\end{array}\right]\left[\begin{array}{llll}\alpha_{1}(00)

\alpha_{2}(01)

p\left(\alpha_{4}\right)\end{array}\right]

p\left(\alpha_{2}\right)p(1-p)p\left(\alpha_{3}\right)

p\left(\alpha_{4}\right)(1-p)^{2}[X2p(α)​][α1​(00)p(α1​)​α2​(01)p(α2​)​α3​(10)p(α3​)​α4​(11)p(α4​)​]p(α1​)p2,p(α2​)p(1−p)p(α3​)p(α4​)(1−p)2

N\mathbf{N}N

次扩展信源记为XN,XN[X1X2…XN]\mathbf{X}^{N}

X_{2}

(XNP)(a1⋯aMp(a1)⋯p(aM))\left(\begin{array}{c}

\mathbf{X}^{N}

\end{array}\right)\left(\begin{array}{ccc}

a_{1}

(XNP​)(a1​p(a1​)​⋯⋯​aM​p(aM​)​)

XiX_{i}Xi​

AN{a1,…,aN},ajA^{N}\{\boldsymbol{a}_{1},

\ldots,

\boldsymbol{a}_{j}AN{a1​,…,aN},aj​

aj∈ANa_{j}

矢量的个数为nNn^{N}nN,aj(aj1aj2,…,,ajN)\boldsymbol{a}_{\boldsymbol{j}}\left(a_{j_{1}}

a_{j_{2},

N}\right)aj​(aj1​​aj2​,…,​,ajN​),ajka_{j

k}ajk​

p(aj)∏k1Npjkp\left(\boldsymbol{a}_{j}\right)\prod_{k1}^{N}

p_{j

ajk\boldsymbol{a}_{\mathrm{jk}}ajk​

参考文献