前言信息論是一門以近代數(shù)理統(tǒng)計(jì)方法為工具研究信息的傳輸、存儲(chǔ)與處理的交叉學(xué)科。第一章緒論作為全書開篇沒有復(fù)雜的公式推導(dǎo)主要介紹信息論的發(fā)展歷史、信息的本質(zhì)定義、完整的通信系統(tǒng)模型區(qū)分消息、信息、信號(hào)三者概念理解信息論的研究對(duì)象與研究意義為后續(xù)學(xué)習(xí)自信息、熵、信源編碼、信道編碼奠定基礎(chǔ)。一.信息論的誕生與發(fā)展1948年香農(nóng)在《Bell System Technical Journal》發(fā)表劃時(shí)代論文《通信的數(shù)學(xué)理論》宣告信息論正式誕生。1949年香農(nóng)又發(fā)表《噪聲下的通信》。這兩篇論文闡明了通信的基本問題建立通信系統(tǒng)模型給出信息量的數(shù)學(xué)表達(dá)式解決信道容量、信源統(tǒng)計(jì)特性、信源編碼、信道編碼等一系列基礎(chǔ)問題成為信息論的奠基著作。信息論是通信的數(shù)學(xué)理論應(yīng)用近代數(shù)理統(tǒng)計(jì)方法研究信息的傳輸、存儲(chǔ)與處理它是隨著通信技術(shù)的發(fā)展而形成和發(fā)展起來的一門新興的交叉學(xué)科。《通信的數(shù)學(xué)理論》第一次提出了信息熵的概念。信息是信息論中最基本和最重要的概念同時(shí)也是一個(gè)既復(fù)雜又抽象的概念。在香農(nóng)建立完整信息論體系之前不少學(xué)者已經(jīng)為該領(lǐng)域做出重要鋪墊1.奈奎斯特1924年開始研究電報(bào)信號(hào)傳輸中脈沖速率與信道帶寬之間的關(guān)系1928年發(fā)表論文建立限帶信號(hào)的采樣定理為信號(hào)傳輸?shù)於ɡ碚摶A(chǔ)。2.哈特萊首次提出消息是符號(hào)而不是內(nèi)容把消息和信息兩個(gè)概念區(qū)分開來。并且率先提出使用對(duì)數(shù)函數(shù)來度量信息的多少認(rèn)為消息所含信息量等于消息取值個(gè)數(shù)的對(duì)數(shù)。3.阿姆斯特朗提出增大寬帶可以加強(qiáng)通信系統(tǒng)的抗干擾能力。香農(nóng)在前人研究的基礎(chǔ)上創(chuàng)造性引入概率論來分析通信問題。為了解決噪聲信道下有效傳輸信息的難題香農(nóng)對(duì)信息給出科學(xué)的定量描述第一次提出信息熵的概念。香農(nóng)在前人研究的基礎(chǔ)上創(chuàng)造性引入概率論來分析通信問題。為了解決噪聲信道下有效傳輸信息的難題香農(nóng)對(duì)信息給出科學(xué)的定量描述第一次提出信息熵的概念。香農(nóng)信息定義信息是對(duì)事物運(yùn)動(dòng)狀態(tài)或者存在方式的不確定性的描述。通信的根本目的就是消除或者部分消除接收端的不確定性。如果一件事件是確定會(huì)發(fā)生的那么它不包含任何信息事件發(fā)生的不確定性越大該事件所攜帶的信息量就越大。舉個(gè)簡(jiǎn)單例子拋擲一枚硬幣正反面結(jié)果不確定我們收到拋擲結(jié)果就獲得信息如果是一個(gè)必然發(fā)生的事件比如太陽東升這個(gè)事件幾乎不存在不確定性因此幾乎不攜帶信息。二、信息、消息、信號(hào)的聯(lián)系與區(qū)別在日常生活中人們經(jīng)?；煜⒑托畔⒄J(rèn)為收到消息就等于獲得信息。但在信息論中三者是完全不同的概念圖片知識(shí)概括1.消息信息的載體是信源輸出的具體內(nèi)容。可以是文字、語音、圖畫、歌曲、視頻等。消息可以被傳遞、交換消息本身不等于信息。2.信息消息中蘊(yùn)含的抽象內(nèi)容作用是消除接收者的不確定性是通信真正要傳遞的對(duì)象。3.信號(hào)消息的物理表現(xiàn)形式是在信道當(dāng)中實(shí)際傳輸?shù)奈锢聿ㄐ伪热珉娦盘?hào)、光信號(hào)。將這三個(gè)的聯(lián)系與區(qū)別匯成一個(gè)表格或圖片使讀者能夠很好的了解。消息、信息與信號(hào)的關(guān)系消息是載體信息是內(nèi)容信號(hào)是物理表現(xiàn)。三.通信系統(tǒng)模型?????1.信源信息的來源稱為信源可以是人機(jī)器或者其他事物。雖然信源是信息來源但是信源本身不會(huì)直接輸出信息信源輸出的是信息的載體 —— 消息。消息有很多表現(xiàn)形式比如一段文字、一幅圖畫、一首歌、一段視頻文字、符號(hào)、語言、圖片、圖像、音頻、視頻全部都屬于消息類型。消息攜帶信息消息是信息的載體信源輸出的消息具備隨機(jī)性、不確定性但是消息有確定的統(tǒng)計(jì)規(guī)律所以一般可以用隨機(jī)變量、隨機(jī)矢量去描述信源。2.編譯器編碼器將信息變?yōu)榉?hào)或者對(duì)應(yīng)的符號(hào)序列目的是提高傳輸有效性。3.調(diào)制器調(diào)制器負(fù)責(zé)將編碼器輸出的符號(hào)轉(zhuǎn)換為適合信道傳輸?shù)男盘?hào)目的是提高傳輸效率使遠(yuǎn)距離傳輸成為可能。4.信道信道是信息傳輸?shù)耐ǖ朗加谡{(diào)制器終于解調(diào)器它是包括收發(fā)設(shè)備在內(nèi)的物理設(shè)施。信道最明顯特點(diǎn)信道普遍存在噪聲與干擾。為簡(jiǎn)化系統(tǒng)分析工程上會(huì)做等效處理把系統(tǒng)其他位置產(chǎn)生的干擾全部等效集中放到信道里面統(tǒng)一稱為高斯白噪聲只單獨(dú)分析信道里面噪聲降低模型復(fù)雜度。5.解調(diào)器解調(diào)器用于信息的接收端負(fù)責(zé)將信道輸出信號(hào)轉(zhuǎn)換為符號(hào)是調(diào)制器的逆變換。調(diào)制 ? 解調(diào)是一對(duì)互逆操作6.譯碼器譯碼器位于信息的接收端是編碼器的逆變換。編碼 ? 譯碼是一對(duì)互逆操作7.信宿信宿是信息的接收者及接收消息的人或物。四.本章課后習(xí)題簡(jiǎn)述信息的概念和特點(diǎn)。?2. 說明信息、消息及信號(hào)之間的聯(lián)系與區(qū)別五.知識(shí)概括六.第一章緒論小結(jié)第一章緒論是信息論的入門章節(jié)幫助我們搭建起這門課程的整體框架。信息論是以數(shù)理統(tǒng)計(jì)為基礎(chǔ)研究信息傳輸、存儲(chǔ)與處理的交叉學(xué)科1948年香農(nóng)發(fā)表《通信的數(shù)學(xué)理論》標(biāo)志著信息論正式誕生香農(nóng)也從概率、不確定性角度給出了信息的科學(xué)定義。本章需要重點(diǎn)區(qū)分信息和消息信源輸出的是消息消息作為載體可以是文字、圖像、音頻、視頻等形式而信息是隱藏在消息之中用來消除事物不確定性的抽象內(nèi)容。信源發(fā)出的消息具有隨機(jī)性但存在統(tǒng)計(jì)規(guī)律因此可以利用隨機(jī)變量、隨機(jī)矢量對(duì)信源進(jìn)行數(shù)學(xué)建模為后續(xù)定量計(jì)算信息量做好鋪墊。 本章核心是香農(nóng)通信系統(tǒng)七模塊模型香農(nóng)將各類狹義、廣義通信統(tǒng)一抽象為信源、編碼器、調(diào)制器、信道、解調(diào)器、譯碼器、信宿七個(gè)部分。發(fā)送端完成消息編碼與調(diào)制送入信道信道傳輸時(shí)會(huì)疊加噪聲接收端通過解調(diào)、譯碼還原消息交付給信宿編碼與譯碼、調(diào)制與解調(diào)分別構(gòu)成兩組互逆操作。不同編碼有著不同目標(biāo)信源編碼追求有效性信道編碼追求可靠性加密編碼追求安全性其中有效性和可靠性是通信中的一對(duì)核心矛盾。 緒論以定性介紹為主主要建立概念認(rèn)知后面章節(jié)將會(huì)在此基礎(chǔ)上引入數(shù)學(xué)公式完成從定性理解走向定量分析。