文件名称:
Information Theory, Inference, and Learning Algorithms
开发工具:
文件大小: 11mb
下载次数: 0
上传时间: 2011-10-14
详细说明： 本书为剑桥大学的David J.C.MacKay写的一本关于信息论的书籍，被多所大学推荐为机器学习课程的辅助书籍，写的非常好。 Contents Preface . . . . . . . . . . . . . . . . . . . . . . . v 1 Introduction to Information Theory . . . . . . . 3 2 Probability, Entropy, and Inference . . . . . . . 22 3 More about Inference . . . . . . . . . . . . . . 48 I Data Compression . . . . . . . . . . . . . . . . 65 4 The Source Coding Theorem . . . . . . . . . . . 67 5 Symbol Codes . . . . . . . . . . . . . . . . . 91 6 Stream Codes .. . . . . . . . . . . . . . . . . . . 110 7 Codes for Integers . . . . . . . . . . . . . . . . 132 II Noisy-Channel Coding . . . . . . . . . . . . 137 8 Dependent Random Variables . . . . . . . . . . . . 138 9 Communication over a Noisy Channel .. . . . . . . . 146 10 The Noisy-Channel Coding Theorem .. . . . . . . . 162 11 Error-Correcting Codes and Real Channels . . . . . 177 III Further Topics in Information Theory . . . . . . . . . . . . . 191 12 Hash Codes: Codes for Ecient Information Retrieval . . 193 13 Binary Codes . . . . . . . . . . . . . . . . . . . . . 206 14 Very Good Linear Codes Exist . . . . . . . .. . . . . . 229 15 Further Exercises on Information Theory . . . . . . . 233 16 Message Passing . . . . . . . . . . . . . . . . . . . 241 17 Communication over Constrained Noiseless Channels . . . 248 18 Crosswords and Codebreaking . . . . . . . . . . . 260 19 Why have Sex? Information Acquisition and Evolution . . 269 IV Probabilities and Inference . . . . . . . . . . . . 281 20 An Example Inference Task: Clustering . . . . . . . . 284 21 Exact Inference by Complete Enumeration . . . . . 293 22 Maximum Likelihood and Clustering . . . . . .. . . . 300 23 Useful Probability Distributions . . . . . . . . . . . 311 24 Exact Marginalization . . . . . . . .. . . . . . . . . 319 25 Exact Marginalization in Trellises . . . . . . . . . . 324 26 Exact Marginalization in Graphs . . . . . . . . . . . 334 27 Laplace's Method . . . . . . . . . . . . . . . . . . . 341 28 Model Comparison and Occam's Razor . . . . . . . . 343 29 Monte Carlo Methods . . . . . . . . . . . . . . . . 357 30 Ecient Monte Carlo Methods . . . . . . . . . . . . 387 31 Ising Models . . . . . . . . . . . . . . . . . . . . . 400 32 Exact Monte Carlo Sampling . . . . . . . . . . 413 33 Variational Methods . . . . . . . . . . . . . . . . 422 34 Independent Component Analysis and Latent Variable Modelling. . . . . . . . . . . . . 437 35 Random Inference Topics . . . . . . . . . . . . . 445 36 Decision Theory . . . . . . . . . . . . . . . . 451 37 Bayesian Inference and Sampling Theory .. . . . . 457 V Neural networks . . . . .. . . . . . . . . . . . . 467 38 Introduction to Neural Networks . . . . . . . . . 468 39 The Single Neuron as a Classier . . . . . . . . . . 471 40 Capacity of a Single Neuron . . . . . . . . . . . 483 41 Learning as Inference . . . . . . . . . . 492 42 Hopeld Networks . . . . . . . . . . . . . . . 505 43 Boltzmann Machines . . . . . . . . . . . . . . . . 522 44 Supervised Learning in Multilayer Networks . . . . 527 45 Gaussian Processes . . . . . . . . . . . . . . . 535 46 Deconvolution . . . . . . . . . . . . . . . . . 549 VI Sparse Graph Codes . . .. . . . . . . . . . . . 555 47 Low-Density Parity-Check Codes . . . . . . . 557 48 Convolutional Codes and Turbo Codes . . . . . . 574 49 Repeat{Accumulate Codes . . . . . . . . . . . 582 50 Digital Fountain Codes . . . . . . . . . . . . 589 VII Appendices .. . . . . . . . . . . . . . . 597 A Notation . . . . . . . . . . . . . . . . . . 598 B Some Physics . . . . . . . . . . . . . . . . . . . 601 C Some Mathematics . . . . . . . . . . . . . . . . . . 605 Bibliography . . . . . . . . . . . . . . . . . . . . . 613 ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
