相互情報量
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/10/14 01:02 UTC 版)
| 情報理論 |
|---|
| 情報量 |
| 通信路 |
| 単位 |
| その他 |
|
| |
相互情報量（そうごじょうほうりょう、英: mutual information）または伝達情報量（でんたつじょうほうりょう、英: transinformation）は、確率論および情報理論において、2つの確率変数の相互依存の尺度を表す量である。最も典型的な相互情報量の物理単位はビットであり、2 を底とする対数が使われることが多い。
定義
形式的には、2つの離散確率変数
出典は列挙するだけでなく、脚注などを用いてどの記述の情報源であるかを明記してください。
- Cilibrasi, R.; Paul Vitányi (2005). “Clustering by compression” (PDF). IEEE Transactions on Information Theory 51 (4): 1523-1545.
- Coombs, C. H., Dawes, R. M. & Tversky, A. (1970), Mathematical Psychology: An Elementary Introduction, Prentice-Hall, Englewood Cliffs, NJ.
- Cronbach L. J. (1954). On the non-rational application of information measures in psychology, in H Quastler, ed., Information Theory in Psychology: Problems and Methods, Free Press, Glencoe, Illinois, pp. 14—30.
- Kenneth Ward Church and Patrick Hanks. Word association norms, mutual information, and lexicography, Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics, 1989.
- Guiasu, Silviu (1977), Information Theory with Applications, McGraw-Hill, New York.
- Li, Ming; Paul Vitányi (February 1997). An introduction to Kolmogorov complexity and its applications. New York: Springer-Verlag. ISBN 0387948686
- Lockhead G. R. (1970). Identification and the form of multidimensional discrimination space, Journal of Experimental Psychology 85(1), 1-10.
- Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
- Press, W. H., Flannery, B. P., Teukolsky, S. A. & Vetterling, W. T. (1988), Numerical Recipes in C: The Art of Scientific Computing, Cambridge University Press, Cambridge.
- Strehl, Alexander; Joydeep Ghosh (2002). “Cluster ensembles -- a knowledge reuse framework for combining multiple partitions” (PDF). Journal of Machine Learning Research 3: 583-617.
- Witten, Ian H. & Frank, Eibe (2005), Data Mining: Practical Machine Learning Tools and Techniques, Morgan Kaufmann, Amsterdam.
- Yao, Y. Y. (2003) Information-theoretic measures for knowledge discovery and data mining, in Entropy Measures, Maximum Entropy Principle and Emerging Applications , Karmeshu (ed.), Springer, pp. 115-136.
- Peng, H.C., Long, F., and Ding, C., "Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 8, pp.1226-1238, 2005. Program
外部リンク
- 『相互情報量の意味とエントロピーとの関係』 - 高校数学の美しい物語
- Mutual Information - スカラーペディア百科事典「相互情報量」の項目。
- 相互情報量のページへのリンク