подходы к измерению информации

• вероятностный (разновидность содержательного)

  • I — количество информации;
    N — количество возможных событий;
    pi — вероятность i-го события

  •  I = −∑i=1Npi⋅log2pi

• алфавитный

  • информация-последовательность символов из некоторого алфавита

    • Главная идея алфавитного подхода — количественно оценить информацию через комбинации символов, которые могут быть составлены из данного алфавита. 

      • любая информация-последовательность символов из алфавита 

      • чем больше размер алфавита, тем больше можно составить сообщений

      • Количество информации рассчитывается через логарифм числа возможных сообщений с основанием, равным размеру алфавита.

      • применятся к различным видам информации

• содержательный

  •  Чем больше неопределённость знания в начале, тем больше информации несёт сообщение, которое снимает неопределённость

  • Сообщение, которое информирует об исходе события, снимает неопределённость знания человека об этом событии. 

  • 2i=N

    • N - число событий 

    • i - количество информации