Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации

Как работают квантовые генераторы случайных бит

Случайные числа являются важнейшим ресурсом в большом числе практических приложений. Последовательности случайных чисел применяются в системах безопасности, криптографии (в том числе в квантовой криптографии), в научных исследованиях (статистике, моделировании различных систем и процессов), а также в играх. Генераторы случайных чисел (ГСЧ) можно формально разделить на две категории: псевдослучайные и аппаратные. Генерация псевдослучайных чисел основана на математических алгоритмах, позволяющих получать каждое последующее число путем математического преобразования предыдущего числа согласно заданному алгоритму. Однако, зная предыдущие числа и математический алгоритм, можно предсказать всю последовательность. В нашей компании мы разрабатываем квантовый генератор случайных чисел, основанный на флуктуациях вакуума.

https://habr.com/ru/companies/quanttelecom/articles/800453/

#генератор_случайных_чисел #квантовые_коммуникации #эффекты #преимущества #разработка #импульсы #алгоритмы #энтропия_шеннона #случайных #биты

Меры сложности: колмогоровская, вычислительная и эффективная сложность, логическая и термодинамическая глубина

Это продолжение статьи «Информация об информации» , где я показал, что информация – физическая величина, не имеющая ничего общего с духом, сознанием, «информационным полем» и другими эзотерическими понятиями. Но среди философов и мистиков бытует мнение, что физическая и метафизическая информация – не одно и то же. Дескать теория информации изучает только цифровые данные , а информация как таковая – это другое. Ведь об информации можно говорить только при наличии источника и приёмника информации, а значит, её объективно не существует без субъекта, который будет её воспринимать и интерпретировать. Кроме того, ни количество информации по Хартли, ни количество энтропии по Шеннону не позволяют оценить смысл сообщения. Но значит ли это, что смысл, глубину или сложность информации нельзя измерить количественно и объективно? Пожалуй, пришло время разобраться, что такое сложность, как её можно измерить, связана ли она с упорядоченностью системы и есть ли у неё объективные критерии. Также мы выясним, насколько наши сообщения универсальны и можно ли прочитать их вне биологического или культурного контекста.

https://habr.com/ru/articles/794376/

#колмогоровская_сложность #вычислительная_сложность #логическая_глубина #эволюция #значение #информация #энтропия_шеннона #интерпретатор

Информация об информации. Энтропия Шеннона, демон Максвелла и предел Ландауэра

Информация – одно из самых неоднозначных и неопределённых понятий в науке и философии. Для гуманитария это любые сведения, которые можно запомнить и передать в устной или письменной форме. Для математика это абстрактная сущность, сохраняющаяся при вычислительном изоморфизме. Для физика-теоретика это набор квантовых чисел, характеризующих состояние элементарной частицы. Для программиста это цифровые данные, которые можно представить в двоичном коде и измерить в битах. Для философа-материалиста это отражение многообразия окружающего мира с помощью знаков и сигналов. Для философа-идеалиста это нематериальная, неизмеримая и нелокальная сущность, что-то связанное с духом или сознанием. Для эзотериков это некая метафизическая субстанция или информационное поле. Что же такое информация на самом деле? В данной лекции я покажу, что информация – физическая, объективная, измеряемая величина, в которой нет ничего субъективного и мистического. Заодно мы разберёмся, что такое энтропия по Шеннону, насколько избыточен естественный язык, в чём заключается принцип Ландауэра и обладает ли информация массой.

https://habr.com/ru/articles/791130/

#информация #теория_информации #энтропия_шеннона #избыточность #принцип_ландауэра #демон_максвелла