190

Средства анализа данных

Лабораторная работа

Информатика, кибернетика и программирование

Формирование в блокноте осмысленной информации, использование программных возможностей WinHex. Обработка данных в программном пакете Математика и проверка суммы вероятностей элементов списка. Расчет величины информационной энтропии.

Русский

2012-11-14

803 KB

11 чел.

Московский Энергетический Институт

(Технический Университет)

Отчет: Лабораторная работа №1

«Средства анализа данных»

Выполнил: Васильев Василий

Проверил: Рытов А.А.

Москва

2011

  1.  Сформировать в «Блокноте» осмысленный текст на русском языке из N=30 букв, содержащий только строчные буквы и пробелы. Сохранить в виде текстового (*.txt) файла.

формировал

  1.  Запусить WinHex , открыть созданный файл, и с помощью программы PrintKеy зафиксировать полученный результат (полный экран).

  1.  
    В меню Инструменты выбрать опцию Analise File  и получить на экране распределение символов, содержащихся в выбранном файле. Зафиксировать (на произвольном носителе) те буквы и их количество , вероятность появления которых в выбранном тексте выше 0.05 (5%), например :   E0h  а    0.0795    96.

  1.  Запустить пакет "Математика" и создать список полученных в предыдущем пункте букв и их частот появления в виде: ch0 = {{"а",   0.0795}, {"е", 0.0902}, {"и", 0.0637}, {"н", 0.0604}, {"о", 0.0762}, {"р", 0.0513}, {"т", 0.613}, {" ", 0.1358}}

Сделал

  1.  Нажав комбинацию клавиш Shift+Enter проверить правильность ввода (в дальнейшем любой запуск на выполнение операций сопровождается этой командой).

Все верно


  1.  Подключить блок статистической обработки  Needs["StatisticalPlots`"] и построить диаграмму Парето для введенного списка  ParetoPlot[ch0].

  1.  Вычислить длину списка (вектора) Length[ch0].

  1.  Проверить сумму вероятностей элементов списка используя две операции: сначала создать список состоящий только из значений вероятности p0=ch0[[All,2]], а затем подсчитать сумму вероятностей summch0=Sum[p0[[i]],{i, Length[ch0]}] .

  1.  Ввести список наиболее вероятных частот букв русского алфавита  в виде alfru={{"а",0.062},……..}. Возможно использование файла alfru.doc.  

  1.  Сформировать вектор частот  pa=alfru[[All,2]], определить длину списка na=Length[pa] и проверить сумму вероятностей summp=Sum[pa[[i]],{i,na}].

11. Рассчитать величину информационной энтропии H (энтропию языка):

                                               

entropyalfru=N[-Sum[pa[[i]]*Log[2,pa[[i]]],{i,na}]].

    12. Построить диаграмму Парето для наиболее вероятного распределения букв русского языка в тексте.

    13. Аналогично п.1 задания сформировать текстовый файл, содержащий 1500 строчных букв (и пробелов) русского алфавита.

Сформировал

    14. С помощью команды v1= ReadList["file",Byte,30] создать список  данных  v1, соответсвующий сформированному текстовому файлу, где file - это полный путь к файлу, который можно ввести с помощью команд меню Insert\ File Path, 30 –число вводимых символов на первом этапе.

   15. Построить гистограммы распределения букв (символов),используя команды Histogram[v1], Histogram[v1,{200,255,1}].

  


16. Установить параметр n2=60 и вести новый список данных v2=ReadList["file1500",Byte,n2], где file1500 –условное имя файла из п.13.

   17. Определить число символов, соответствующих буквам русского языка в векторе v2:              freq2=Tally[v2].

   18. Создать список частот для введенных  n2=60 символов текста:

            p2=N[freq2[[All,2]/Length[v2]], где N[ ] – преобразование к действительной форме представления чисел.

    19. Определить длину списка p2, сумму вероятностей, и информационную энтропию.

 


 20. Подготовить список для записи энтропии 120 последовательно увеличивающихся сегментов подготовленного текста entropytextout=Range[120].

    21. Используя оператор Do[expr, {j,jmax}], построить вектор значений энтропии сегментов текста, увеличивающихся каждый раз на 10 символов:

Do[{n2=10*j;

v2=ReadList["file",Byte,n2]; freq2=Tally[v2];

p2=N[freq2[[All,2]]/Length[v2]];np2=Length[p2]};

entropytextout[[j]]=N[-Sum[p2[[i]]*Log[2,p2[[i]]],{i,np2}]],{j,120}]

  22. Построить  точечный график зависимости энтропии сообщения от его длины:          ListPlot[entropytextout]


          23. Построить гистограмму распределения рассчитанных значений энтропии.

  24. Определить среднее значение Mean[entropytextout] и дисперсию  Variance[entropytextout].


  25. Используя команду Drop [list, n]- возвращает список list, из которого удалены первые n элементов: - удалить из распределения явные выбросы (значения лежащие вне диапазона Mean[entropytextout] Variance[entropytextout]) и вновь построить гистограмму распределения, рассчитать среднее значение и дисперсию энтропии.


 

А также другие работы, которые могут Вас заинтересовать

33501. Позбавлення волі на певний строк 29 KB
  Позбавлення волі є основним покаранням і застосовується за вчинення злочинів що становлять значну тяжкість коли виходячи із характеру і ступеня їх суспільної небезпечності і з урахуванням особи винного необхідна його ізоляція від суспільства. Позбавлення волі пов'язане з істотними правообмеженнями для засудженого. На засудженого до позбавлення волі справляється певний вплив: він перебуває в умовах відповідного режиму залучається до праці а у разі необхідності до професійного і загальноосвітнього навчання з ним ведеться систематична...
33502. Поняття кримінального закону, його джерела 34 KB
  Кримінальний закон в найбільш широкому розумінні – це система законодавчих актів України та імплементованих у них положень міжнародних договорів що містять норми кримінального права. Кримінальний закон у більш вузькому розумінні – це законодавчий акт ВР України який містить одну кілька або систему взаємопов‘язаних і взаємоузгоджених кримінальноправових норм. Концептуальним джерелом яке містить норми прямої дії є Конституція України. Основним національним джерелом кримінального законодавства є КК України де сукупність...
33503. Склад злочину 38.5 KB
  Важливе значення складу злочину виявляється і в тому що він дозволяє провести поперше чітке розмежування між злочином і незлочинним суспільно небезпечним діянням; подруге відмежувати один злочин від будьякого іншого наприклад крадіжку від грабежу зловживання владою або службовим становищем від перевищення влади або службових повноважень.Елементи і ознаки складу злочину. У кожному складі злочину виділяють його елементи.
33504. Диспозиції 26 KB
  Для опису ознак складу конкретного злочину законодавець використовує один із 4х видів диспозицій: просту описову відсильну бланкетну. Проста диспозиція називає лише склад злочину і не розкриває його змісту ст. Описова диспозиція називає склад конкретного злочину і розкриває його зміст дає його визначення.
33505. Поняття та ознаки покарання за кримінальним законом України 32 KB
  50 КК покарання є заходом примусу що застосовується від імені держави за вироком суду до особи визнаної винною у вчиненні злочину і полягає в передбаченому законом обмеженні прав і свобод засудженого. І першою важливою ознакою покарання що визначає його соціальний зміст с визнання покарання заходом державного примусу що застосовується до осіб які вчинили злочинне посягання. Покарання примушує особу до законослухняної поведінки.
33506. Поняття, предмет кримінального права України 31.5 KB
  Кримінальне право як самостійна окрема галузь права має низку ознак як загальних для всіх галузей права так і специфічних тільки для неї. Норми кримінального права це узагальнені правила що охоплюють безліч відповідних життєвих ситуацій індивідуальних випадків. Таким чином кримінальне право як галузь права це система сукупність юридичних норм а по суті законів прийнятих Верховною Радою України що встановлюють які суспільна небезпечні діяння є злочинами і які покарання підлягають застосуванню до осіб що їх вчинили.
33507. Призначення покарання за сукупністю вироків 31 KB
  71 сукупність вироків має місце там де засуджений після постановлення вироку але до повного відбуття покарання вчинив повий злочин. Таким чином при сукупності вироків: а постановлений вирок яким особа засуджена до певної міри покарання; б це покарання ще цілком не відбуте засудженим; в новий злочин вчинений після постановлення вироку але до повного відбуття покарання. 71 якщо засуджений після постановлення вироку але до повного відбуття покарання вчинив новий злочин суд до покарання призначеного за новим вироком повністю або...
33509. Один день Ивана Денисовича 13.61 KB
  Рассказывается об одном дне из жизни заключённого русского крестьянина и солдата Ивана Денисовича Шухова в январе 1951 года. Один день Ивана Денисовича Солженицына привлекает художественным исследованием характера Ивана Шухова не через какоето исключительное событие лагерной жизни побег поединок со следователем смерть а через описание одного дня от подъема до отбоя. Давайте вглядимся в тот мир вещей что сложился вокруг Ивана Денисовича: белая тряпочка чтоб рот на морозе прикрывать ботинки валенки вязанка шапка ложка...