87217

Система автоматизированного контроля знаний по общепрофессиональным дисциплинам

Научная статья

Информатика, кибернетика и программирование

Система автоматизированного контроля знаний по обще-профессиональным дисциплинам Кандидат технических наук доцент Орешин Н. Можно выделить следующие недостатки внедрения тестового контроля знаний: не в должной мере учитываются достижения в области педагогической квалиметрии; некоторые разработки носят механистический характер не побуждают обучающихся к самостоятельности; внедрение тестовых программ носят бессистемный характер. Однако опираясь при проектировании систем автоматизированного контроля знаний на научнообоснованные методики...

Русский

2015-04-17

42.5 KB

0 чел.


УДК [378:621.3]:004.38

Система автоматизированного контроля знаний по общепрофессиональным дисциплинам

Кандидат технических наук, доцент Орешин Н.А.

Панченко В.И.

Академия Спецсвязи России

Россия, г. Орел, Приборостроительная, 35, тел. 8+0862-41-99-48

E-mail: kind@orel.ru

The article is about the problems of training cadets of technical higher educational establishments in professional disciplines using information means specially worked out for this purpose. Automatized Knowledge Control System is considered one of such means. The authors pay attention to the process of projecting, evaluating and using the system of test controlling knowledge, skills and habits formed with trainees.

Обучение с применением информационных технологий становится нормой сегодняшнего дня. Однако использование обучающих и контролирующих программ сталкивается не столько с проблемами технического характера, сколько с неразработанностью дидактических и психолого-педагогических основ применения и эффективности новых форм обучения. Можно выделить следующие недостатки внедрения тестового контроля знаний: не в должной мере учитываются достижения в области педагогической квалиметрии; некоторые разработки носят механистический характер, не побуждают обучающихся к самостоятельности; внедрение тестовых программ носят бессистемный характер.

Сложность заключается в том, что измерение многих критериев качества обучения носит условно количественный характер и полная формализация таких критериев вряд ли возможна, поскольку при оценке интеллектуальной деятельности субъектов существуют не подверженные формализации аспекты. Однако, опираясь при проектировании систем автоматизированного контроля знаний на научно-обоснованные методики, процедуры и измерители, для разработки которых необходим системный научный подход и участие специалистов в области педагогических измерений, можно добиться повышения эффективности образовательного процесса в вузе.

Анализ педагогических источников показывает, что многие педагоги склоняются к следующим педагогическим требованиям по организации контроля учебной деятельности:

  1.  Индивидуальный характер, предполагающий осуществление контроля над работой каждого обучающегося.
  2.  Систематичность, регулярность проведения контроля на всех этапах процесса обучения, сочетание его с другими сторонами учебной деятельности.
  3.  Разнообразие форм проведения контроля, обеспечивающее выполнение обучающей, развивающей и воспитывающей его функций.
  4.  Всесторонность, заключающаяся в том, что контроль должен охватывать все разделы учебной программы, обеспечивать проверку теоретических знаний, интеллектуальных и практических умений и навыков обучающихся.
  5.  Объективность, исключающая субъективные и ошибочные оценочные суждения.
  6.  Единство требований педагогов, осуществляющих контроль обучающихся.
  7.  Мотивация познавательной деятельности и стимулирование честной конкуренции и заинтересованности обучающихся в повышении результативности обучения.
  8.  Возможность самоконтроля, самокоррекции и самооценки.

Вышеперечисленные требования были положены в основу разрабатываемой системы автоматизированного контроля знаний (САКЗ) информационной технологии обучения дисциплины «Электропитание устройств и систем телекоммуникаций». Она представляет собой компьютерную программу на основе наборов пачек тестов. По структуре САКЗ состоит из входного контроля (входное тестирование), текущего контроля по изучаемым темам дисциплины (тестирование по темам) и подготовке к лабораторным работам (тестирование по лабораторным работам), а также выходного контроля по всему материалу дисциплины (итоговое тестирование) [1].

Проектирование САКЗ осуществлялось по следующей схеме: определение целей теста; отбор содержания; выбор форм и составление тестовых заданий; разработка компьютерной программы; апробация теста на репрезентативной выборке испытуемых; оценка теста на валидность, надежность, дифференцирующую способность и привлекательность дистракторов; распределение тестовых заданий по уровням трудности; разработка шкалы измерений на основе качественных соображений и статистической обработки результатов.

Включение в САКЗ входного контроля преследует цель определения остаточных базовых знаний курсантов по обеспечивающим дисциплинам и коррекции лекционного курса преподаваемой дисциплины при незначительных пробелах обучающихся или введение коррекционного курса при глубоких пробелах знаний обучающихся (формирование курсантами индивидуальной самостоятельной работы по устранению пробелов в знаниях). Мы полагаем, что разработку входного контроля целесообразно проводить в следующей последовательности:

  1.  на этапе отбора и структурирования содержания дисциплины определить межпредметные связи и требования к обеспечиваемым дисциплинам по уровню обученности курсантов;
  2.  разработать и согласовать тесты со старшими преподавателями обеспечиваемых дисциплин;
  3.  апробировать и провести оценку тестов;
  4.  после проведения и анализа входного тестирования довести его результаты преподавателям обеспечиваемых дисциплин для использования этой информации при коррекции их технологий обучения.

Текущий контроль обеспечивает возможности мониторинга усвоения знаний, умений и навыков обучающихся по отдельным темам дисциплины, а также развития их интеллектуальных способностей. Кроме этого решает вопросы оперативного контроля подготовки курсантов к лабораторным работам с учетом специфики выполняемой работы на лабораторной установке.

Итоговое тестирование позволяет обучающимся осуществлять самоконтроль подготовки к выпускному экзамену по дисциплине.

Тестовое задание должно отвечать целому ряду требований. Оно должно иметь четкую форму, отличаться предметной чистотой содержания, быть логически правильным, технологичным, иметь известную трудность и коррелироваться с критерием [2].

Разработка тестовых заданий была направлена на проверку усвоения теоретических основ курса, умения оперировать основными понятиями, проводить сравнительный анализ, давать оценку схемотехнических устройств источников электроснабжения и вторичного электропитания, выбирать режимы исследования устройств электропитания, анализировать причины неисправностей электроагрегатов, электростанций и внутристанционных блоков электропитания, определять направления протекания процесса под действием заданного возмущения.

В соответствии с целями САКЗ был принят критериально-ориентированный подход, который применяется для решения следующих задач:

  1.  оценка доли учебного материала, усвоенной обучающимися;
  2.  сопоставление с требуемым стандартом образования учебных достижений отдельных курсантов и учебных групп;
  3.  аттестация учебных заведений на основании сопоставления знаний их учащихся с требуемым стандартом;
  4.  выбор стратегии дальнейшего обучения.

В основу разработки тестовых заданий нами были положены следующие принципы:

  1.  обеспечение безусловного соответствия между уровнем запланированных целей обучения и содержанием теста;
  2.  использование многоуровневых тестов в соответствии с требованиями уровня обученности курсантов (по шкале В.П. Беспалько I – узнавание, II – воспроизведение, III – умения и навыки);
  3.  устранение взаимосвязанных заданий, содержание которых может служить подсказкой для одного из них;
  4.  использование формулировок, вскрывающих причинно-следственные связи;
  5.  усиление выразительности заданий использованием графиков и чертежей (в будущем планируется использование звука и видеозаписей).

Для составления тестовых заданий использовались следующие формы:

  1.  Задания закрытой формы, т. е. на выбор правильных вариантов из списка предложенных. При этом предлагается одиночный или множественный выбор. Задание может быть представлено в текстовой или графической форме (графики функций, векторные диаграммы, фрагменты электрических схем). Наиболее распространенным способом построения альтернативных вопросов с множественным выбором является обобщение объектов по некоторому признаку;
  2.  Задания открытой формы, т. е. такие задания в которых обучающийся сам дает ответ. Как правило, это ключевое слово или фраза, дописываемое в утверждении, превращая его в ложное или истинное.
  3.  Задания на соответствие, в которых элементам одного множества требуется сопоставить элементы другого множества, причем число элементов во втором множестве на 20-30 % превышает число элементов первого множества. Это обеспечивает курсанту широкое поле для поиска правильного ответа.
  4.  Задания на установление правильной последовательности, в которых курсант указывает с помощью нумерации операций, действий или вычислений требуемую заданием последовательность.

Формулирование тестовых заданий процесс довольно сложный и трудоемкий. С целью сокращения затрат времени В. С. Алешин и А.Н. Швецов предлагают следующие основные методы автоматической генерации вопросительных предложений из текстов учебных пособий: удаление из текста предложения цифровых данных, с дальнейшим предложением их воспроизвести; выборка из текста предложения ряда чередующихся сведений с предложением повторить их последовательность; удаление сокращенных обозначений с дальнейшим предложением их воспроизвести; модификация текста предложения с изменением смысла на противоположный введением или удалением частиц при модальных глаголах или заменой типичных свойств – имен прилагательных их антонимами с дальнейшим предложением пользователю опровергнуть или подтвердить полученное высказывание [3].

На наш взгляд для реализации выше рассмотренных принципов разработки тестовых заданий и самого процесса применения САКЗ компьютерная программа должна обладать следующими возможностями:

  1.  простотой заполнения базы тестовых заданий и внесения изменений в эту базу;
  2.  свободой в создании пачек тестовых заданий с требуемым (различным) числом вопросов в каждой пачке;
  3.  возможностью присвоения каждому вопросу определенного коэффициента трудности, который можно автоматически использовать при выставлении отметки;
  4.  способностью применения различных форм тестовых заданий;
  5.  выбором способа предъявления заданий курсанту, когда они выдаются в порядке, ранжированном по трудности или с чередуемой трудностью в определенном или случайном порядке;
  6.  вводом ограничений по времени отводимым на один вопрос;
  7.  автоматизацией учета ответов с заданием способа статистической обработки результатов;
  8.  возможностью автоматического анализа качества заданий, в частности отбраковки чрезмерно простых или излишне сложных заданий по критерию, задаваемому преподавателем. Выявление трудных для обучающихся тестовых заданий может служить информацией о слабо усваиваемых разделах дисциплины, а следовательно о несовершенстве элементов информационной технологии обучения и необходимости ее коррекции.

Качество тестов традиционно оценивается двумя основными критериями. Первый – надежность теста, ассоциируемая в первую очередь с точностью измерения. Эта точность определяется воспроизводимостью полученных результатов на том же контингенте испытуемых, использованием параллельных тестов и другими методами. Второй критерий – валидность теста, определяемая обычно как способность теста измерять именно то, что он призван измерять по замыслу автора. При проверке теста на валидность он подвергается экспертной оценке [2].

Разрабатываемые тесты оценивались по параметрам надежности, валидности, дифференцирующей способности. Содержательная полнота тестов оценивалась экспертами, которые оценивали полноту охвата требований к уровню подготовки будущих специалистов в пачках теста и правильность пропорций содержания теста. Надежность пачек тестов проверялась методом повторных испытаний на одних и тех же выборках обучающихся. Повышение надежности теста производилось за счет увеличения числа заданий.

Обработка результатов контроля определяется целью контроля и может составлять следующую информацию:

  1.  об абсолютной и качественной успеваемости;
  2.  о среднем балле;
  3.  о среднем квадратичном отклонении.

Это может быть реализовано в виде диаграмм Парето, на которые нанесены предельные и регулировочные уровни. В результате можно выявить группы с несовершенной успеваемостью (низкий уровень абсолютной и качественной успеваемости, среднеквадратичное отклонение выше предельного даже при среднем балле, лежащем в пределах допустимых границ). При этом принимается решение о необходимости установления причин несоответствий и принятии мер по их устранению.

Апробация системы автоматизированного контроля знаний в образовательном процессе позволяет выделить следующие основополагающие преимущества тестового контроля перед традиционными методами:

  1.  высокая содержательность за счет возможности включения тестовых заданий по всему курсу дисциплины;
  2.  большая объективность оценки знаний за счет наличия эталона и обеспечения равных возможностей всем обучающимся;
  3.  сокращение затрат времени за счет автоматизации процесса контроля;
  4.  возможность индивидуального подхода за счет применения адаптивных тестов;
  5.  возможность оценки эффективности процесса обучения и при необходимости внесения корректив за счет автоматизированной статистической обработки результатов;
  6.  возможность самооценки;
  7.  устранение негативного влияния со стороны курсанта на преподавателя;
  8.  стимулирует активность обучающихся на лекциях, практических и лабораторных занятиях.

В образовательной практике происходит смещение акцентов с оценки по результату на оценку процесса получения результата. Эти тенденции находят свое отражение в широком внедрении тестовых методик, контрольно-обучающих программ с развернутыми диагностическими функциями, многочисленных инновациях в содержании и форме тестовых заданий, побуждающих обучающихся перейти от предъявления готового ответа на заданный вопрос к активному конструированию содержания ответа и проверяющих не отдельные предметные, а интегральные междисциплинарные умения.

Эти тенденции позволяют сделать вывод о расширении возможностей автоматизированных систем контроля знаний, а соответственно и повышении их эффективности и качества.

Литература

  1.  Образцов П.И., Панченко В.И. Актуальные проблемы проектирования и реализации современного образовательного процесса в вузе. Материалы межвузовской научно-методической конференции 15-17 мая 2001 г. г. Орел /Под общей ред. Л.Д. Козловой. - Орел: ОрелГТУ, 2001, с. 24-26.
  2.  Маркова А.С. Технология массового тестирования студентов. М: МТУСИ, 1996, с.16-18.
  3.  Алешин В.С., Швецов Н.А. Построение системы автоматизированного тестирования учащихся на основе лексико-семантического анализа материалов учебных пособий./ Материалы IX международной конференции "Современные технологии обучения "СТО-2003". – Санкт-Петербург: СПбГЭТУ "ЛЭТИ", 2003, том 1 с. 345.


 

А также другие работы, которые могут Вас заинтересовать

67247. Маркетинговый аудит 45.27 KB
  В рамках такого анализа предстоит оценить эффективность информационных систем маркетинга в компании систем планирования и контроля за исполнением плана маркетинга. Основными вопросами в этом случае могут быть следующие: а информационные системы; б системы планирования; в системы контроля; г разработка новых продуктов.
67248. Правовые и технические основы безопасности жизнедеятельности 28.56 KB
  Правовую основу обеспечения безопасности жизнедеятельности составляют соответствующие законы и постановления принятые представительным органами РК а также подзаконные акты: Указы Президента постановления принимаемые правительством местными органами власти и специально уполномоченными органами.
67249. Феномен культурной глобализации 38 KB
  20 век характеризуется как эпоха глобализации так как страны и государства перестали развиваться изолированно друг от друга события произошедшие в одной стране тут же получают отклик во всем мире. Некоторые ученые говорят о том что современный этап глобализации является отнюдь не первым.
67250. ЮРИДИЧЕСКИЙ ПРОЦЕСС 123 KB
  Например обращение гражданина в суд для защиты нарушенного или оспоренного субъективного права без соблюдения установленного гражданским процессуальным законом Гражданским процессуальным кодексом порядка не приведет к желаемому результату: судья либо откажет в принятии заявления либо оставит поданное заявление...
67251. НЕЙРОННЫЕ ОСНОВЫ ПАМЯТИ И НАУЧЕНИЯ 168.5 KB
  Память можно определить как способность мозга приобретать и использовать опыт сохранять полученную информацию. Поскольку научение основывается на механизмах памяти два этих понятия неразрывно связаны. Такая перестройка должна обеспечивать адаптивное изменение поведения благодаря сохранению...
67252. ПОЛІТИКА ТА ЕТНОНАЦІОНАЛЬНІ ВІДНОСИНИ 161.5 KB
  Якщо народи існували з давніхдавен то нації викристалізувалися лише в XVII XVIII ст. Народність це історично сформована мовна територіальна економічна і культурна спільність людей яка передує нації. На відміну від нації у народності немає промисловості і відповідно...
67254. Передача параметрів конструкторам базового класу 75.5 KB
  Демонстрація механізму передачі параметрів конструкторам декількох базових класів Демонстрація механізму передачі аргументів конструкторам базового класу через конструктори похідного класу Дотепер жоден з попередніх прикладів не містив конструкторів для яких потрібно було...
67255. Документирование программных средств 149.5 KB
  Тексты и объектный код программ для ЭВМ могут стать программным продуктом только в совокупности с комплексом документов полностью соответствующих их содержанию и достаточных для его освоения применения и изменения. Посредством документов электронных или бумажных специалисты взаимодействуют...