87217

Система автоматизированного контроля знаний по общепрофессиональным дисциплинам

Научная статья

Информатика, кибернетика и программирование

Система автоматизированного контроля знаний по обще-профессиональным дисциплинам Кандидат технических наук доцент Орешин Н. Можно выделить следующие недостатки внедрения тестового контроля знаний: не в должной мере учитываются достижения в области педагогической квалиметрии; некоторые разработки носят механистический характер не побуждают обучающихся к самостоятельности; внедрение тестовых программ носят бессистемный характер. Однако опираясь при проектировании систем автоматизированного контроля знаний на научнообоснованные методики...

Русский

2015-04-17

42.5 KB

0 чел.


УДК [378:621.3]:004.38

Система автоматизированного контроля знаний по общепрофессиональным дисциплинам

Кандидат технических наук, доцент Орешин Н.А.

Панченко В.И.

Академия Спецсвязи России

Россия, г. Орел, Приборостроительная, 35, тел. 8+0862-41-99-48

E-mail: kind@orel.ru

The article is about the problems of training cadets of technical higher educational establishments in professional disciplines using information means specially worked out for this purpose. Automatized Knowledge Control System is considered one of such means. The authors pay attention to the process of projecting, evaluating and using the system of test controlling knowledge, skills and habits formed with trainees.

Обучение с применением информационных технологий становится нормой сегодняшнего дня. Однако использование обучающих и контролирующих программ сталкивается не столько с проблемами технического характера, сколько с неразработанностью дидактических и психолого-педагогических основ применения и эффективности новых форм обучения. Можно выделить следующие недостатки внедрения тестового контроля знаний: не в должной мере учитываются достижения в области педагогической квалиметрии; некоторые разработки носят механистический характер, не побуждают обучающихся к самостоятельности; внедрение тестовых программ носят бессистемный характер.

Сложность заключается в том, что измерение многих критериев качества обучения носит условно количественный характер и полная формализация таких критериев вряд ли возможна, поскольку при оценке интеллектуальной деятельности субъектов существуют не подверженные формализации аспекты. Однако, опираясь при проектировании систем автоматизированного контроля знаний на научно-обоснованные методики, процедуры и измерители, для разработки которых необходим системный научный подход и участие специалистов в области педагогических измерений, можно добиться повышения эффективности образовательного процесса в вузе.

Анализ педагогических источников показывает, что многие педагоги склоняются к следующим педагогическим требованиям по организации контроля учебной деятельности:

  1.  Индивидуальный характер, предполагающий осуществление контроля над работой каждого обучающегося.
  2.  Систематичность, регулярность проведения контроля на всех этапах процесса обучения, сочетание его с другими сторонами учебной деятельности.
  3.  Разнообразие форм проведения контроля, обеспечивающее выполнение обучающей, развивающей и воспитывающей его функций.
  4.  Всесторонность, заключающаяся в том, что контроль должен охватывать все разделы учебной программы, обеспечивать проверку теоретических знаний, интеллектуальных и практических умений и навыков обучающихся.
  5.  Объективность, исключающая субъективные и ошибочные оценочные суждения.
  6.  Единство требований педагогов, осуществляющих контроль обучающихся.
  7.  Мотивация познавательной деятельности и стимулирование честной конкуренции и заинтересованности обучающихся в повышении результативности обучения.
  8.  Возможность самоконтроля, самокоррекции и самооценки.

Вышеперечисленные требования были положены в основу разрабатываемой системы автоматизированного контроля знаний (САКЗ) информационной технологии обучения дисциплины «Электропитание устройств и систем телекоммуникаций». Она представляет собой компьютерную программу на основе наборов пачек тестов. По структуре САКЗ состоит из входного контроля (входное тестирование), текущего контроля по изучаемым темам дисциплины (тестирование по темам) и подготовке к лабораторным работам (тестирование по лабораторным работам), а также выходного контроля по всему материалу дисциплины (итоговое тестирование) [1].

Проектирование САКЗ осуществлялось по следующей схеме: определение целей теста; отбор содержания; выбор форм и составление тестовых заданий; разработка компьютерной программы; апробация теста на репрезентативной выборке испытуемых; оценка теста на валидность, надежность, дифференцирующую способность и привлекательность дистракторов; распределение тестовых заданий по уровням трудности; разработка шкалы измерений на основе качественных соображений и статистической обработки результатов.

Включение в САКЗ входного контроля преследует цель определения остаточных базовых знаний курсантов по обеспечивающим дисциплинам и коррекции лекционного курса преподаваемой дисциплины при незначительных пробелах обучающихся или введение коррекционного курса при глубоких пробелах знаний обучающихся (формирование курсантами индивидуальной самостоятельной работы по устранению пробелов в знаниях). Мы полагаем, что разработку входного контроля целесообразно проводить в следующей последовательности:

  1.  на этапе отбора и структурирования содержания дисциплины определить межпредметные связи и требования к обеспечиваемым дисциплинам по уровню обученности курсантов;
  2.  разработать и согласовать тесты со старшими преподавателями обеспечиваемых дисциплин;
  3.  апробировать и провести оценку тестов;
  4.  после проведения и анализа входного тестирования довести его результаты преподавателям обеспечиваемых дисциплин для использования этой информации при коррекции их технологий обучения.

Текущий контроль обеспечивает возможности мониторинга усвоения знаний, умений и навыков обучающихся по отдельным темам дисциплины, а также развития их интеллектуальных способностей. Кроме этого решает вопросы оперативного контроля подготовки курсантов к лабораторным работам с учетом специфики выполняемой работы на лабораторной установке.

Итоговое тестирование позволяет обучающимся осуществлять самоконтроль подготовки к выпускному экзамену по дисциплине.

Тестовое задание должно отвечать целому ряду требований. Оно должно иметь четкую форму, отличаться предметной чистотой содержания, быть логически правильным, технологичным, иметь известную трудность и коррелироваться с критерием [2].

Разработка тестовых заданий была направлена на проверку усвоения теоретических основ курса, умения оперировать основными понятиями, проводить сравнительный анализ, давать оценку схемотехнических устройств источников электроснабжения и вторичного электропитания, выбирать режимы исследования устройств электропитания, анализировать причины неисправностей электроагрегатов, электростанций и внутристанционных блоков электропитания, определять направления протекания процесса под действием заданного возмущения.

В соответствии с целями САКЗ был принят критериально-ориентированный подход, который применяется для решения следующих задач:

  1.  оценка доли учебного материала, усвоенной обучающимися;
  2.  сопоставление с требуемым стандартом образования учебных достижений отдельных курсантов и учебных групп;
  3.  аттестация учебных заведений на основании сопоставления знаний их учащихся с требуемым стандартом;
  4.  выбор стратегии дальнейшего обучения.

В основу разработки тестовых заданий нами были положены следующие принципы:

  1.  обеспечение безусловного соответствия между уровнем запланированных целей обучения и содержанием теста;
  2.  использование многоуровневых тестов в соответствии с требованиями уровня обученности курсантов (по шкале В.П. Беспалько I – узнавание, II – воспроизведение, III – умения и навыки);
  3.  устранение взаимосвязанных заданий, содержание которых может служить подсказкой для одного из них;
  4.  использование формулировок, вскрывающих причинно-следственные связи;
  5.  усиление выразительности заданий использованием графиков и чертежей (в будущем планируется использование звука и видеозаписей).

Для составления тестовых заданий использовались следующие формы:

  1.  Задания закрытой формы, т. е. на выбор правильных вариантов из списка предложенных. При этом предлагается одиночный или множественный выбор. Задание может быть представлено в текстовой или графической форме (графики функций, векторные диаграммы, фрагменты электрических схем). Наиболее распространенным способом построения альтернативных вопросов с множественным выбором является обобщение объектов по некоторому признаку;
  2.  Задания открытой формы, т. е. такие задания в которых обучающийся сам дает ответ. Как правило, это ключевое слово или фраза, дописываемое в утверждении, превращая его в ложное или истинное.
  3.  Задания на соответствие, в которых элементам одного множества требуется сопоставить элементы другого множества, причем число элементов во втором множестве на 20-30 % превышает число элементов первого множества. Это обеспечивает курсанту широкое поле для поиска правильного ответа.
  4.  Задания на установление правильной последовательности, в которых курсант указывает с помощью нумерации операций, действий или вычислений требуемую заданием последовательность.

Формулирование тестовых заданий процесс довольно сложный и трудоемкий. С целью сокращения затрат времени В. С. Алешин и А.Н. Швецов предлагают следующие основные методы автоматической генерации вопросительных предложений из текстов учебных пособий: удаление из текста предложения цифровых данных, с дальнейшим предложением их воспроизвести; выборка из текста предложения ряда чередующихся сведений с предложением повторить их последовательность; удаление сокращенных обозначений с дальнейшим предложением их воспроизвести; модификация текста предложения с изменением смысла на противоположный введением или удалением частиц при модальных глаголах или заменой типичных свойств – имен прилагательных их антонимами с дальнейшим предложением пользователю опровергнуть или подтвердить полученное высказывание [3].

На наш взгляд для реализации выше рассмотренных принципов разработки тестовых заданий и самого процесса применения САКЗ компьютерная программа должна обладать следующими возможностями:

  1.  простотой заполнения базы тестовых заданий и внесения изменений в эту базу;
  2.  свободой в создании пачек тестовых заданий с требуемым (различным) числом вопросов в каждой пачке;
  3.  возможностью присвоения каждому вопросу определенного коэффициента трудности, который можно автоматически использовать при выставлении отметки;
  4.  способностью применения различных форм тестовых заданий;
  5.  выбором способа предъявления заданий курсанту, когда они выдаются в порядке, ранжированном по трудности или с чередуемой трудностью в определенном или случайном порядке;
  6.  вводом ограничений по времени отводимым на один вопрос;
  7.  автоматизацией учета ответов с заданием способа статистической обработки результатов;
  8.  возможностью автоматического анализа качества заданий, в частности отбраковки чрезмерно простых или излишне сложных заданий по критерию, задаваемому преподавателем. Выявление трудных для обучающихся тестовых заданий может служить информацией о слабо усваиваемых разделах дисциплины, а следовательно о несовершенстве элементов информационной технологии обучения и необходимости ее коррекции.

Качество тестов традиционно оценивается двумя основными критериями. Первый – надежность теста, ассоциируемая в первую очередь с точностью измерения. Эта точность определяется воспроизводимостью полученных результатов на том же контингенте испытуемых, использованием параллельных тестов и другими методами. Второй критерий – валидность теста, определяемая обычно как способность теста измерять именно то, что он призван измерять по замыслу автора. При проверке теста на валидность он подвергается экспертной оценке [2].

Разрабатываемые тесты оценивались по параметрам надежности, валидности, дифференцирующей способности. Содержательная полнота тестов оценивалась экспертами, которые оценивали полноту охвата требований к уровню подготовки будущих специалистов в пачках теста и правильность пропорций содержания теста. Надежность пачек тестов проверялась методом повторных испытаний на одних и тех же выборках обучающихся. Повышение надежности теста производилось за счет увеличения числа заданий.

Обработка результатов контроля определяется целью контроля и может составлять следующую информацию:

  1.  об абсолютной и качественной успеваемости;
  2.  о среднем балле;
  3.  о среднем квадратичном отклонении.

Это может быть реализовано в виде диаграмм Парето, на которые нанесены предельные и регулировочные уровни. В результате можно выявить группы с несовершенной успеваемостью (низкий уровень абсолютной и качественной успеваемости, среднеквадратичное отклонение выше предельного даже при среднем балле, лежащем в пределах допустимых границ). При этом принимается решение о необходимости установления причин несоответствий и принятии мер по их устранению.

Апробация системы автоматизированного контроля знаний в образовательном процессе позволяет выделить следующие основополагающие преимущества тестового контроля перед традиционными методами:

  1.  высокая содержательность за счет возможности включения тестовых заданий по всему курсу дисциплины;
  2.  большая объективность оценки знаний за счет наличия эталона и обеспечения равных возможностей всем обучающимся;
  3.  сокращение затрат времени за счет автоматизации процесса контроля;
  4.  возможность индивидуального подхода за счет применения адаптивных тестов;
  5.  возможность оценки эффективности процесса обучения и при необходимости внесения корректив за счет автоматизированной статистической обработки результатов;
  6.  возможность самооценки;
  7.  устранение негативного влияния со стороны курсанта на преподавателя;
  8.  стимулирует активность обучающихся на лекциях, практических и лабораторных занятиях.

В образовательной практике происходит смещение акцентов с оценки по результату на оценку процесса получения результата. Эти тенденции находят свое отражение в широком внедрении тестовых методик, контрольно-обучающих программ с развернутыми диагностическими функциями, многочисленных инновациях в содержании и форме тестовых заданий, побуждающих обучающихся перейти от предъявления готового ответа на заданный вопрос к активному конструированию содержания ответа и проверяющих не отдельные предметные, а интегральные междисциплинарные умения.

Эти тенденции позволяют сделать вывод о расширении возможностей автоматизированных систем контроля знаний, а соответственно и повышении их эффективности и качества.

Литература

  1.  Образцов П.И., Панченко В.И. Актуальные проблемы проектирования и реализации современного образовательного процесса в вузе. Материалы межвузовской научно-методической конференции 15-17 мая 2001 г. г. Орел /Под общей ред. Л.Д. Козловой. - Орел: ОрелГТУ, 2001, с. 24-26.
  2.  Маркова А.С. Технология массового тестирования студентов. М: МТУСИ, 1996, с.16-18.
  3.  Алешин В.С., Швецов Н.А. Построение системы автоматизированного тестирования учащихся на основе лексико-семантического анализа материалов учебных пособий./ Материалы IX международной конференции "Современные технологии обучения "СТО-2003". – Санкт-Петербург: СПбГЭТУ "ЛЭТИ", 2003, том 1 с. 345.


 

А также другие работы, которые могут Вас заинтересовать

8911. Множественное наследование в языке С++ 195.5 KB
  Множественное наследование в языке С++. 1. Цель работы Целью лабораторной работы является получение практических навыков при использовании множественного наследования в языке С++. 2. Темы для предварительного изучения Введение в классы П...
8912. Описать технологию ремонта аккумуляторных батарей 108 KB
  Описать технологию ремонта аккумуляторных батарей (проверку состояния аккумулятора, разборку, восстановление деталей, сборку, приготовление электролита и зарядку батарей, технические условия и контроль качества ремонта). Указать применяемое оборудов...
8913. Лекции по теоретической механике 774 KB
  Лекции по теоретической механике Динамика точки Лекция 1 Основные понятия динамики В разделе Динамика изучается движение тел под действием приложенных к ним сил. Поэтому, кроме тех понятий, которые вводились в разделе Кинематика, здесь необход...
8914. Методология проектирования автоматизированных информационных технологий управления 154.5 KB
  Методология проектирования автоматизированных информационных технологий управления Понятие управления по функциям Создание автоматизированных информационных технологий управления представляет собой эволюционный процесс. Именно поэтому информационные...
8915. Процедуры присуждения ученой степени и ученого звания 115.5 KB
  Процедуры присуждения ученой степени и ученого звания Учебные вопросы: 1. Процедуры присуждения ученой степени. 2. Процедуры присуждения ученого звания. 3. Принципы процедур присуждения ученой степени и ученого звания. Нормативные акты: 1. Постановл...
8916. Управление как система 112.5 KB
  Управление как система Сущность системного подхода к управлению. Кибернетическая модель управления организацией. Виды управления. Типы управления. Термин система в переводе с греческого означает целое, составленное из отдельных частей. В настоящее...
8917. Информационная система 131.5 KB
  Информационная система Этапы развития информационных систем управления в России. Информационная пирамида. Основные направления развития автоматизации управления. Комплексная автоматизация бизнес-процессов.
8918. Испытания и подтверждение соответствия средств измерений 60.5 KB
  Испытания и подтверждение соответствия средств измерений Основные положения системы испытаний и утверждения типов средств измерений, подлежащих применению в сферах распространения государственного метрологического контроля и надзора...
8919. Административно-процессуальные нормы и административно-процессуальные правоотношения 95 KB
  Административно–процессуальные нормы и административно–процессуальные правоотношения Учебные вопросы: Понятие и характеристика административно-процессуальных норм. Роль и место административно–процессуальных норм...