КОМПЬЮТЕРНЫЙ КОНТРОЛЬ ЗНАНИЙ В СРЕДЕ AcademiaXXI

М.А. Бурковская, О.В.Зимина, А.И. Кириллов
Московский энергетический институт (Технический университет)

Печатная публикация (с редакционными сокращениями и грубейшими ошибками набора и верстки)

М.А. Бурковская, О.В.Зимина, А.И. Кириллов. Компьютерный контроль знаний в среде AcademiaXXI
Информатика и образование. 2002. N 9. С. 81-87.

Версия в rtf

Обсуждаются преимущества и перспективы применения информационных технологий для контроля знаний на основе модуля TestAc пакета AcademiaXXI. Рассмотрены проблемы, стоящие перед разработчиками контролирующих программ, и способы их решения. Определены основные виды контрольных мероприятий, которые допускают успешное применение информационных технологий. Сформулированы методические принципы использования компьютеров на этапах подготовки, проведения, проверки и анализа результатов контрольного мероприятия.

Введение

Стремление использовать современные информационные технологии в сфере образования вполне обосновано. Во-первых, компьютер открывает совершенно новые возможности в получении справочной и учебной информации при минимальной затрате времени и в самых разнообразных формах ее представления. Во-вторых, использование компьютера в сфере обучения создает перспективы решения комплекса проблем, стоящих перед современным образованием. Эти проблемы подробно обсуждаются в программной статье [1].

Попытки применить компьютерные технологии в учебном процессе не всегда успешны, поскольку процесс обучения традиционен, в определенном смысле консервативен и с трудом допускает в себя новые формы. К тому же, качество обучающих программ часто обескураживает тех энтузиастов, которые стремятся внедрять компьютеры в учебный процесс и укрепляет позиции противников компьютеризации. Потребительские свойства компьютерных программ учебного назначения и критерии их оценки анализировались в [2]. Было подчеркнуто, что если программа не удовлетворяет вполне определенным требованиям, она не будет востребована в образовании. Время, прошедшее после публикации статьи [2], принесло много примеров, подтверждающих правильность ее положений и выводов. Мы видим, что включение компьютера в учебный процесс может быть успешным, только если разработчиками компьютерной обучающей программы даны должные ответы на следующие вопросы:

• Каков общий учебный баланс, т.е. каково соотношение преимуществ и недостатков компьютерного обучающего средства в сравнении с традиционными, не приводит ли применение компьютера к дополнительным затратам времени на изучение правил общения с ним, не деформирует ли компьютер сам процесс обучения, предлагая к изучению не те задачи, которые необходимо рассмотреть в учебных целях, а те задачи, которые он может решить сам?
• Каков общий экономический баланс, т.е. какова стоимость легального обучающего компьютерного средства и его доступность?

В данной статье мы обсуждаем методические и программные аспекты проблемы компьютерного контроля математических знаний и предлагаем свое решение этой проблемы на основе модуля TestAc пакета AcademiaXXI.

Статья состоит из пяти разделов.

В разделе 1 рассмотрены проблемы, стоящие перед разработчиками компьютерных контролирующих программ и предложены критерии качества этих программ. В частности, мы формулируем четыре проблемы, методическое и программное решения которых определяет качество компьютерной контролирующей программы.

В разделе 2 мы анализируем существующие компьютерные контролирующие программы и выделяем основные принципы, доминирующие в методике создания таких программ.

В разделе 3 описан модуль TestAc пакета AcademiaXXI и возможности его использования при подготовке и проведении контрольных мероприятий. Мы показываем, что при разработке TestAc были найдены принципиально новые программные решения проблем создания компьютерных контролирующих программ,.

В разделе 4 определены уровни участия компьютера в процессе контроля.

В разделе 5 обсуждаются методические аспекты проблем создания компьютерных контролирующих программ и их решения, которые можно предложить при использовании TestAc на различных уровнях участия компьютера в процессе контроля.

1. Проблемы, стоящие перед разработчиками компьютерных контролирующих программ

Использование компьютера в контроле знаний очень желательно по следующим причинам:

• Компьютер предоставляет совершенно особые возможности для создания и модификаций банка разнообразных задач и вопросов. Использование такого банка позволяет максимально индивидуализировать контрольные мероприятия с учетом профессиональной направленности обучения и наличием слабых и сильных учащихся, групп и классов. Возможность предложить учащемуся контрольное задание, с которым он может справиться, методически очень важна, поскольку позволяет ему поверить в свои силы и расти профессионально. Таким образом, использование компьютера при подготовке контрольного мероприятия не только экономит время, но и поднимает контроль знаний на новый уровень индивидуализации и разнообразия заданий.
• Применение компьютера для непосредственной проверки и оценки знаний позволяет унифицировать требования, предъявляемые к знаниям, и повысить объективность. Это качество современных информационных технологий приобретает совершенно особый смысл в свете подготовки к введению Единого государственного экзамена для выпускников школ.

Определенный опыт использования современных информационных технологий в контроле знаний уже имеется на кафедрах вузов и в компьютерных фирмах, интересующихся образовательной тематикой. Очевидно, что качество конкретной компьютерной контролирующей программы определяется тем, какие выбраны методические и программные решения следующих проблем:

1. Как организован компьютерный банк контрольных заданий, его пополнение и адаптация, а также комплектация самих контрольных вариантов?
2. Какая компьютерная поддержка будет предоставлена учащимся в процессе контроля?
3. Как учащиеся будут сообщать свои ответы компьютеру?
4. Как будут анализироваться и оцениваться ответы?

Понятно, что разработчики качественного контролирующего пакета должны при ответе на вышеперечисленные вопросы исходить из интересов учащегося и преподавателя, а не из возможностей своей программной разработки. Только при таком условии пакет имеет предпосылки оказаться востребованным. Авторы предлагают следующие принципы решения поставленных проблем:

1. В банке контрольных заданий должны находиться типичные задания разного уровня сложности, включение которых в контрольное мероприятие позволяет объективно и точно оценить уровень подготовки экзаменуемого. Каждое задание должно быть снабжено четким пошаговым планом решения, а также комментариями относительно его вариантов различного уровня сложности. Процедура пополнения банка задач должна быть открытой и универсальной, чтобы ею могли пользоваться не только разработчики программы, но и все преподаватели. Процесс генерации контрольных вариантов должен происходить с учетом пожеланий преподавателя, который учитывает специфику экзаменуемых.
2. Компьютерная поддержка выполнения контрольного задания должна быть предусмотрена многообразной вплоть до автоматического выполнения всего задания. Преподаватель должен иметь возможность выбрать надлежащий уровень компьютерной поддержки для каждого конкретного задания.
3. Форма ввода ответов в компьютер должна быть максимально приближенной к общепринятой и допускать все возможные варианты написания формул, символов и т.д. Сведения, необходимые для правильного ввода ответа, должны быть минимальными.
4. При анализе и оценке ответов должны выявляться как случайные ошибки (описки), так и ошибки, вызванные непониманием или незнанием. Помимо окончательного ответа должны анализироваться и учитываться промежуточные результаты.

Очевидно, что такие принципы предъявляют высокие требования к методическому и программному обеспечению компьютерного контроля знаний. Однако если они не будут удовлетворены полностью, то компьютерный контроль не будет эффективным и востребованным преподавателями.

 

2. Анализ существующих компьютерных контролирующих программ

При разработке своего компьютерного обучающего пакета авторы данной статьи внимательно проанализировали опыт коллег, работающих в этом направлении. Понять, какие тенденции существуют в сфере создания компьютерных обучающих программ очень важно, но трудно, поскольку не существует эффективно работающего центра, аккумулирующего и анализирующего обучающие компьютерные программы, которые существуют в вузах, в торговой сети и т.д. Нам приходилось использовать различные информационные источники: бюллетени “Алгоритмы и программы” ВНТИЦ Министерства промышленности, науки и технологий РФ, каталоги информационного научно-технического центра Информ-регистр “Российские электронные издания. Новые поступления в государственный депозитарий”, бюллетени “Отраслевой фонд алгоритмов и программ” Государственного координационного центра информационных технологий Министерства образования РФ, материалы тематических выставок на ВВЦ, ежегодных конференций “Информационные технологии в образовании”, а также личные встречи с коллегами. В этой связи хотелось бы пожелать, чтобы активнее развивались соответствующие информационные структуры, создание которых предусмотрено Федеральной целевой программой “Развитие единой образовательной информационной среды на 2001—2005 годы”. В конце данной статьи приведен перечень обучающих и собственно контролирующих программ по математике, которые привлекли внимание авторов. Из чего, по нашему мнению, состоит это своеобразное компьютерное образовательное пространство и каковы основные тенденции его развития?

Доминирующей компонентой этого пространства являются имеющиеся в большом числе обучающие и контролирующие программы, так сказать, местного значения. Они разработаны и используются в некоторых школах и вузах, но не имеют товарного вида и неотделимы от их авторов, поскольку не снабжены надлежащими описаниями и инструкциями для пользователей. Эти программы нигде не регистрируются. Например, о программе [3] авторы узнали случайно. Тех, кто разрабатывают компьютерные образовательные программы, хотелось бы призвать не ограничиваться участием в конференциях и семинарах, а размещать соответствующую информацию в органах государственной регистрации. Приведем для сведения разработчиков три информационных бюллетеня, в которых можно бесплатно зарегистрироваться и таким образом включиться в важнейшую работу по обмену опытом с коллегами:

1. Каталог “Российские электронные издания. Новые поступления в государственный депозитарий”. НТЦ Информрегистр. Москва ул. Б.Черкизовская д.103. тел. 160-97-62 www.inforeg.ru
2. Бюллетень “Отраслевой фонд алгоритмов и программ”. Государственный координационный центр информационных технологий Министерства образования РФ. 113447 Москва ул. Б.Черемушкинская 17а, тел.127-61-71
3. Бюллетень “Алгоритмы и программы” ВНТИЦ министерства промышленности, науки и технологий РФ. Тел. 456-73-34

Второй компонентой компьютерного образовательного пространства являются программы, которые попали в каталоги и бюллетени, перечисленные выше, однако подробную информацию о них получить затруднительно. Сведений о них тем больше, чем активнее работают соответствующие областные Центры новых информационных технологий. В частности, активно поставляет информацию Областной центр новых информационных технологий при Воронежском государственном техническом университете. Примерами таких программ служат [4 — 7]. Судить об их качестве невозможно, поскольку информация, которая о них предоставляется органами регистрации, крайне скупа. Большинство зарегистрированных программ не сертифицированы. Сертификация дорога и ее проходят только некоторые программы, изготовляемые в компьютерных фирмах и поставляемые на рынок. Эти фирмы могут себе позволить затраты на дорогую сертификацию. Образцами таких продуктов служат [8 — 17]. В ярких упаковках они продаются в магазинах и на выставках-ярмарках компьютерных образовательных программ. Но не все то золото, что блестит… Применительно к компьютерным обучающим программам эта поговорка означает, что сколь угодно большие затраты на мультимедийные эффекты не могут скомпенсировать скудость методической концепции программы и отсутствие компьютерной поддержки. Поэтому такие программы используются в учебном процессе реже, чем несертифицированные, но разработанные при активном участии высококвалифицированных преподавателей.

Попробуем выявить тенденции, которые складываются в деле создания компьютерных обучающих программ по математике. Первая из них, на наш взгляд, состоит в том, что большинство авторов создают собственные интерфейсы, что приводит к большим объемам программ. Так, на выставке “Информационные технологии в образовании 2001” только одна программа [18] занимала дискету, а каждая из других занимала компакт-диск, а то и несколько компакт-дисков. Такая же ситуация была на третьей выставке-ярмарке “Современная образовательная среда 2001”. Использование продуктов с громоздкими интерфейсами для дистанционного обучения через Internet невозможно.

Вторая тенденция состоит в том, что программы, как правило, обладают “закрытой архитектурой”: они либо вовсе не позволяют изменять банк заданий, либо это может сделать только опытный специалист (чаще всего лишь сам автор). Справедливости ради отметим, что пакеты [3 — 7] содержат определенный механизм пополнения банка заданий, и чем ближе к практической преподавательской работе стоят авторы, тем лучше они понимают, что обучающая программа должна быть “живой”.

Третья тенденция состоит в том, что появляются программы — тестовые оболочки, которые, по мнению их создателей, можно одинаково успешно наполнить любым материалом (от геометрии до географии) [16 — 21]. Пользователям таких тестовых оболочек остается составить банк контрольных заданий по своим дисциплинам с несколькими вариантами ответов к каждому заданию. Применение получающихся контролирующих программ насаждает крайне негативную методику проверки знаний с выбором ответа из списка, содержащего заведомо неверные утверждения, причем часть из них обычно провоцирует учащихся совершать типичные ошибки. Такая методика неоднократно подвергалась справедливой критике (см., напр., [2]) и не имеет никаких иных причин существования, кроме неумения программировать.

Складывается впечатление, что разработчики контролирующих программ игнорируют государственные стандарты и инструкции, а также методические материалы и статьи, содержащие рекомендации по созданию программ учебного назначения. Следствием этого является почти полностью бесполезная трата государственных средств. В этой связи большой интерес представляют результаты объявленного Министерством образования РФ конкурса на приобретение аттестационных педагогических измерительных материалов и их технологического сопровождения (Приказ N 3201 от 24.09.2001). В положении о конкурсе содержатся требования к инструментальной среде компьютерного тестирования (п. 5.2). Авторам не удалось найти ни одной контролирующей программы, хотя бы приблизительно удовлетворяющей этим требованиям. Создать такие программы — задача победителей конкурса, с которыми Министерство образования заключит государственные контракты.

3. Модуль TestAc пакета AcademiaXXI

Пакет AcademiaXXI разработан А.И. Кирилловым как сервер для Microsoft Word. Это значит, что доступ к многочисленным функциям пакета AcademiaXXI осуществляется через окно Microsoft Word, выступающего, с одной стороны, в качестве интерфейса пользователя, а с другой стороны, — клиента AcademiaXXI. Данные из документа MS Word по указанию пользователя пересылаются в пакет AcademiaXXI, обрабатываются этим пакетом и результат вставляется в исходный документ MS Word как его органическая часть, а не объект OLE.

Основные преимущества такой технологии:

• достаточность умения работать с MS Word для использования всех функций пакета AcademiaXXI;
• возможность редактировать документы, созданные в среде MS Word + AcademiaXXI, не только в этой среде, но и с помощью других пакетов;
• перспективность использования в дистанционном образовании в качестве основы для Word — Word взаимодействия;
• возможность совершенствовать и адаптировать пакет AcademiaXXI в соответствии с потребностями как индивидуальных, так и коллективных пользователей (кафедр, лабораторий и т.п.).

Подчеркнем, что удобство использования программы определяется ее интерфейсом, т.е. набором средств для ввода и вывода информации. Использование MS Word в качестве интерфейса имеет очень широкие перспективы по следующим причинам:

1. такой интерфейс универсален и поэтому удобен для пользователей. ведь им не нужно изучать что-то новое и непривычное;
2. интерфейс MS Word — самый мощный и совершенный из всех, до сих пор разработанных;
3. адаптация и модификация интерфейса MS Word проста и доступна любому пользователю, даже не умеющему программировать;
4. отделив интерфейс от ядра программы, можно сделать свою разработку компактной и доступной по цене.

Заметим, что интерфейсы WordPerfect фирмы Corel и WordPro фирмы Lotus значительно уступают интерфейсу MS Word в количестве и полезности предоставляемых ими возможностей для ввода и вывода информации, но позволяют создавать качественные документы. Интерфейсы других пакетов и программ непригодны для создания документов того содержания и качества, которое требуется в образовании, науке и технологии. Поэтому пока фирмы Corel и Lotus не усовершенствуют свои программы, MS Word является единственным интерфейсом, который целесообразно использовать. Тогда действительно будет выполнено требование того, чтобы процедура пополнения банка заданий контролирующей программы была открытой и универсальной и чтобы ею могли пользоваться не только разработчики программы, но и все преподаватели.

Пакет AcademiaXXI представлен на сайте www.AcademiaXXI.ru. В данной статье речь пойдет только об одном из его семи модулей — о модуле TestAC, предназначенном для контроля знаний.

Комплекс MS Word + TestAc позволяет быстро и качественно подготовить контрольную работу или контролирующую программу с анализом ответов в произвольной текстовой форме. В будущих версиях предполагается предоставить возможность ввода и анализа ответов в графической форме. В перспективе — ввод и анализ ответов в звуковой форме, что особенно важно при обучении лиц с дефектами зрения.

Модуль TestAc наделяет MS Word рядом новых функций из которых прежде всего следует сказать об управлении банком контрольных заданий.

Основная единица банка заданий состоит из условия задачи, шаблона ее решения, шаблонов документов MS Word, бланков решения и соответствующих им сценариев контроля. Все эти составляющие — файлы в формате MS Word, хранящиеся в директориях на диске. Поэтому они всегда доступны для изменений. Пополнение банка заданий происходит просто путем помещения надлежащих файлов в надлежащие директории. Условие задачи может быть представлено в конкретной форме или в общем виде, когда некоторые параметры подлежат уточнению в процессе генерации заданий. Тогда и в шаблоне решения эти параметры и все другие, которые через них выражаются, принимают соответствующие значения. Иными словами, банк состоит из готовых вариантов каждого задания и шаблонов, по которым при необходимости генерируются новые варианты.

Вторая группа функций, которыми TestAc наделяет MS Word, предоставляет возможность составлять варианты контрольных работ в практически неограниченном количестве и разных уровней сложности. Эти контрольные работы в соответствии с указаниями пользователя автоматически формируются путем слияния отдельных заданий из банка. При этом используется функция MS Word, обычно доступная через меню Сервис → Слияние… Если вариантов заданий в банке меньше, чем требуемое количество вариантов контрольной работы, то либо автоматически генерируются новые, либо задания в разных вариантах повторяются. При желании пользователя параллельно с вариантами контрольной работы формируются и бланки для написания этой работы. а также полные тексты правильно выполненных всех ее вариантов. Результатом формирования контрольной работы являются файлы в формате MS Word, хранящиеся в директориях на диске. Они всегда доступны для изменений.

Подготовленные варианты могут быть предложены учащимся в разных формах: их можно распечатать и раздать в аудитории или выслать по почте, вывести на экраны компьютеров дисплейного класса в окнах MS Word, выложить на сайт или переслать по электронной почте. Модуль TestAc может сконфигурировать MS Word так, что тот будет генерировать задания и сразу выводить их на экран, как это делают многие контролирующие программы. Модуль TestAc позволяет организовать выдачу заданий таким образом, чтобы следующее задание зависело от результата выполнения предыдущего.

По желанию экзаменатора учащимся могут быть предложены бланки для выполнения контрольной работы. Эти бланки являются документами MS Word. Напомним, что каждый документ MS Word состоит из двух частей — содержательной, хранящейся в файле с расширением doc или rtf, и т.н. шаблона документа, хранящегося в файле с расширением dot. Шаблон документа может содержать очень много информации, крайне важной для компьютерного контроля. Например, в шаблоне документа хранится то меню, панели инструментов и клавишные комбинации, которые будут доступны при работе над документом. Используя это важное свойство, экзаменатор может определить, какую компьютерную поддержку будет иметь учащийся в процессе выполнения контрольной работы. Например, в меню учащегося могут быть опции для вызова справки, для построения графиков и создания графических иллюстраций, для вызова калькулятора и т.п. Совершенно исключительные возможности такого рода возникают тогда, когда модуль TestAc интегрирован с модулем STEM Plus пакета AcademiaXXI, поскольку STEM Plus позволяет непосредственно в окне MS Word выполнять все математические операции и графические построения с числовыми и символьными выражениями, а также заполнять таблицы результатами вычислений по указанным пользователем правилам. Все операции с приближенными числами выполняются по самым современным алгоритмам стандарта SC и с автоматическим определением погрешностей. При вычислениях учитываются единицы измерений, в том числе — определяемые пользователем. В STEM Plus можно определять собственные функции пользователя и использовать программы на языках высокого уровня. Если учащемуся предоставлена такая мощная компьютерная поддержка, его работа над контрольным заданием становится творческой, поскольку рутинную часть задания ему поможет выполнить компьютер. Однако методика контроля знаний при наличии компьютерной поддержки еще не вполне разработана. Некоторые ее положения мы рассмотрим в следующем разделе.

При решении вопроса о том, как будут вводиться и анализироваться ответы, мы, следуя [2], отказались от того, чтобы предлагать выбор ответа из нескольких данных. (Заметим, однако, что создать контролирующую программу с выбором ответа в TestAc не составляет никакого труда.) Мы использовали тот факт, что MS Word позволяет вводить математические выражения в той форме, в какой учащиеся привыкли их видеть. Например,

a + b c − d ,  √ x2 + 2 ,   a b c d ,   a b∫ f(x).x,   2x + y = 5, x − 2y = 1.

Однако не все экзаменуемые умеют пользоваться MS Word. Поэтому модуль TestAc (и вообще пакет AcademiaXXI) понимает не только формулы вышеприведенного вида, но и формулы, набранные по правилам языков программирования Basic, C, Fortran, Pascal, TeX и т.п. Например, дробь можно вводить, используя косую черту, как в формуле (a+b)/(c+d), для указания степени использовать символы ^ и **, как в формуле (x**2+2)^(1/3) и т.д. Правда, такие формулы иногда трудно читать, можно забыть закрыть скобку или сделать иную ошибку. Чтобы облегчить работу с документом, модули пакета AcademiaXXI наделяют MS Word новой функцией, с помощью которой достаточно выделить выражение и нажать клавишу, чтобы это выражение приняло естественный вид. Есть клавиша и для обратного преобразования , которое может понадобиться для внесения исправлений.

Итак, пользователь может выбрать тот способ общения с компьютером, который ему наиболее известен, что сводит время освоения пакета TestAc к минимуму. Очевидно, что TestAc предъявляет весьма умеренные требования к уровню компьютерной грамотности участников учебного процесса. Достижение этого уровня составляет отдельную задачу обучения.

Чтобы передать свой ответ в модуль TestAc для проверки, учащийся должен выделить его и нажать клавишу. При этом ответ может быть в естественной форме или в форме, принятой в языках программирования. Можно вводить для проверки и решение в целом, Тогда TestAc проверит правильность всех его этапов. Заметим, что текст, вводимый учащимся по мере решения задачи при работе за компьютером, имеет темно-синий цвет. При поэтапной проверке TestAc будет последовательно считывать темно-синие вставки в окне MS Word и проверять их правильность. Неправильные вставки перечеркиваются и их цвет изменяется на красный. Результаты проверки заносятся в протокол, который выдается экзаменатору в определенной им форме.

Заметим, что при проверке контрольной работы MS Word выступает как сервер для TestAc, поставляя нашему модулю информацию из своего окна, в котором учащийся работал над контрольным заданием, и внося по указанию TestAc необходимые правки в текст решения.

Проверка контрольной работы проходит по сценарию, разрабатываемому преподавателем. Он указывает, какие фрагменты решения проверять и как, а какие — нет. Сценарий хранится в специальном текстовом файле — паспорте задания. В этом файле допустимы комментарии, что облегчает его чтение и редактирование. При проверке применяется как сопоставление фрагмента решения с эталонами так и непосредственное установление истинности фрагмента с использованием тождественных преобразований и вычислений. Например, чтобы проверить равенство

∫ x · sin(a · x + b)dx   =   −   x · cos(a · x + b) a   +   sin(a · x + b) a2   +   C,

TestAc убеждается в том, что производная выражения

∫ x · sin(a · x + b)dx − − x · cos(a · x + b) a   +   sin(a · x + b) a2   +  C

равна нулю. Такие мощные возможности TestAc пока использовались не при проверке контрольных работ, а при составлении их вариантов, когда TestAc автоматически находил ответы. Дело в том, что поэтапная проверка компьютерных контрольных работ, насколько нам известно, ранее не использовалась из-за отсутствия надлежащих программных средств. Поэтому методика такой проверки не разработана и мы пока лишь пробуем представить себе ее общие черты.

Дополнительные сведения о модуле TestAc содержатся в разделе 5.

4. Уровни организации компьютерного контроля

Клиент MS Word и сервер TestAc образуют мощный тандем, который делает возможным разнообразный, полноценный и эффективный контроль по любому теоретическому предмету в школах, техникумах и вузах. Теперь уровень использования компьютеров в контроле знаний определяется лишь методической готовностью и технической оснащенностью учебных заведений. Мы выделяем три таких уровня: TT, TC и CC. Здесь T означает традиционный и C означает компьютерный.

Уровень TT характеризуется тем, что компьютер участвует только в составлении вариантов контрольной работы, но проводится и проверяется она традиционным образом Для достижения такого уровня не требуется много компьютеров. Они экономят время преподавателей и стандартизируют требования к знаниям учащихся.

Уровень TC предполагает, что компьютер участвует в составлении вариантов контрольной работы и проверке ее результатов. Учащиеся традиционным образом выполняют задания и вводят свои ответы в компьютер. Компьютер принимает участие в проверке решения. и ведет протокол успеваемости. Для достижения такого уровня необходимо, чтобы в учебном заведении имелся один компьютер на 5-8 учащихся. На уровне TC экономия времени преподавателей и степень унификации требований намного больше, чем на уровне TT. Но будут ли преподаватели согласны с оценками, выставленными компьютерами? Все зависит от того, известны ли преподавателям алгоритмы компьютерной проверки и от качества этих алгоритмов. В СМИ часто появляются выступления против Единого государственного экзамена, мотивированные тем, что по результатам тестов, якобы, нельзя судить о понимании предмета. Эта мотивировка противоречит теореме фон Неймана и Перона о том, что любая желаемая информация может быть получена в виде ответов “да” или “нет” на последовательность правильно сформулированных вопросов. Компьютер лучше всего приспособлен для быстрой и безошибочной проверки правильности ответов в таком виде.

Совершенно особую роль играет компьютер на уровне CC. При проведении контрольного мероприятия в специализированных компьютерных аудиториях, вполне допустимо предложить учащимся пользоваться компьютером, который выполняет вычисления, графические построения и т.п. Работая в среде MS Word + TestAc, они сосредотачиваются на сути решения, анализе и проверке результатов. Конечно, проведение такого мероприятия предъявляет особые требования к подготовке заданий. Нужно в этом случае предлагать учащимся наиболее содержательные и интересные задачи, которые приходится исключать при традиционном способе контроля в силу их громоздкости. Минимизируя вычислительную составляющую, можно уделить больше внимания тому, как учащийся овладел понятием, теоремой или методом решения. Педагогам известно, что это часто не удается проверить при традиционном способе контроля, когда учащиеся, запутавшись в вычислениях, не могут довести решение задачи до конца. Уровень CC уместен при дистанционной форме обучения и контроля.

5. Методика использования TestAc для компьютерного контроля знаний

Модуль TestAc предназначен для содействия преподавателю на всех трех этапах проведения контроля знаний: при составлении вариантов, при проведении контрольной работы и при анализе ее результатов. Вместе с тем модуль TestAc не может применяться сам по себе, поскольку он должен быть дополнен банком заданий. Как отмечалось выше, банк заданий представляет собой набор директорий, содержащих файлы в форматах MS Word. Поэтому банк легко модифицировать, что наряду с широкими возможностями, предоставляемыми TestAc, выдвигает на первый план методические аспекты перечисленных в разделе 1 проблем, стоящих перед разработчиками контролирующих программ. В данном разделе мы обсудим эти аспекты.

Прежде всего заметим, что составление банка заданий ставит перед преподавателем трудную методическую задачу типизации контрольного материала. Дело в том, что имеется противоречие между широкими возможностями выбора заданий и совершенно определенными рамками учебной программы, которая не всегда, а скорее, чаще всего не поспевает за возможностями компьютерных технологий. Вообще, понятие “типичной” учебной задачи или “типичного” набора ошибок и, как следствие, “типичной” шкалы оценок меняется при включении в проверочную работу компьютера и нуждается в серьезном обсуждении в отдельной работе.

Для использования с TestAc нами создан банк заданий по линейной алгебре и аналитической геометрии. Типизация заданий выполнена на основе учебных стандартов и аналогично тому, как это сделано в книгах [22] и [23]. Сохранив традиционное, оправданное годами деление материала, авторы книг [22, 23] предложили жесткую схему решения каждой задачи. Мы обнаружили, что такие схемы не только позволяют научить решать задачи, но и проверить по шагам, как учащийся этому научился, а также генерировать задания и бланки для их выполнения. Например, в [22] есть задача о разложении вектора по базису. Ее общая формулировка имеет вид

Написать разложение вектора x = {x1, x2, x3} по векторам p = {p1, p2, p3},
q = {q1, q2, q3}   и   r = {r1, r2, r3}.

В нашем банке заданий этой задаче соответствует текст

Написать разложение вектора x = {#00,#01,#02} по векторам p = {#03,#04,#05},
q = {#06,#07,#08} и r = {#09.#0a,#0b}.

При генерации заданий параметры #00,… , #0b принимают те или иные значения, которые могут быть числами или символами. Всего TestAc может варьировать 62·62=3844 параметра. Такое большое число параметров зарезервировано с учетом задач математической статистики. Конкретные значения параметров, как числовые так и символьные, случайным образом выбираются из наперед заданных множеств или определяются формулами, которые могут содержать случайные величины. На значения параметров могут быть наложены ограничения. Так, при генерации вариантов рассматриваемой задачи TestAc может проверять, что векторы p, q и r действительно образуют базис в трехмерном пространстве, т.е. не лежат в одной плоскости, или что задача имеет решение (для случаев, когда векторы p, q и r лежат в одной плоскости или на одной прямой). Преподаватель может отменить такие проверки, полагая, что их надлежит делать экзаменуемым.

Наряду с автоматической генерацией заданий TestAc может и выбирать их из некоторой совокупности, представленной в виде файлов формата MS Word, хранящихся в специальной директории. Разумеется, TestAc всегда проверяет, что поставляемые им варианты не повторяются.

В [22] приведен следующий план решения задачи о разложении вектора по базису:

1. Искомое разложение вектора x имеет вид x = αp + βq + γr.
2. Это векторное уравнение относительно α, β и γ эквивалентно системе трех линейных уравнений с тремя неизвестными

p1α + q1β + r1γ = x1, p2α + q2β + r2γ = x2, p3α + q3β + r3γ = x3.

3. Решаем эту систему уравнений относительно α, β и γ и таким образом определяем коэффициенты разложения вектора x по векторам p,  q   и  r.

Этот план используется в нашей базе для генерации решений (с заменой координат векторов на соответствующие параметры #00,… , #0b) и как бланк решения, который имеет вид

Решение

1. Искомое разложение вектора x имеет вид
2. Это векторное уравнение относительно                 эквивалентно системе трех линейных уравнений с тремя неизвестными

   =                         =                         =

3. Система имеет единственное решение     =    ,     =    ,     =    ,. Следовательно,   x =
   Сделаем проверку:

Ответ:   x =

При генерации задания такой бланк по желанию преподавателя вставляется в текст задания сразу после условия задачи. Тогда при выполнении задания учащиеся будут последовательно заполнять бланки решений либо на листах (уровень TT), либо в окнах MS Word (уровни TC и CC).

Понятно, что бланки подсказывают экзаменуемым алгоритмы решения задач. Поэтому целесообразно допускать к контрольной работе только тех, кто на предварительном тестировании продемонстрировал знание алгоритмов. Такая организация контроля стимулирует изучение методов решения задач. В этой связи заметим, что умение решать задачи можно условно разложить на три составляющие:

1. знание того, что нужно делать;
2. знание того, как это делать,
3. умение это делать.

Владеют учащиеся второй компонентой или нет — обычно бывает известно по результатам предыдущих контрольных работ, в которых соответствующие знания являлись основой первой компоненты. Так, к моменту контроля умения разлагать вектор по базису уже известно, что студенты знают, как решать системы уравнений.

Большинство учащихся не владеет третьей компонентой, поскольку они не решили такого количества однотипных задач, какое необходимо для приобретения твердых навыков, О причинах этого сказано в предисловиях книг [22] и [23]. Ошибки и описки, обусловленные отсутствием практики, искажают оценки знаний. Не случайно многие экзаменаторы обнаружив, что ответ неверен, просматривают все решение и увидев, что его ход правилен, лишь незначительно снижают оценку. Но экзаменаторам неизвестно, кто из студентов под воздействием тех же случайных факторов сделал такие ошибки, которые помешали им довести решение задачи до конца, Эти маленькие трагедии запечатляются в черновиках, в которых разобрать что-нибудь невозможно при всем желании.

Мы полагаем, что поскольку проверено знание алгоритмов решения задач и бытует снисхождение к арифметическим ошибкам и опискам, в стремлении объективно оценить знания нужно предоставить учащимся компьютерную поддержку решения задач. Контролирующая программа должна предоставлять много видов такой поддержки, из которых преподаватель выберет надлежащие.

В среде AcademiaXXI документы создаются и редактируются с помощью MS Word. Поэтому обращение за компьютерной поддержкой возможно через пункты меню, иконки панелей инструментов и посредством нажатия клавишных комбинаций. Все эти элементы управления определяются шаблоном документа. В TestAc имеется шаблон support.dot, аналогичный шаблону STEM.dot модуля STEM Plus пакета AcademiaXXI. Шаблон support.dot наделяет MS Word элементами управления, посредством которых можно использовать многочисленные функции интеллектуального ядра TestAc. Это ядро идентично ядру STEM Plus и, следовательно, является самым мощным из всех, которые в настоящее время созданы для персональных компьютеров.

В наш банк входит шаблон la_ag.dot, полученный из шаблона support.dot, удалением всех функций кроме тех, которые нужны для решения задач по линейной алгебре и аналитической геометрии. При генерации вариантов контрольной работы нужно будет удалить из la_ag.dot ряд других функций. Например, если в контрольной работе есть задача о вычислении определителя, целесообразно удалить функцию, которая позволяет это сделать одним нажатием клавиши. Если ставится задача определения ранга матрицы по ее минорам, то функцию вычисления определителя целесообразно предоставить в качестве компьютерной поддержки. Какие функции доступны, а какие нет — указывается посредством меню TestAc. Поэтому для создания шаблона специальных знаний не требуется.

Заметим, что для того, чтобы учащиеся могли использовать компьютерную поддержку, они должны уметь применять компьютер для решения задач. Этому студенты учатся самостоятельно в процессе решения задач с помощью пакета Решебник, основанного на модуле STEM Plus. Здесь видна принципиальная важность того, что комплекс MS Word + AcademiaXXI является единой компьютерной средой для всех видов учебной деятельности. До создания такой среды студентам приходилось тратить много времени. чтобы научиться работать с разными пакетами. Складывалась парадоксальная ситуация: применение компьютеров отнимало больше времени, чем экономило.

Каждому заданию присваивается определенный уровень сложности, который определяется объемом и громоздкостью необходимых для решения преобразований и вычислений, а также количеством этапов решения. Уровни сложности характеризуется цифрами: 0 — низший, …, 9 — высший. Задания объединены в классы с общим планом решения, Каждый класс сопровожден кратким описанием, в котором разъяснено чем определяются уровни сложности заданий.

Каждый элемент банка заданий имеет свой код, в котором указано: название раздела, порядковый номер класса, уровень сложности задачи, порядковый номер варианта и тип элемента Например, код la_02_1_23_t означает, что элемент относится к линейной алгебре, номер задачи 02, уровень сложности 1, номер варианта 23, тип элемента t (условие задачи).

Наш пакет применим на всех трех уровнях TT, TC и CC. Он открыт для дополнений и усовершенствований. Роль преподавателя при составлении и проведении контрольных мероприятий с использованием программы становится по-настоящему творческой: необходимо выбрать те задачи, которые наиболее полезны на предполагаемом уровне участия компьютера в контрольном мероприятии, выбрать доступный учащимся уровень сложности каждой задачи, продумать, следует ли предложить учащимся бланки решений и если следует, то какие, а также подобрать надлежащую компьютерную поддержку.

Заключение

Процесс контроля знаний является диалогом преподавателя и студента, основные этапы которого можно схематически представить в виде

преподаватель   ¹→   студент   ²→   преподаватель   ³→   студент

Здесь этап 1 — выдача задания, этап 2 — ответ, этап 3 — коррекция обучения, состоящая из обсуждения допущенных ошибок, методических рекомендаций и выдачи повторных заданий. Стрелки указывают направления передачи информации. Результирующий поток информации должен быть направлен от преподавателя к студенту. При ослаблении потоков 1, 2 и 3 контрольное мероприятие теряет обучающий эффект, Чтобы пояснить сказанное, рассмотрим три уровня организации компьютерного контроля, определенные в разделе 4.

При традиционных подготовке и проведении контрольного мероприятия преподаватель использует ограниченный набор стандартных вариантов контрольных работ, не имея возможности выдать студентам индивидуальные задания. Безадресность задания минимизирует ценность информации, которая передается на этапе 1. Из-за нехватки времени преподаватели вынуждены проверять лишь ответы выполненных заданий и бегло просматривать ход решения. Поэтому снижается количество информации, передаваемой на этапе 2. и становится практически невозможным этап коррекции 3. Итак, без использования компьютеров контрольные мероприятия по большей части формальны и не достигают своих целей. Информация если и передается, то лишь на этапе 2, и, следовательно, ее результирующий поток направлен от студента к преподавателю.

При использовании модуля TestAc хотя бы для составления вариантов контрольных заданий (уровень ТT) можно повысить эффективность этапа 1, например, сделав так, чтобы очередное задание зависело от результатов выполнения предыдущего.

На уровне ТС первый этап достигает максимальной эффективности и возрастает эффективность этапа 2. Но этап 3 еще не эффективен, поскольку студенты не имеют времени на переписывание контрольных работ. К тому же, преподаватель при формулировании корректирующих указаний не имеет точного ответа на вопрос о том, почему тот или иной учащийся не справился с задачей — то ли действительно не знал, как ее решать, то ли запутался в преобразованиях и растерялся. Следовательно, общий обучающий эффект контрольного мероприятия на уровне TC еще не вполне удовлетворителен.

На уровне СС эффективность всех этапов максимальна. Полноценное использование модуля TestAc значительно экономит время, обычно затрачиваемое на выполнение задания, а главное — освобождая студента от громоздких и рутинных вычислений, позволяет ему сосредоточиться на сути решаемых задач и добиться существенно большего успеха, чем на уровнях TT и TC. В случае же неудачи компьютер может указать на ошибки, дать ссылки на типовые задачи и выдать новый вариант задания. Преподаватели получают время и средства для совершенствования методики контроля знаний и индивидуализации заданий. При организации контроля на уровне СС результирующий информационный поток направлен в надлежащую сторону — от преподавателя к студенту, что делает контроль знаний полноценным элементом обучения.

Контролирующие пакеты, созданные на основе модуля TestAc, являются органическими составными частями единой образовательно-научной информационной среды (ЕОНИС), формируемой на основе комплекса MS Word + AcademiaXXI. Поэтому они вписываются в прогрессивную тенденцию современного образования, характеризуемую гармоничным сочетанием учебной и исследовательской деятельности.

Возможности, предоставляемые модулем TestAc, стимулируют научно-методические разработки новых информационных технологий в области контроля знаний. Мы имеем в виду, в первую очередь, технологии поэтапного контроля. Они особенно важны для контролирующих модулей компьютерных обучающих программ. Большой интерес представляют технологии проверки ответов-графиков. Авторы заранее признательны коллегам за критические замечания в отношении данной статьи, предложения и любые иные формы сотрудничества.

Литература и компьютерные программы

1. Кудрявцев Л.Д., Кириллов А.И., Бурковская М.А., Зимина О.В. О тенденциях и перспективах математического образования//Высшее образование сегодня. 2002. N 2.
2. Демушкин А.С., Кириллов А.И., Сливина Н.А., Чубров Е.В., Кривошеев А.О., Фомин С.С. Компьютерные обучающие программы//Информатика и образование. 1995. N 3.
3. Кирсанов М.Н. Программа-генератор тестовых, курсовых и контрольных заданий. Московский Энергетический Институт (Технический Университет).
4. Кочур Э.Ю. Система обучения и контроля знаний “Ментор”. Воронежский Государственный Технический Университет.
5. Крылов Ю.Н. и др. Компьютерный диагностирующий тест по математике. Тверской Государственный Университет.
6. Николаев Н.А. Система контроля знаний “Ask 2000 v2”.
7. Маргулев А.И. Сетевой тестирующий комплекс “Стек”.
8. TeachPro Математика — полный курс математики (7 — 11 класс). МТ и ДО.
9. TeachPro Решебник по математике — полный курс. МТ и ДО.
10. Мультимедийные учебники серии “Не для отличников” (алгебра, геометрия, тригонометрия, математика). Гурусофт.
11. Боревский Л.Я. Курс Математики 2000 для школьников и абитуриентов. Медиа Хаус.
12. Математика 7 — 11. Электронные учебники-справочники (планиметрия, стереометрия, алгебра). Кудиц.
13. 1С: Репетитор. Математика. 1С.
14. Открытая математика (стереометрия, планиметрия). Физикон.
15. Репетитор — математика. Кирилл и Мефодий.
16. Батисфера. Программа для создания мультимедийных учебных курсов и контроля знаний. Информпроект.
17. Тестовый комплекс ПоZнание 2.0. Общество ЗНАНИЕ России.
18. Программа для проверки знаний с использованием программированных знаний. БЮРС.
19. Система автоматизированного тестирования для дистанционного контроля знаний учащихся по различным дисциплинам. Восточно-Сибирский государственный технологический университет.
20. Программный комплекс контроля и управления учебным процессом. Московский государственный технический университет им. Баумана.
21. Инструментальная среда разработки учебных программ-приложений, в частности, оболочки для создания программ тестирования знаний. Санкт-Петербургский государственный институт точной механики и оптики.
22. Зимина О.В., Кириллов А.И., Сальникова Т.А. Высшая математика (Решебник). Физико-математическая литература, 2000.
23. Афанасьев В.И., Зимина О.В., Кириллов А.И., Петрушко И.М., Сальникова Т.А. Высшая математика. Специальные разделы (Решебник). Физико-математическая литература, 2001.