Статья: Качество образования в Республике Казахстан: технология переориентации на результаты
3. Исследование надежности теста:
- повторное тестирование той же выборки (тем же тестом с интервалом времени от 3 до 6 месяцев) и сопоставление результатов;
- повторное тестирование на другой выборке (другими людьми с
интервалом времени от 3 до 6 месяцев) и сопоставление результатов.
4. Принятие обязывающего решения компетентного органа о разрешении, порядке и границах применения созданного и проверенного теста, интерпретации и практического использования получаемых результатов тестирования.
В случаях статистически значимого расхождения в оценке результатов при внутреннем и внешнем тестировании одного и того же контингента обучающихся (по одному и тому же учебному курсу) необходима сравнительная экспертиза единиц тестирования, положенных в основу теста, а также материалов проверки применяемых тестов на валидность, точность и надежность. По каждому факту такого расхождения должно быть принято решение о запрете или ограничениях на применение теста, не отвечающего требованиям стандарта (вуза или министерства).
3. Качество процесса обучения.
Современное обучение понимается как эффективно организованный процесс самообучения студентов (учащихся), всесторонне обеспеченный необходимыми условиями и направляющей поддержкой и гарантирующий высокие индивидуальные результаты и личностный рост.
Традиционно учебный процесс строится так, что всегда фиксированы условия обучения (способ представления информации преподавателем один для всех учащихся; время, отводимое на ее понимание и усвоение, – тоже одинаково для всех, и т.д.), а единственной переменной величиной остается… результат обучения.
Современные технологии «полного усвоения знаний» и «разноуровнего образования» исходят из фиксированного результата: все обучающиеся свободно усваивают практически любой учебный материал, если организация материала, его представление и другие условия обучения оптимально изменяются в зависимости от конкретных особенностей восприятия, способностей и личных качеств каждого обучающегося (подстраиваются по обратной связи).
Для нашей задачи это предполагает переориентацию учебного процесса с информирования (фиксированный способ обучения) на обеспечение индивидуально гарантированного результата в каждом системном элементе учебной деятельности: внешние условия - учебный материал – учащийся – преподаватель – взаимодействие.
3.1. Главный фактор ориентации внешних условий на результат - это механизм внешнего давления в направлении заданных изменений и содействия им. В отношении обучающихся – это рамки кредитной системы организации обучения, с ее жесткими требованиями к самоорганизации и непрерывным мониторингом успеваемости в сочетании с полным информационно-методическим обеспечением и свободой в выборе учебного плана, преподавателей и траектории профессиональной подготовки.
В отношении преподавателя:
- это рамки той же кредитной организации, обязывающей его организовать, обеспечить информационно и методически аудиторную и внеаудиторную работу каждого учащегося по каждой единице учебной программы и междисциплинарным аспектам, в том числе повседневную и индивидуальную обратную связь (самоконтроль, текущий и рубежный контроль результатов обучения);
- это личный рейтинг преподавателя по итогам семестра и учебного года (средний балл обучавшихся у него студентов - по итогам независимого тестирования);
- это официальная оценка квалификации (квалификационный статус) преподавателя по результатам ежегодной аттестации, включающей: указанный выше средний балл; экспертную оценку качества информационно-методического комплекса по его учебным курсам; личный портфель достижений (научные исследования, методические разработки, повышение профессионального мастерства); оценка студентами квалификации преподавателя и качества преподавания по итогам обучения; относительное число студентов, записавшихся на обучение к данному преподавателю;
- это изменение положения об аттестации преподавателя, устанавливающее прямую зависимость заработной платы и официального статуса (ученые звания и др.) от личного рейтинга, квалификации (по результатам годовой аттестации) и наличия сертификата (свидетельства, удостоверения) о научно-педагогической подготовке (переподготовке);
- это предоставление практических возможностей получения научно-педагогической подготовки на профессиональном уровне, соответствующей переподготовки и повышения квалификации (психолого-педагогические основы и практические навыки ускоренного, развивающего и междисциплинарного обучения; современные методики интерактивного, индивидуального и группового обучения; методология научного исследования, организация и руководство НИРС).
3.2. Для ориентации на результат учебного материала главным фактором является жесткий отбор, структурирование и организация преподавателем всех материалов и деятельности обучающихся по их освоению в расчете на минимум подготовленности и способности к самостоятельному обучению. В частности:
- Четкое выделение единиц содержания, максимально сжатое изложение курса (на руки выдается максимально краткий конспект без подробностей и пояснений) - ядро курса для программированного освоения.
- Пошаговое усложнение структуры знания и осваиваемых видов деятельности (каждое дробление – не более 3-5 единиц).
- Освоение содержания малыми смысловыми блоками простой структуры до хорошего результата и с постоянной самопроверкой; после этого – переход к освоению следующего блока, и т.д.
- Отработка на аудиторных занятиях и перенос на самостоятельную работу алгоритма по усвоению материала и самоконтролю, выработка индивидуального стиля успешного самообучения. Мы выделяем три уровня (этапа) в формировании такого стиля: программированное обучение - учебный материал и процесс его усвоения полностью организуется преподавателем (кратко описано выше); программированное самообучение - учащийся самостоятельно и в группе организует усвоение (по заданному алгоритму) материала, структурированного и организованного преподавателем для целей обучения; свободное самообучение - самостоятельное усвоение учащимся информации из любого источника.
- Формирование алгоритма самоуправления оптимальным рабочим состоянием и быстрым восстановлением работоспособности (настройка и поддержание).
При этом преподаватель постоянно, в каждом действии нацелен на результат, эффективное взаимодействие и стимулирование учащихся к самообучению: «Как представить учащимся новую единицу содержания курса, как организовать для ее усвоения аудиторную и самостоятельную работу каждого учащегося с учетом его личных возможностей и ограничений, как поддержать их мотивацию, как направлять и наиболее эффективно организовать их индивидуальную и групповую работу, коллективное взаимообучение и самоконтроль?»
В итоге к тестированию все учащиеся в группе подходят на 100 % усвоив материал, многократно проверив себя и убедившись в этом. Поэтому официальный тест уже является не стрессовым фактором, а способом официального признания и фиксирования успеха, стимулирующим, мотивирующим дальнейшую работу.
3.3. Для ориентации на результат самого обучающегося главными факторами, определяющими степень его готовности к успешному самообучению, являются: умение работать с информацией (навыки теоретической работы); личностный рост (степень зрелости); значимые пробелы в предшествующем обучении.
Умение работать с информацией понимается здесь как наличие следующих видов освоенной деятельности: быстро и продуктивно читать (500 – 1000 слов в минуту); осмысливать, запоминать и вести структурированные записи при чтении и слушании учебного материала; грамотно, последовательно и обоснованно строить устную и письменную речь.
Личностная зрелость означает: осознанный выбор профессии в соответствии с жизненными целями и ценностями, принятие ответственности за свое образование и профессиональную подготовку как средство личной самореализации; наличие эффективной стратегии достижения жизненных целей; объективное понимание себя и других людей, умение и готовность взаимодействовать с ними на основе сотрудничества.
Термин значимые пробелы в предшествовавшем обучении означает конкретные знания, умения и навыки, низкий уровень освоения которых делает затруднительным или вообще невозможным обучение в вузе или колледже (например, отсутствие элементарных навыков теоретической работы и низкий уровень общего развития) или продолжение обучения по какому-то учебному курсу (например, не освоенный в средней школе курс казахского или английского языка, делает невозможным освоение соответствующего вузовского курса, если он построен как продолжающий).
Необходимость практического учета указанных факторов предполагает обязательный входной контроль - тестирование по пререквизитам учебных программ до или сразу после приема на первый курс обучения, а также организацию соответствующего предварительного обучения (в общеобразовательной школе, на подготовительных курсах, в период летнего семестра перед началом учебы в вузе и колледже или же в первом семестре).
Создание теста для текущего или рубежного контроля
(примерный образец начальной работы)
Спецификация теста по учебному курсу «Личностный рост»
1. Название теста: «Распознавание основных свойств личности»
2. Общая цель создания: инструмент самоконтроля, промежуточного и рубежного контроля по модулю «Понимание себя и других людей».
3. Задачи, решаемые тестом: выявить степень освоения признаков проявления основных свойств личности (модель Ю-А) на соответствие нормативному уровню; дать обучающимся возможность самопроверки.
4. Содержание теста: 56 заданий, равномерно охватывающих признаки распознавания в реальном поведении восьми базовых свойств личности по изучаемой модели (семь заданий на каждое свойство).
5. Время тестирования: 60 минут.
6. Вид тестирования: сплошное тестирование с раздельной оценкой (достижение нормативного уровня усвоения признаков распознавания каждого свойства и общая оценка по тесту).
7. Способы и шкалы оценки: каждое свойство считается освоенным при наличии трех и более правильных ответов из семи возможных (вероятность случайного угадывания – 0,049); если хотя бы по одному свойству число правильных ответов ниже указанного уровня, то по тесту в целом выставляется оценка ноль баллов; если все восемь свойств освоены, то общий балл по тесту вычисляется как процентная доля всех правильных ответов в общем числе заданий.
8. Уровень трудности заданий: задания считаются однородными, задача дифференциации заданий по трудности не ставилась, поскольку отрабатывается минимально необходимый и обязательный уровень усвоения (а не определение рейтинга обучающихся, который требует их упорядочения по индивидуальному уровню достижений, характерного для тестов по итогам обучения).
9. Результаты исследования обоснованности теста: тест находится в начале отработки и применялся на выборке из 68 обучающихся, экспертиза и статистическое обоснование не проводилось.
Первый этап работы
Производится отбор существенных признаков для опознания каждого из восьми свойств личности и составляется перечень для обязательного усвоения и включения в тестовые задания. Каждый признак, положенный в основу заданий, предварительно отрабатывается на практических занятиях и в заданиях для СРС.
Формулировка каждого задания строилась так, чтобы по возможности просто и ясно представлять один существенный признак. Поскольку исходные изучаемые свойства отобраны как пары по признаку противоположности, то и признаки формулируются, изучаются и представлены в тестовых заданиях аналогичными парами. Например, паре свойств «сенсорный – интуитивный» соответствуют признаки противоположной ориентации во времени: для сенсорного типа – «Стремление преуспевать здесь и сейчас», а для интуитивного – «Работает, чтобы обеспечить успех в будущем». В итоге, получился следующий список зданий, сгруппированный по свойствам:
Свойства и признаки (список)
1. Сенсорный
Стремление преуспевать здесь и сейчас. (1)
Стремление использовать опыт других людей, недоверие к идеям,
не проверенным практикой. (1)
Преобладает опора на органы чувств и практическую деятельность. (1)
Имеет развитые органы чувств и хорошее физическое развитие. (1)
Ценит физическую силу, высокое социальное положение и власть, уделяет внимание спорту, поддержанию хорошей физической формы. (1)
Имеет средний рост, атлетическое, плотное телосложение. Лицо среднего размера, квадратное или круглое. (1)
При полноте жировая прослойка равномерно распределяется по всему телу. (1)
2. Интуитивный
Работает, чтобы обеспечить успех в будущем. (2)
Способность предчувствовать, предвидеть развитие событий. (2)
Стремление опираться на новые идеи. (2)
Преобладает опора на воображение и теоретическую деятельность. (2)
Ценит ум, талант, творчество, состоявшуюся личность. Не уделяет особого внимания физическому развитию. (2)
Имеет тонкое телосложение, без выраженных мышц на лице и других частях тела (хилый – тонкие руки, ноги, шея и т.д.); слегка или сильно вытянутое лицо; иногда – высокий рост, крупные черты лица, нескладную фигуру. (2)
При полноте – более выражена полнота нижней части лица и тела. (2)
3. Этический
Предпочтение личного общения деловому. (3)
Высокая значимость взаимодействия с людьми, повышенная зависимость
от них. (3)
Стремление быть человечным, сострадающим, сопереживающим. (3)
Особое значение придает соблюдению равенства интересов, взаимного уважения в отношениях между людьми. (3)
Оценка ситуации и поведения по субъективным критериям –«нравится – не нравится», «хороший – плохой». (3)
Склонность к полноте: округленность, сглаженность черт лица и фигуры; толстая кожа – лицо без мелких морщин, иногда – угреватость кожи. (3)
Улыбчивость: улыбка свободная, освещает все лицо, практически не образуя складок и морщин. (3)
4. Логический
Предпочтение деловых отношений - личным. (4)
Стремление к анализу и решению проблем. (4)
Преобладающая значимость объективных процессов и явлений, независимость суждений и оценок. (4)
Особое значение придает рациональному достижению целей и результатов. (4)
Оценка ситуации и поведения по объективным критериям, доказательность и обоснованность суждений и выводов. (4)
Худощавость: резкие, рельефные черты лица и фигуры (угловатость); тонкая кожа – при подъеме бровей на лбу образуются мелкие морщины, а при улыбке – складки вокруг рта и морщины вокруг глаз. (4)
Серьезное (мрачное) выражение лица, улыбка зажатая, ограниченная складками кожи, иногда неуверенная. (4)
5. Левый
Жесткое поведение - нетерпимость к отклонениям от заданных правил, нормативов. (5)
Повышенная обязательность, неохотное отступление от привычных правил поведения. (5)
Восприятие действительности в статике, последовательное,
поэлементное – в абстрактных образах символов и понятий. (5)
Целесообразное упорядочение окружающей среды, поведения людей и
собственных действий, приведение их в соответствие с принятыми стандартами, рамками и правилами. (5)
Инертные нервные процессы, низкая переключаемость – замедленный переход от одних действий к другим и обратно. (5)
Способность длительное время сосредоточиваться на монотонной работе. (5)
При вспоминании зрительных картин глаза фиксируются слева-вверху; а при вспоминании голоса и звуков слева-в средней части поля зрения. (5)
6. Правый
Высокая готовность к изменению привычных правил поведения, чаще встречается личная необязательность в выполнении обещаний. (6)
Восприятие действительности в динамике, в целом, в сенсорных
образах. (6)
Гибкое поведение – выбор действий в зависимости от возможностей конкретной ситуации. (6)
Приспособительное поведение - принятие реальности такой, какая она есть. (6)
Подвижные нервные процессы, легкая переключаемость быстрый переход от одних действий к другим и обратно. (6)
Трудно дается сосредоточенность на монотонной работе. (6)
При вспоминании зрительных картин глаза фиксируются справа-вверху; при вспоминании голоса и звуков – справа- в средней части поля зрения. (6)
7. Интровертный
Нацеленность на выявление скрытых связей и отношений между объектами и свойствами среды. (7)
Преобладающая ориентация на обстоятельное обдумывание действий. (7)
Склонность проводить время в привычной обстановке, в домашнем кругу. (7)
Пассивность, сдержанность, осторожность в действиях и общении. (7)
Затруднения при вступлении в контакт с незнакомыми людьми. (7)
Неуверенность, скованность, робкое поведение. (7)
Склонность к индивидуальной деятельности, самодостаточность. (7)
8. Экстравертный
Нацеленность на выявление и активное использование свойств среды и составляющих ее объектов. (8)
Ориентация на немедленные действия. (8)
Склонность к приключениям и перемене мест. (8)
Активность, напористость, импульсивность в действиях и общении. (8)
Легкое вступление в контакты с незнакомыми людьми. (8)
Уверенное, раскованное поведение. (8)
Склонность к коллективным действиям, к компании. (8)
Второй этап работы
Единицы перечня случайным образом «перемешиваются» и становятся заданиями первичного (сырого) теста (приведен ниже). Теперь тест применяется на реальной группе изучающих данный курс. По результатам опроса и сопоставления ответов сильных и слабых учащихся (по каждому заданию отдельно) выявляются «плохие» формулировки (непонятные, относящиеся одновременно к разным свойствам, двусмысленные, неоднозначные). Они отбрасываются или переформулируются (тогда нужно заново делать проверку). После этого тест готов для экспертизы специалистами на предмет соответствия стандартным требованиям в отношении содержания, формулировок, процедуры применения, оценок, интерпретации и использования результатов.
Тест 1. (Вариант 2) «Распознавание основных свойств личности» (с ключами – цифра в конце каждого задания означает номер свойства в приведенном выше списке)
Для каждого суждения в предлагаемом ниже списке определите, какое из восьми основных свойств типа личности оно характеризует. Выберите нужный ответ «мышкой» и нажмите клавишу Enter.
1. Преобладающая значимость объективных процессов и явлений, независимость суждений и оценок. (4)
2. Нацеленность на выявление скрытых связей и отношений между объектами и свойствами среды. (7)
3. Предпочтение личного общения – деловому. (3)
4. Высокая готовность к изменению привычных правил поведения, чаще
встречается личная необязательность в выполнении обещаний. (6)
5. Стремление преуспевать здесь и сейчас. (1)
6. Нацеленность на выявление и активное использование свойств среды и составляющих ее объектов. (8)
7. Работает, чтобы обеспечить успех в будущем. (2)
8. Жесткое поведение - нетерпимость к отклонениям от заданных правил,
нормативов. (5)
9. Серьезное (мрачное) выражение лица, улыбка зажатая, ограниченная складками кожи, иногда неуверенная. (4)
10. Склонность к индивидуальной деятельности, самодостаточность. (7)
11. Улыбчивость: улыбка свободная, освещает все лицо, практически не образуя складок и морщин. (3)
12. При вспоминании зрительных картин глаза фиксируются справа-вверху; при
вспоминании голоса и звуков – справа- в средней части поля зрения. (6)
13. Имеет средний рост, атлетическое, плотное телосложение. Лицо среднего размера, квадратное или круглое. (1)
14. Склонность к коллективным действиям, к компании. (8)
15. При полноте – более выражена полнота нижней части лица и тела. (2)
16. Инертные нервные процессы, низкая переключаемость – замедленный переход от одних действий к другим и обратно. (5)
17. Худощавость: резкие, рельефные черты лица и фигуры (угловатость); тонкая кожа – при подъеме бровей на лбу образуются мелкие морщины, а при улыбке – складки вокруг рта и морщины вокруг глаз. (4)
18. Неуверенность, скованность, робкое поведение. (7)
19. Высокая значимость взаимодействия с людьми, повышенная зависимость
от них. (3)
20. Восприятие действительности в динамике, в целом, в сенсорных образах. (6)
21. При полноте жировая прослойка равномерно распределяется по всему телу. (1)
22. Ориентация на немедленные действия. (8)
23. Ценит ум, талант, творчество, состоявшуюся личность. Не уделяет особого внимания физическому развитию. (2)
24. При вспоминании зрительных картин глаза фиксируются слева-вверху; а при вспоминании голоса и звуков – слева-в средней части поля зрения. (5)
25. Оценка ситуации и поведения по объективным критериям, доказательность и обоснованность суждений и выводов. (4)
26. Затруднения при вступлении в контакт с незнакомыми людьми. (7)
27. Стремление быть человечным, сострадающим, сопереживающим. (3)
28. Гибкое поведение – выбор действий в зависимости от возможностей конкретной ситуации. (6)
29. Ценит физическую силу, высокое социальное положение и власть, уделяет внимание спорту, поддержанию хорошей физической формы. (1)
30. Склонность к приключениям и перемене мест. (8)
31. Имеет тонкое телосложение, без выраженных мышц на лице и других частях тела (хилый – тонкие руки, ноги, шея и т.д.); слегка или сильно вытянутое лицо; иногда – высокий рост, крупные черты лица, нескладную фигуру. (2)
32. Способность длительное время сосредоточиваться на монотонной работе. (5)
33. Особое значение придает рациональному достижению целей и результатов. (4)
34. Преобладающая ориентация на обстоятельное обдумывание действий. (7)
35. Склонность к полноте: округленность, сглаженность черт лица и фигуры; толстая кожа – лицо без мелких морщин, иногда – угреватость кожи. (3)
36. Подвижные нервные процессы, легкая переключаемость быстрый переход
от одних действий к другим и обратно. (6)
37. Стремление использовать опыт других людей, недоверие к идеям,
не проверенным практикой. (1)
38. Активность, напористость, импульсивность в действиях и общении. (8)
39. Преобладает опора на воображение и теоретическую деятельность. (2)
40. Целесообразное упорядочение окружающей среды, поведения людей и
собственных действий, приведение их в соответствие с принятыми стандартами, рамками и правилами. (5)
41. Предпочтение деловых отношений - личным. (4)
42. Склонность проводить время в привычной обстановке, в домашнем кругу. (7)
43. Особое значение придает соблюдению равенства интересов, взаимного уважения в отношениях между людьми. (3)
44. Приспособительное поведение - принятие реальности такой, какая она есть.
(6)
45. Преобладает опора на органы чувств и практическую деятельность. (1)
46. Легкое вступление в контакты с незнакомыми людьми. (8)
47. Способность предчувствовать, предвидеть развитие событий. (2)
48. Восприятие действительности в статике, последовательное,
поэлементное – в абстрактных образах символов и понятий. (5)
49. Стремление к анализу и решению проблем. (4)
50. Пассивность, сдержанность, осторожность в действиях и общении. (7)
51. Оценка ситуации и поведения по субъективным критериям –«нравится – не нравится», «хороший плохой». (3)
52. Трудно дается сосредоточенность на монотонной работе. (6)
53. Имеет развитые органы чувств и хорошее физическое развитие. (1)
54. Уверенное, раскованное поведение. (8)
55. Стремление опираться на новые идеи. (2)
56. Повышенная обязательность, неохотное отступление от привычных правил поведения. (5)
БЛАНК ОТВЕТОВ
(для ручного тестирования)
Дата________ ФИО______________ Группа_____________
Для каждой из изложенных выше характеристик укажите какому из названных ниже свойств личности она соответствует:
Свойство номер характеристики
в списке теста
_____________________________________________________________________
1. Сенсорный
2. Логический
3. Этический.
4. Правополушарный
5. Левополушарный.
6. Интуитивный.
7. Интровертный.
8. Экстравертный.
Третий этап работы
Проводится проверка теста и его заданий на обоснованность валидности, надежности, вариативности и меры трудности по статистическим критериям на большой репрезентативной выборке.
Для тестов по итогам изучения курса или для выпускного экзамена она обязательна, а для текущего и рубежного контроля – не является обязательной и может выполняться (или нет) по усмотрению учебного заведения или преподавателя.
Заключение: резюме.
Оценка ситуации в сфере образования.
Смысл реформы системы образования в Республике Казахстан состоит в переориентации на конечные результаты деятельности всех ее субъектов. Выбрана удачная форма организации образования (кредитная) и побудительный источник его развития (гарантия результатов для общества). Главным недостатком действующей системы образования назван общепринятый способ обучения, состоящий в одностороннем информировании учащихся и формальной ориентации на процесс без обратной связи. В качестве важного условия успеха выделена необходимость преодоления инерции и недостаточного профессионализма субъектов образования. В качестве критерия оценки действительной переориентации учебных заведений принято «качество даваемого ими образования», реализуемое через качество учебных программ, контроля результатов и процесса обучения.
Качество учебных программ.
Предлагается радикально повысить качество учебных программ, по которым ведется фактическое обучение за счет повышения статуса и детализации типовых программ, централизованного их создания (в комплексе с тестами) и дублирования в рабочих программах. Варьируемая часть рабочих программ сосредоточивается на информационно-методическом обеспечении и организации аудиторной и внеаудиторной работы учащихся в рамках программированного и свободного обучения.
Контроль результатов обучения.
Для общей оценки качества образования в учебных заведениях (рейтинг) предложено три критерия с соответствующими показателями оценки: уровень академической подготовки выпускников, их востребованность работодателями и престижность учебного заведения (конкурс и средний балл принятых на первый курс). Особое внимание уделено профессиональной организации тестирования в сфере образования. Приведены характерные недостатки, типичные ошибки и практические рекомендации по созданию и применению тестов.
Качество процесса обучения.
Исходной основой при оценке качества учебного процесса принято требование гарантированного и качественного освоения учебных программ каждым учащимся. Выделены факторы формирования практического алгоритма действий по ориентации на конкретные результаты каждого элемента учебной деятельности: внешних условий (механизм стимулирования), учебного материала, преподавателя и учащихся.
