External Evaluation Of Schools Research Articles

External School Evaluation Feedback and School Self-Evaluation: What Feedback Is Provided?

Concerns with educational quality have led to the implementation of external school evaluation (ESE), based on the premise that these processes can provide valuable information about schools and, consequently, create conditions for improvement. Improvement is based on the feedback, commonly in the form of an evaluation report, resulting from evaluations, describing the reality of each school, and providing clues and guidance for action and progress. Nonetheless, ESE still has a relatively weak impact on overall school improvement. With this in mind, this paper focuses on the potential of evaluation reports to promote improvement, aiming to answer the question: What kind of feedback on school self-evaluation (SSE) does ESE provide to schools? Focusing on the Portuguese case, the paper analyses the feedback regarding school self-evaluation provided in evaluation reports from the northern region of Portugal. The study concludes that the feedback provided in the reports is mainly descriptive and generic, referencing issues that apply to all schools rather than targeting issues specific to each school. This leads to the hypothesis that the vagueness of ESE feedback can explain the limited contribution external evaluations make towards SSE improvement in particular, and school improvement overall. The example of Portugal and self-evaluation can help bring to light where ESE processes are underperforming and require investment to achieve their goals.

The role of knowledge in the construction and promulgation of a public policy: the case of the external evaluation of schools in Portugal

Resumo No quadro da abordagem cognitiva das políticas, com base na pesquisa arquivística de textos oficiais, pesquisamos como conhecimento e política se interrelacionam nos processos de problematização e de preconização. Partimos dos produtos de duas cenas centrais: o “Governo”, enquanto autoridade pública, de cuja tomada de decisão resultou a Lei no 31/2002, de 20 de dezembro, que aprova o sistema de avaliação da Educação não superior e o Grupo de Trabalho mandatado pela Inspeção da Educação, em 2011, para reconfigurar o modelo inicial de avaliação. A lei e o modelo avaliativo, enquanto recetáculos do conhecimento que erigiu a política na ação pública, revelam a natureza do conhecimento que permitiu cogitar a avaliação, fabricar problemas e coletivizar soluções. Sobressaem os conhecimentos comparativo e cartográfico, que agilizam inferências de utilidade governamental e a eficácia da regulação, a partir do exemplo internacional, da evidence based policy e das boas práticas, reforçando a conveniência da política da avaliação, legitimando-a. Da análise, resultou, também, uma reflexão sobre a concomitância de formas burocráticas e pós-burocráticas no governo da Educação.

Políticas e práticas de avaliação externa de escolas: quais os espaços para a colaboração docente?

Abstract Teaching has traditionally been a solitary profession. However, both because of the growing awareness of the complexity of teaching and the emergence of a notion of curriculum based on transversal competences, teachers’ collaborative work is currently the focus of increased attention and research. Teacher collaboration has a paradoxical status in schools, as desired by educational policies and by teachers’ and schools’ discourses, but there is little evidence of authentic teacher collaboration practices. The present article intends to identify how teacher collaboration is at stake in schools. The perspective considered here is that of the frame of reference and reports of the third cycle of External Evaluation of Schools, conducted by the General Inspectorate of Education and Science in Portugal. The study uses document analysis as a data-gathering technique and content analysis for data analysis. The results point to the transversal valuing of teacher collaborative work in order to promote the improvement of teachers’ practices related to supervision.

The mechanisms by which external school evaluation in Iceland influences internal evaluation and school professionals’ practices

ABSTRACT The main purpose of this research is to analyse school principals’ and teachers’ attitudes towards external school evaluation in Iceland, in particular, the ways in which they consider the evaluation affects their schools’ internal evaluation and drives changes in their own practices. The study uses a quantitative method and is based on a survey conducted among principals and teachers in 22 schools that were externally evaluated during the years 2013 to 2015. The results indicate a positive attitude towards external school evaluation among both teachers and principals. Acceptance, setting expectations, and teacher participation were found to be significant predictors of perceived changes in internal evaluation in the teachers’ data. However, only acceptance significantly explained perceived changes in teaching practices. In the principals’ data, the only variable that had a significant association with perceived changes in internal evaluation was setting expectations, and only acceptance had a significant association with perceived changes in leadership practices. In accordance with the hypothesis of this study, the results underpin the importance of acceptance of the evaluation feedback and setting expectations through quality standards. However, contrary to the hypothesis, external stakeholder involvement did not prove to be a strong determinant of change as perceived by principals.

Schools’ Strengths and Areas for Improvement: Perspectives From External Evaluation Reports

In the context of schools’ growing autonomy, external evaluation mechanisms, including External Evaluation of Schools (EES), are increasingly central to educational policies. This paper is based on the documentary analysis of all reports of the third cycle of EES in Portugal (77 reports), focusing on two of the sections of those reports—the strengths and areas for improvement identified in them. The analysis intends to uncover the areas EES is currently stressing as relevant to assess schools’ quality and identify tendencies across years of implementation and territorial areas (TAs). The results identify some impacts from the TAs, highlighting the effects of the agents interpreting and implementing the policies. Some areas are highlighted as critical—such as the impact of self-evaluation, management, curriculum management, supervision and accompaniment of teaching practices, evaluation, pedagogical practices, or the analysis and improvement of the results. These areas are aligned with broader educational policy priorities.

Європейський досвід оцінювання якості середньої освіти

The article considers the practice of evaluating the quality of secondary education in European countries. The author of the article analyzes the characteristic features of the implementation of evaluation procedures in the educational space of secondary schools. The study aims at exploring the experience and procedure of the evaluation of the quality of secondary education in European countries and to recommend their achievements for the educational practice of Ukraine. Research methods: analysis, systematization, comparison, data classification, legislative provisions concerning the organization of pedagogical evaluation the quality of secondary education in European countries. Different countries have different approaches to understanding the external and internal evaluation of secondary education. Thus, 26 countries successfully implement both, internal and external evaluation procedure. Some countries use school assessment for quality assurance, along with other methods, such as monitoring under the aegis of regional public education authorities and teachers’ evaluation. Among the criteria for quality evaluation are the indicators of students’ academic performance, obtained as a result of international survey on the quality of education in various countries. Among the most popular surveys are PISA and TIMSS. The criteria used in the external evaluation of schools are highly standardized. They are developed by the departments of the education ministries in most researched countries and only in a minority of European countries they are developed by regional education authorities. In most cases, external evaluation of schools covers a wide range of the secondary education institution activities, including teaching, management, students’ learning outcomes and compliance with legal requirements and regulations. The evaluation criteria also include teachers' professional training and competence, teaching methods, students’ academic achievements, dropout rate, school organization and management, environmental and construction conditions, involvement of the stakeholders in the educational process, social context, and integrated interaction with the environment. The progressive experience of European countries can be effectively used to improve the domestic system of quality assurance in secondary education. Keywords: quality of secondary education, evaluation, internal evaluation of the quality of education, European experience in evaluating the quality of secondary education.

THE EXPRESSION OF LEARNING ORIENTED ASSESSMENT CULTURE: A QUALITATIVE STUDY OF TEACHERS’ PERCEPTIONS ABOUT ASSESSMENT

This article presents the results of a thematic analysis conducted after informal interviews with 10 teachers and a head teacher of one secondary school in the city of Vilnius about their classroom assessment practices. Part of a larger critical ethnographic research exploring the change of school culture when introducing assessment innovation, this analysis reveals common classroom assessment practices, teachers’ beliefs about the role of assessment, and the anxiety the  school community shares around standardized testing and examinations. Literature suggests that both formative and summative assessment practices have great potential for improving students’ learning. Teachers are encouraged to integrate assessment into their teaching in order to identify where their pupils are in their learning and the steps they need to take for improvement and progress (Gardner, Hayward, Harlen Stobart, 2008). However convincing the arguments in favour of change are, the external school evaluation data shows that the real change in the way teachers assess students’ progress is very slow and hardly noticed. The concept of learning oriented assessment culture (Birenbaum, 2014) could provide more understanding about the nature of good classroom assessment and necessary conditions that help to sustain school efforts in improving assessment practices.  

Avaliação externa das escolas em Portugal: Ensaio sobre racionalidade e significado

A avaliação é um processo que agrega diferentes dimensões de um objeto. Em educação, e pelas características que fundamentam as Ciências Sociais, a avaliação educacional desenvolve-se com base na análise crítica do processo e dos resultados qualitativos e quantitativos, justificando o processo deliberativo do estudo do objeto com fundamentações epistemológicas e científicas, que consideram as características do contexto como uma das principais variáveis a observar. O processo de avaliação é complexo e, por isso, exigente do ponto de vista da criação de critérios e, consequentemente, da assunção de resultados que forneçam dados sobre o estado das políticas, dos processos e das práticas em educação. Esta dificuldade não deve ser justificativa do laissez-faire, mas promotora de um debate em torno da avaliação que permita a construção de padrões de avaliação educacional próximos das práticas educativas, dos processos e das políticas em educação e respeitadoras dos seus contextos. O objetivo deste ensaio é refletir sobre os processos de avaliação educacional no contexto Português, focado na análise da experiência da Avaliação Externa das Escolas (AEE).

Determinants of teachers’ feedback acceptance during a school inspection visit

ABSTRACT Educational stakeholders generally assume that inspection feedback directly contributes to school improvement through the mechanism of feedback acceptance. Feedback research in general distinguishes between cognitive and affective responses as significant factors for feedback acceptance, but it also focuses on cognitive responses as antecedents of emotions and emphasises the interplay between cognition, emotions, and feedback acceptance. Quantitative evidence in external school evaluation research to support this view, however, is rather scarce. This study draws on quantitative data collected from 687 teachers in 80 Flemish primary schools that had recently been inspected. Using path analysis, we investigated the existence and strength of relationships between teachers’ cognitive and affective responses and teachers’ feedback acceptance. The analysis revealed that anger and feedback acceptance are predominantly explained by the perceived fairness of the evaluation process and outcome but that they are also explained by the perceived relevance of the provided feedback.

A Intervenção da Inspeção na Avaliação Externa das Escolas: um estudo com base das perceções de diretores de escolas

Em Portugal, o sistema de avaliação da educação e do ensino não superior surge em 2002, com a publicação da Lei n.º 31/2002, determinando pela mesma via jurídico-normativa que as escolas sejam submetidas a processos de avaliação externa. Este processo avaliativo foi confiado à Inspeção da Educação, a partir de 2007, passando este a ser um dos principais domínios da intervenção inspetiva. O presente estudo tem por objetivo analisar como é percecionado, por diretores de escolas públicas portuguesas, o papel da Inspeção no processo de Avaliação Externa das Escolas. Com uma natureza descritiva, o estudo apoiou-se na aplicação de um inquérito por questionário, respondido por 111 diretores do território de Portugal Continental. Os resultados evidenciam que a Avaliação Externa das Escolas é uma atividade inspetiva valorizada pelos diretores de escolas e desenvolvida em alinhamento, por um lado, com a missão e funções da Inspeção da Educação no sistema educativo, e, por outro, com os objetivos consignados na lei para aquela atividade. Evidencia-se ainda que os diretores de escolas percecionam esta atividade como oportunidade de afirmação da figura do diretor, de acreditação da sua liderança no exercício da sua autonomia.

Práticas curriculares e de avaliação da aprendizagem: Contributos para a melhoria

Neste artigo apresenta-se um estudo impulsionado pelo Programa Nacional de Promoção do Sucesso Escolar e pelos resultados da Avaliação Externa das Escolas, que pretendeu identificar práticas curriculares e de avaliação da aprendizagem nas disciplinas de matemática, ciências naturais e físico-química num agrupamento de escolas do norte de Portugal. Para o efeito, recorreu-se a um questionário para a recolha de dados junto de professores (n=14) e estudantes do 3º ciclo do ensino básico (n=238). Os resultados evidenciam a necessidade de mudanças nas práticas pedagógicas e didáticas consentâneas com um paradigma formativo centrado na aprendizagem que promova o envolvimento ativo dos estudantes nesse processo.

LEVEL OF TOLERANCES BY CHANGING EMPLOYEES IN PRE-SCHOOL INSTITUTIONS IN KOSOVO

Pre-school education, early education and upbringing are a topic that re-emerges on the agenda of educational institutions in all countries. Pre-school education is an integral part of the unique education system in Kosovo, which is organized to function within nine years of education. Pre-school education in Kosovo aims to establish a legal basis for editing, improving and promoting and imroving upbringing at this level. The stated goal, but also all other goals of preschool education are regulated by law. In practice, the situation is different. That is why the Ministry of Education, Science and Technology (MONT) in Kosovo wants to introduce changes that are reflected in the implementation of the new curriculum and internal and external evaluation of schools. Therefore, the main subject of this work is the level of tolerance for changes in the staff in pre-school institutions in Kosovo. The aim of the research is to determine the level of tolerance for changes in employees in Kosovo pre-school institutions, whether it is private or state institucion. The data we will obtain with this research are essential for improving the process of upbringing and education at preschool level. In order to open up questions for further research, we consider it important to examine this area, and on the basis of the obtained results, help both the staff in pre-school institutions and all the leaders who are in charge of regulating the legal bases and regulations in Kosovo in order to improve the quality of teaching.

From reform to reform: how school reforms are motivated and interrupted – the case of ‘school inspections’ in Germany

ABSTRACTIn this article, we analyse the implementation and change of a specific school reform in Germany using the example of external school evaluation in Lower Saxony: the school inspection. We investigate how and why a newly implemented reform is itself subject to reform shortly afterwards. We begin with a historical background of German school reforms over the last 40 years. Then, we consider school reforms through the lens of organisational theory. Finally, we combine the historical and theoretical perspectives on school reforms placing particular emphasis on more recent developments in external school evaluation. Based on these considerations, we elaborate some theses on reform and routine in schools.

Between External Influence and Autonomy of Schools: Effects of External Evaluation of Schools

Abstract The article analyzes the relationship between the External Evaluation of Schools (EES) - which takes place in Portugal since 2006 - and the curricular management processes. Its objective is to identify the effects of this evaluation on the curriculum management of schools. Data were collected by 108 questionnaires, two interviews and two focus groups in two Portuguese school groups with two distinct situations: a school group that rose in the rankings from the first to the second evaluation cycle (from 2006-2011/2012 to 2012-2015/2016) and the other one which dropped. The data analysis showed that the EES had a moderate impact on the curricular practices of the school group studied. However, there was a difference: the school group that rose in the rankings recognizes in more aspects and with more clarity the impact of EES on the restructure of its curricular practices.

Struggle for Acceptance - Maintaining External School Evaluation as an Institution in Germany

Struggle for Acceptance - Maintaining External School Evaluation as an Institution in Germany

The ambivalence of the External Evaluation of Schools effects in the school practices

Nós realizamos uma revisão exploratória da literatura de pesquisa e de políticas públicas relativas às avaliações internacionais em grande escala (ILSAs em inglês) e fizemos duas enquetes com especialistas, criadores de políticas públicas e educadores para entender se, até que ponto e como tais avaliações influenciaram a produção de políticas públicas no contexto nacional. Nossa revisão da literatura confirma que as ILSAs, com seus usos múltiplos e ambíguos, funcionam cada vez mais como soluções idióticas em busca do problema certo – ou seja, elas parecem ser usadas como ferramentas para legitimar reformas educacionais. Com “idióticas” não estamos nos referindo ao uso comum da palavra, que denota alguém que não é muito inteligente, mas ao significado original da palavra em grego antigo, ou seja, particular em oposição a perspectivas cívicas ou públicas. Os resultados de nossa enquete mostraram uma percepção crescente entre pesquisadores, criadores de políticas públicas e educadores, além de outros envolvidos, de que as ILSAs estão tendo um efeito nas políticas educacionais nacionais, visto que mais de um terço (38%) dos entrevistados afirmaram que as ILSAs foram, de modo geral, mal aplicadas nos contextos das políticas públicas nacionais. Contudo, ao passo que a literatura sobre a ILSA indica que essas avalições estão tendo alguma influência, há pouca evidência de que exista qualquer relação causal positiva ou negativa entre a participação da ILSA e a implementação de reformas educacionais. Talvez a mudança mais significativa associada com o uso das ILSAs na literatura que revisamos seja a maneira pela qual novas condições para a comparação educacional em nível nacional, regional e global se tornaram possíveis.

A ambivalência dos efeitos da avaliação externa das escolas nas práticas escolares

O presente artigo procura descrever a Avaliação Externa das Escolas em Portugal através de um breve enquadramento nas políticas educativas Europeias, numa lógica de reciprocidade entre os níveis nacional e transnacional, com o objetivo de refletir em torno das seguintes questões: A Avaliação Externa das Escolas promove a qualidade educativa? Que efeitos produz a Avaliação Externa das Escolas nas práticas docentes? Se, por um lado, existem vários estudos que destacam o facto de a Avaliação Externa das Escolas promover uma abordagem transformadora e formativa nas práticas escolares, através de consequências mais ou menos diretas, por outro, há estudos que clarificam que esses efeitos se refletem com pouca profundidade na realidade pedagógica. É neste contexto ambíguo que se pretende aprofundar a reflexão sobre a Avaliação Externa das Escolas e respetivos efeitos nas práticas escolares, nomeadamente, nas dimensões curricular e pedagógica, recorrendo às conclusões de vários estudos nacionais e internacionais para aprofundar a discussão.

The curriculum in school external evaluation frameworks in Portugal and England

The curriculum has been target of social and political demands due to its central role in school education and to the changes that occurred in education over the 20th century. The changes include more autonomy assigned to schools and teachers and the establishment of educational standards. These raised concerns that led European bodies to recommend the implementation of quality assurance systems. As a response, many countries created school external evaluation (SEE) processes in an attempt to improve school education and the curricula. Portugal and England are two countries that followed this tendency. This paper analyses SEE frameworks used in both countries to answer the following question: (1) How is the curriculum being addressed in the SEE in Portugal’s and England’s frameworks? The main conclusions drawn are as follows: (1) the curriculum is conceived as an open project; (2) the SEE frameworks from both countries address the curriculum by focusing on teachers’ role as curriculum developers and their curriculum development processes; and (3) the frameworks from Portugal and England reveal a concern with assessing the actual classroom environment and functioning.

A Avaliação Externa de Escolas na perspetiva dos Coordenadores de Autoavaliação

Em Portugal a Avaliação Externa de Escolas é consagrada pela Lei nº 31/2002, de 20 de fevereiro, tendo sido implementada, a partir de 2005/06, pela Inspeção Geral de Educação e Ciência. Este modelo constitui-se como um identificador de boas de práticas organizativas, procedimentais e pedagógicas das instituições educativas. Pretende criar de forma duradoura e sistemática uma cultura de qualidade e melhoria através da criação de níveis de eficiência e eficácia que permitam a contextualização e interpretação dos resultados com vista à credibilização e ao sucesso do sistema educativo. A Avaliação Externa de Escolas (AEE) surge enquadrada em políticas educativas nacionais e internacionais que promovem a legitimação do conceito de avaliação colocando a accountability, a qualidade, a melhoria, a eficácia, a eficiência e os resultados como objetivo primordial na avaliação de instituições. Neste contexto surge a questão: Quais as consequências da AEE na perspetiva dos coordenadores das equipas de autoavaliação de escolas da região norte de Portugal?. Para a compreensão do conceito de avaliação recorreu-se à análise de diferentes definições, sendo que a análise de conteúdo das entrevistas dos coordenadores da equipa de autoavaliação (n=2) de agrupamentos de escola da região norte de Portugal, baseia-se na perspetiva de avaliação de Nevo (2007) que considera que a avaliação compreende cinco funções: tomada de decisão, melhoria, accountability, profissionalismo e certificação. Através da análise das entrevistas verifica-se uma relação entre a AEE e as funções apontadas por Nevo (2007), na medida em que é um processo que legitima a tomada de decisões das lideranças intermédias das instituições educativas na busca da melhoria, responsabilizando os diversos atores e certificando aos olhos da sociedade as práticas organizativas, pedagógicas e curriculares desenvolvidas pelas escolas. Os dados do estudo apontam para a importância do contexto no desenvolvimento da equipa de autoavaliação, bem como no reconhecimento e no trabalho desenvolvido pelas equipas.

Modelos de avaliação externa de escolas em estabelecimentos públicos e privados de educação pré-escolar

A década de 1980, profícua em alterações políticas, sociais e económicas vieram reformar o papel do estado (Climaco, 2006) e o modo como este se relaciona com os cidadãos. A Avaliação Externa de Escolas (AEE) decretada pela Lei nº31/2002, de 20 de dezembro, emerge após a implementação de diversos projetos nacionais e de inspiração internacional e promove a avaliação dos estabelecimentos de educação pré-escolar e dos ensinos básico e secundário. Porém, a ela estão associadas políticas de prestação de contas, accountability e a responsabilização (Afonso, 2009), bem como a autonomia das escolas, a melhoria das escolas, o desenvolvimento profissional docente (Alves & Flores, 2011) e os movimentos das escolas eficazes. Simultaneamente, as escolas privadas recorrem a processos de avaliação interna e externa como forma de responder às necessidades dos seus clientes e, se possível, superar as suas expectativas, fidelizando assim os seus clientes. Qual o impacto e os efeitos do modelo de AEE utilizado pela IGEC nos estabelecimentos públicos e do Modelo de Avaliação da Qualidade (MAQ) nos estabelecimentos privados de educação pré-escolar? Quais os principais objetivos a que se propõem? Quais são os resultados obtidos ao nível curricular, pedagógico e organizacional? Recorrendo a uma metodologia qualitativa (Bogdan & Bicklen, 1999) de análise documental e de análise de conteúdo (Esteves, 2006) de entrevistas a diretores e educadores de infância das redes pública e privada de educação pré-escolar pode-se inferir que a melhoria é, sem dúvida, o objetivo principal e comum a todos os inquiridos, as avaliações externas conduzidas pelo Instituto da Segurança Social são mais frequentes e produzem maior impacto nas instituições do que aquelas conduzidas pela IGEC aos estabelecimentos públicos. Os dados recolhidos sugerem também efeitos organizacionais, como na admissão de docentes de todas as áreas de ensino, nomeadamente educadores de infância, nos órgãos de decisão da rede pública – na realidade, as educadores de infância assumem um maior reconhecimento não só do seu trabalho como da sua profissão por parte da comunidade mas também por parte dos docentes de outros graus de ensino. Os efeitos curriculares apontados são sentidos na aplicabilidade dos mesmos documentos orientadores (Orientações Curriculares para a Educação Pré-escolar, Metas de Aprendizagem, Projeto Educativo de Escola) em ambas as redes (pública e privada) e, finalmente, efeitos pedagógicos uma vez que as educadoras de infância assumiram o ajustamento das suas práticas à existência de novos documentos como as planificações, registos de avaliação de atividades e de aprendizagens dos alunos, que, estão cada mais uniformizados e semelhantes nas redes pública e privada. Este é, de facto, o efeito mais positivo apontado às AEE pelos educadores de infância de ambas as redes (Rodrigues, 2013).