46
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
e-ISSN: 2737-632x
Pgs 46-68
* Doctor en Innovación en Tecnología
Educativa
Universidad Autónoma de Baja
California
Facultad de Lenguas
gutierrez.jorge@uabc.edu.mx
https://orcid.org/0000-0003-3392-
6398
* Doctor en Administración Educativa
Universidad Estatal de Estudios
Pedagógicos
dralmejo@hotmail.com,
https://orcid.org/0000-0002-5014-
2571
Received: Febrary, 2024
Approved: May, 2024
DOI:
https://doi.org/10.31876/
ie.v8i12.272
http://www.revista-
iberoamericana.org/index.
php/es
How to cite:
Gutiérrez-Benitez, Almejo
(2024) A grade como
instrumento de análise
curricular na elaboração de
provas padronizadas. Revista
Iberoamericana De
educación, 8 (3).
A grade como instrumento de análise
curricular na elaboração de provas
padronizadas
The reticle as an instrument of curriculum analysis in the standardized tests
development
La retícula como instrumento de análisis curricular en la elaboración de
pruebas estandarizadas
Jorge-Gustavo Gutiérrez-Benítez*
Hiram Almejo Díaz*
Resumo
A construção de testes padronizados envolve processos
metodológicos rigorosos que por sua vez orientam sua validade e
confiabilidade. Nesse sentido, as primeiras etapas do
desenvolvimento do teste concentram-se na determinação do
universo de conhecimento que o teste pretende avaliar, processo
essencial para demonstrar a validade de conteúdo e de avaliação. ao
mesmo tempo justificam a representatividade do conteúdo temático.
Este artigo apresenta o desenho e desenvolvimento de um
instrumento conhecido como grade, para uma das disciplinas de
maior relevância curricular do núcleo comum de línguas da
Faculdade de Letras da Universidade Autônoma da Baixa Califórnia.
Instrumento utilizado para análise curricular na construção de testes
padronizados referidos ao critério, seguindo a metodologia
formulada pelo Instituto de Pesquisa e Desenvolvimento
Educacional da Universidade Autônoma da Baixa Califórnia, que
entre outros métodos estabelece a definição de comitês de
especialistas para a construção do instrumento e critérios definidos
para avaliar a importância dos conteúdos temáticos envolvidos na
prova. Entre os resultados destacados está a determinação do índice
de relevância curricular de todos os temas que compõem o currículo
da disciplina, critério utilizado para definir a representatividade de
cada conteúdo na prova, bem como especificar o grau de
contribuição de cada tema para o aproveitamento. de competência
em cada unidade. Foram identificados conteúdos temáticos cuja
relevância curricular é essencial para a concretização de
conhecimentos noutras unidades de aprendizagem, bem como para
conhecimentos futuros de outras disciplinas. Da mesma forma,
foram identificados conteúdos de baixíssima relevância curricular,
47
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
A grelha como instrumento de análise curricular na elaboração de testes padronizados.
47
denotando uma possível deficiência na construção do mapa
curricular da disciplina, situação que sugere sua correção e
atualização.
Palavras-chave: Padronização, Avaliação, Exames, Currículo.
Abstract
The construction of standardized tests involves rigorous
methodological processes that in turn provide guidelines for the test
validity and reliability. According to this, the first test development
stages focus on determining the universe of knowledge that the test
intends to evaluate, an essential process to demonstrate the content
validity and in turn justify the representativeness of thematic content.
This article presents the design and elaboration of an instrument
known as the reticule, for one of the most curricularly relevant
subjects in the common core of languages in the School of
Languages at the Autonomous University of Baja California.
Instrument used for curricular analysis in the construction of
standardized referring criteria tests, following the methodology
formulated by the Institute of Educational Research and
Development of the Autonomous University of Baja California,
which among other methods establishes the definition of expert
committees for the instrument construction and defined criteria to
evaluate the thematic contents importance implied in the test.
Among the outstanding results is the determination of the curricular
relevance index of all the topics that comprise the subject
curriculum, a criterion used to define the representativeness of each
content in the test, as well as to specify the degree of contribution of
each topic to the achievement of the competency in each unit.
Thematic contents were identified whose curricular relevance is
indispensable for the knowledge acquisition in other learning units,
as well as future knowledge for other subjects. Likewise, contents
with very low curricular relevance were identified, indicating a
possible deficiency in the subject curricular map construction, thus
suggesting a necessary correction and updating.
Keywords: Standardization, Assessment, Exams, Curriculum.
Resumen
La construcción de pruebas estandarizadas conlleva procesos
metodológicos rigurosos que a su vez dan pauta de la validez y
confiabilidad de la misma, en ese tenor las primeras etapas del
desarrollo de la prueba se enfocan en la determinación del universo
48
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
A grelha como instrumento de análise curricular na elaboração de testes padronizados.
48
de conocimientos que la prueba pretende evaluar, proceso esencial
para evidenciar la validez de contenido y a su vez justificar la
representatividad de contenidos temáticos. Este artículo presenta el
diseño y la elaboración de un instrumento conocido como la retícula,
para una de las asignaturas de mayor relevancia curricular en el
tronco común de lenguas en la Facultad de Idiomas de la Universidad
Autónoma de Baja California. Instrumento empleado para el análisis
curricular en la construcción de pruebas estandarizadas referidas a
criterio, siguiendo la metodología formulada por el Instituto de
Investigación y Desarrollo Educativo de la Universidad Autónoma
de Baja California, que entre otros métodos establece la definición de
comités de expertos para la construcción del instrumento y criterios
definidos para evaluar la importancia de los contenidos temáticos
implicados en la prueba. Dentro de los resultados sobresalientes se
encuentra la determinación del índice de relevancia curricular de
todos los temas que comprenden el currículo de la asignatura, criterio
utilizado para definir la representatividad de cada contenido en la
prueba, así como especificar el grado de contribución de cada tema
al logro de la competencia en cada unidad. Se identificaron
contenidos temáticos cuya relevancia curricular es indispensable para
la concreción de conocimientos en otras unidades de aprendizaje, así
como conocimientos futuros de otras asignaturas. Así mismo se
identificaron contenidos que poseen muy baja relevancia curricular
denotando una posible deficiencia en la construcción del mapa
curricular de la asignatura, situación que sugiere una corrección y
actualización del mismo.
Palabras clave: Estandarización, Evaluación, Exámenes, Currículo.
INTRODUÇÃO
O objetivo deste trabalho de investigação é apresentar o
procedimento metodológico para a elaboração da grelha de um teste
departamental padronizado para a disciplina de Morfologia na
Língua Segunda, uma das duas disciplinas de maior relevância
curricular do tronco comum de línguas da Faculdade de Letras da
UABC. Detalha aspectos como a definição de critérios de avaliação
específicos para determinar os índices de relevância curricular de
cada uma das disciplinas que compõem todo o universo de
conhecimentos abrangidos pela disciplina em questão, tais como a
relevância disciplinar, a contribuição para a aquisição de
competências e a contribuição para a aquisição de outros
conhecimentos. São também apresentados os diferentes tratamentos
49
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
A grelha como instrumento de análise curricular na elaboração de testes padronizados.
49
matemático-estatísticos que foram efectuados para determinar a
validade de conteúdo com base no julgamento de peritos. Também
se detalha o processo de justificação do conteúdo do teste e da sua
representatividade, ou seja, quantos itens devem ser incluídos no
teste com base na importância do conteúdo ou no seu IRC.
Posteriormente, são apresentados os resultados e produtos obtidos a
partir da execução de cada um dos procedimentos propostos pela
metodologia para a elaboração do teste departamental padronizado,
seguidos de uma discussão e conclusão sobre as principais vantagens
e contribuições proporcionadas por este instrumento da grelha na
análise do currículo da disciplina em questão.
A utilização de testes padronizados para as instituições de ensino,
em particular as instituições de ensino superior, é uma prática que
tem sido amplamente utilizada nos últimos anos, uma vez que, dadas
as exigências sociais e laborais na formação de profissionais, se opta
por este tipo de avaliação para ter instrumentos válidos e fiáveis,
sobre os quais se pode ter a base para a tomada de decisões com as
quais se pode melhorar a qualidade da educação oferecida
(Demarchi, 2020; George, 2020; Hernández et al., 2018; Muñoz Lira
& Bruna Gaete, 2024).
O desenvolvimento de testes estandardizados implica, na sua própria
natureza, a execução de diferentes procedimentos baseados em
quadros metodológicos rigorosos (Backhoff Escudero, 2018;
Fernández Navas et al., 2017; Ramos Palacios et al., 2021), com os
quais se pretende conferir uma qualidade educativa significativa ao
instrumento de avaliação. Neste sentido, alguns autores (George,
2020; Gutiérrez Benítez & Acuña Gamboa, 2022; Jornet, 2017;
Niño-Zafra, 2022) destacam entre os benefícios desse tipo de prova
a possibilidade de se aproximar da realidade do domínio do
conhecimento que o aluno possui pelo menos no momento da
execução da prova, uma vez que os marcos metodológicos permitem
apontar que a variação no desempenho alcançado na prova se deve
ao tema que é avaliado, ou seja, a variação não é atribuída à
qualidade técnica da prova ou ao processo de sua construção.
Na mesma linha, um dos procedimentos iniciais e importantes na
elaboração dessas provas é a determinação do universo de
conhecimentos que a prova pretende avaliar, e para isso é necessário
implementar procedimentos específicos que permitam identificar os
conteúdos temáticos que devem estar representados na prova,
estabelecer prioridades entre eles, bem como indicar o impacto que
esses conteúdos têm na obtenção das competências desejadas nos
alunos. Isto implica, portanto, que o teste padronizado possua
50
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
A grelha como instrumento de análise curricular na elaboração de testes padronizados.
50
validade de conteúdo (Aliaga Pacora et al., 2021; Carrillo Avalosa
et al., 2020; Jiménez-Macías et al., 2021; Sánchez, 2021; Torres-
Malca et al., 2022), que é entendida como a medida em que o
instrumento reflecte o domínio específico do conteúdo que está a ser
medido no teste.
Para alcançar o acima exposto, é comummente aplicado o método de
validação por julgamento de peritos, que consiste em fazer com que
diferentes especialistas na disciplina em questão emitam um juízo de
valor sobre o conteúdo temático ou o universo de conhecimentos que
o teste padronizado deve representar, um julgamento que, por sua
vez, é tratado através de procedimentos matemático-estatísticos que
permitem determinar, entre outros atributos, o índice de relevância
curricular (IRC) para cada conteúdo temático, bem como o índice de
concordância também conhecido como índice Kappa (Charry-
Mendez et al, 2022; Garcia-Valcarcel Muñoz-Repiso et al., 2020)
para os quais são utilizadas escalas de classificação, como a proposta
(Landis & Koch, 1977).
Existem diferentes metodologias para a elaboração de testes
normalizados, e cada uma delas propõe procedimentos específicos
para a definição e validade do conteúdo de conhecimentos que o teste
pretende avaliar, como é o caso da metodologia proposta pelo
Instituto de Investigação e Desenvolvimento Educativo (IIDE) da
Universidade Autónoma da Baixa Califórnia (UABC) para a
elaboração de testes normalizados referentes a critérios, É o caso da
metodologia proposta pelo Instituto de Investigação e
Desenvolvimento Educativo (IIDE) da Universidade Autónoma da
Baixa Califórnia (UABC) para a elaboração de testes normalizados
referenciados a critérios, que estabelece a criação de um instrumento
de análise curricular designado por grelha, que constitui o principal
input sobre o qual se tomam as decisões que orientam a escolha dos
conteúdos temáticos a incluir no teste.
MATERIAIS E MÉTODOS
A disciplina com a qual este projeto de investigação está a trabalhar
é a Morfologia da Segunda Língua, que pertence à fase básica, esta
disciplina é leccionada no primeiro semestre do núcleo comum de
línguas, oferecido pela Faculdade de Línguas da UABC, a uma média
anual de 600 alunos. Esta disciplina é uma série com a disciplina de
Morfossintaxe da Segunda Língua, que é leccionada no segundo
semestre.
Ambas as disciplinas são as mais relevantes curricularmente para o
tronco comum, e no caso particular da Morfologia da Segunda
51
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
A grelha como instrumento de análise curricular na elaboração de testes padronizados.
51
Língua faz parte do percurso académico da Comunicação
Linguística, percurso estabelecido para o desenvolvimento das
competências gerais do plano de estudos da Licenciatura em
Tradução, enquanto que para o plano de estudos da Licenciatura em
Ensino de Línguas se articula com mais de 4 disciplinas subsequentes
na fase disciplinar.
Procedimento
Como já foi referido, a grelha é um dos principais produtos gerados
no âmbito da implementação da primeira fase da metodologia
utilizada no desenvolvimento de exames departamentais
referenciados por critérios (González-Alvarado et al., 2020; Yang,
2023) formulada pelo IIDE (Contreras Niño, 2000; Contreras Niño
& Backhoff Escudero, 2004) com base no paradigma psicométrico
proposto por Nitko (1994) para o desenvolvimento de testes de larga
escala sob a abordagem referenciada por critérios. Estes testes são
orientados pelo currículo expresso nos programas das unidades de
aprendizagem (também conhecidas como cartas descritivas) das
disciplinas, o que significa que os conhecimentos a avaliar, bem
como a forma de os avaliar, são especificamente delimitados pelo que
o currículo estabelece.
Formalmente esta metodologia estabelece seis etapas principais, no
entanto, para este trabalho de investigação apenas se detalham os
procedimentos envolvidos nas três primeiras etapas:
I. Definição do domínio dos resultados pretendidos pelo
currículo.
II. Análise do currículo
III. Desenvolvimento do plano de avaliação
IV. Produção e validação de itens
V. Análise primária dos resultados
VI. Análise secundária dos resultados
Entre as primeiras acções das fases I e II, conta-se a constituição de
uma comissão coordenadora de exames (CCE) e de uma comissão de
conceção de exames (CDE), que por sua vez recebem formação sobre
as avaliações e os procedimentos que terão de realizar. Estes comités
são constituídos por diferentes professores que possuem
determinados atributos desejáveis: a) conhecimentos especializados
na disciplina para a qual o teste padronizado será desenvolvido, b)
conhecimentos especializados no mapa curricular do núcleo comum,
c) vários anos de experiência no ensino da disciplina e d)
conhecimentos especializados no currículo.
A metodologia estabelece que deve ser utilizado um comité diferente
para cada fase, ou seja, o mesmo professor não deve participar em
52
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
A grelha como instrumento de análise curricular na elaboração de testes padronizados.
52
mais do que uma fase, de modo a garantir uma maior objetividade
nos julgamentos efectuados. Para este trabalho de investigação, as
comissões foram constituídas por professores das quatro secções
estatais (Tijuana, Tecate, Ensenada e Mexicali) da Faculdade de
Línguas, permitindo assim uma melhor representação da comunidade
académica.
Para a Etapa I, é elaborada uma tabela de dupla entrada na qual se
representam e organizam graficamente os conteúdos conceptuais e os
conteúdos práticos expressos no programa da unidade de
aprendizagem da disciplina de Morfologia. Posteriormente, esta
tabela é apresentada a um comité para julgar e expressar, numa
primeira aproximação, as relações que existem entre cada um dos
conteúdos acima mencionados. Idealmente, este processo deve ser
efectuado com pelo menos 3 professores que reúnam os atributos a,
b e c desejáveis acima mencionados, de modo a chegar a um
consenso sobre a forma como os conteúdos devem ser relacionados.
Esta tabela de dupla entrada, para além de integrar todos os conteúdos
do universo de conhecimento em questão, deve ainda incluir
informações como a competência geral da disciplina, a competência
por unidade temática, a carga horária, os possíveis percursos
académicos envolvidos para a disciplina como a seriação com outra
disciplina e/ou para que outras disciplinas contribui para a
concretização do conhecimento.
Uma vez construída a tabela de dupla entrada, devem ser expressos
verbos de ação para estabelecer, a um nível lógico, as relações
previamente estabelecidas entre conteúdos conceptuais e práticos, e
deve também ser utilizado um código definido para indicar os
conteúdos que são essenciais, muito importantes e importantes,
classificação que é atribuída uma vez concluída a segunda fase da
análise curricular. O procedimento acima descrito é o que faz evoluir
a grelha de dupla entrada para o que se designa por grelha. O desenho
da tabela de dupla entrada e da grelha foi realizado com o software
Visio, uma aplicação de diagramação e de gráficos vectoriais que faz
parte do pacote de software Microsoft Office, propriedade da
Microsoft.
Para a etapa II, correspondente à análise do currículo, é construída
uma tabela na qual são listados todos os conteúdos conceituais e
práticos da disciplina, e para cada um deles são definidos atributos
de valor (ver tabela 1) que serão julgados por quatro juízes, sendo
estes:
53
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
A grelha como instrumento de análise curricular na elaboração de testes padronizados.
53
Tabela 1. Atributos de valor a serem julgados para cada conteúdo
Atributo
Valor
A1 Contribuição para a realização da competência
20%
A2 Dosagem (quantidade de conteúdo implícito)
10%
A3 Carga horária (atribuída ou estimada para a
aprendizagem)
10%
A4 Pertinência disciplinar
20%
A5 Proporção de serviços recebidos
20%
A6 Proporção de serviços prestados
20%
Fonte: elaboração própria
Como já foi referido, a metodologia estabelece que os juízes
escolhidos para esta fase não devem ser os mesmos que participaram
na fase anterior. No caso do atributo Relevância Disciplinar, esse
julgamento é feito por apenas um juiz, que é o especialista na
disciplina, daí a denominação de juiz disciplinar; enquanto
Contribuição para o alcance da competência, Dosagem e Carga
horária são julgados pelos três juízes restantes. Os atributos de
serviços recebidos e serviços prestados são obtidos através da
contagem das relações de entrada e de saída na grelha.
Após este processo, é efectuado o cálculo estatístico do coeficiente
de correlação intra-classe (ICC) através do modelo de Análise de
Variância (ANOVA) para determinar a fiabilidade entre as
classificações atribuídas pelos juízes. Os cálculos estatísticos acima
referidos foram efectuados com o software VassarStats. A
interpretação destas classificações (ver tabela 2) é dada por Landis &
Koch (citados em López-Ibáñez et al., 2023) em que o índice Kappa
assume valores de 0 a 1, em que 1 significa concordância perfeita.
Tabela 2. Classificação do índice Kappa
Força
Fraco -
ligeiro
Aceitável
Moderado
Considerável
Quase
perfeito
Fonte: Landis e Koch (citado em López-Ibáñez et al., 2023).
O principal produto do processo acima referido é a tabela do índice
de relevância curricular (IRC) de todos os conteúdos conceptuais e
práticos da disciplina. Nesta tabela, os conteúdos são ordenados
54
Revista Iberoamericana de la Educación, Vol - 8 No. 3, julho - setembro 2024
A grelha como instrumento de análise curricular na elaboração de testes padronizados.
54
hierarquicamente com base no seu nível de importância atribuído
pelo IRC.
Uma vez estabelecida a fiabilidade e a validade do julgamento,
obtém-se o IRC a partir da soma dos atributos de valor julgados,
estabelecendo-se um ponto de corte para classificar os conteúdos
essenciais (IRC >= .700), os muito importantes (IRC >= .400 e <
.700) e os importantes (IRC < .400 e > .100) e os que são objeto de
avaliação quanto à sua inclusão no currículo ou considerados sem
importância (IRC <= .100).
Esta tabela é o principal input sobre o qual se desenvolve a fase III
correspondente ao plano de avaliação, fase cujo principal produto é
o documento justificativo dos conteúdos a incluir e a avaliar na
prova, que toma como base o IRC de cada conteúdo para a decisão
anterior, bem como fundamenta o número de itens a produzir para
cada conteúdo temático.
Esta última implica que a distribuição dos itens se baseie na
ponderação do IRC para o qual um item é elaborado, pelo que há
mais itens na prova para os tópicos, subtópicos, etc., que têm maior
relevância curricular para a concretização da competência geral do
curso, bem como para os tópicos que são críticos para a realização
de conhecimentos futuros.
É importante referir que a descrição da justificação de cada conteúdo
deve ser muito pormenorizada, pois são suficientes, mas ao mesmo
tempo devem ser apresentadas razões específicas e concretas para os
atributos de valor que justificam a inclusão do conteúdo temático na
prova, bem como o número de itens a testar, especificando para cada
item o aspeto do conhecimento a avaliar.
RESULTADOS
Para o desenvolvimento da fase I da metodologia, o comité era
composto por cinco professores, três da unidade académica de
Tecate, um de Mexicali e um de Ensenada. Este comité foi
responsável pela elaboração da tabela de dupla entrada, que mais
tarde se tornou a grelha. Dado que, graficamente, a grelha de dupla
entrada é um instrumento muito extenso, uma vez que representa
todo o universo de conhecimentos envolvidos no tema, a figura 1
mostra apenas o primeiro segmento da grelha.