Pesquisa para a prática: O futuro dos laboratórios educacionais regionais

O desafio de criar práticas baseadas em evidências atormenta vários campos. Na medicina, por exemplo, os profissionais de saúde freqüentemente deixam de lavar bem as mãos após o contato com o paciente, embora estejam cientes da importância de fazê-lo.

Na educação, o governo federal tem historicamente colocado responsabilidade substancial pela pesquisa translacional nas mãos dos Laboratórios Educacionais Regionais (RELs), que foram estabelecidos em 1966 como parte da Lei do Ensino Fundamental e Médio (ESEA) original. O presidente Lyndon Johnson, cuja administração supervisionou a criação da ESEA e dos RELs, tinha aspirações expansivas para um papel federal na educação. A ESEA deveria fornecer financiamento federal para a reforma, com foco em crianças de famílias de baixa renda. A base de conhecimento para a reforma seria criada por novos centros nacionais de pesquisa e desenvolvimento, e os RELs deveriam ser os tradutores do conhecimento científico para os profissionais. Essa visão original não foi realizada como resultado de vários impedimentos duradouros:

  1. Nenhuma ciência para traduzir. Em 1999, as Academias Nacionais de Ciências concluíram sobre a educação que Em nenhum outro campo ... a base de pesquisa é tão inadequada e pouco utilizada. Se uma boa pesquisa educacional era escassa em 1999, imagine o que estava disponível em 1966, quando os RELs começaram. Assim, o modelo inicial para os RELs, segundo o qual eles desempenhariam um papel semelhante ao dos extensionistas na agricultura, foi inspirado conceitualmente, mas praticamente impossível. Os agentes agrícolas tinham ciência sólida para transmitir aos agricultores. Os RELs tinham pouca ou nenhuma ciência para transmitir aos administradores e professores das escolas.
  2. Baixos níveis de financiamento. Outro problema com o modelo original para os RELs é que o nível de financiamento ficou irremediavelmente aquém do que seria necessário para atender a uma base de clientes de distritos escolares individuais. Há um agente de extensão cooperativa agrícola em todos os condados dos EUA. O serviço de extensão recebe mais de US $ 700 milhões em apoio federal direto anual, mais montantes significativos de dotações estaduais e apoio indireto das universidades de concessão de terras que abrigam o programa. Em contraste, existem 10 laboratórios educacionais para todos os Estados Unidos com um orçamento combinado de $ 70,7 milhões. Eles não implantam representantes de campo.
  3. Precisa fazer lobby. Um terceiro problema para os RELs surgiu ao longo do tempo e foi uma consequência previsível de baixos níveis de financiamento e definições irrealistas de missão: seu modelo de negócios mudou para manter o apoio do Congresso para o financiamento contínuo. Para esse fim, eles formaram uma organização de lobby, agora chamada de Aliança do Conhecimento, que tinha o objetivo principal de frustrar os esforços periódicos para encerrar o programa de REL. Por exemplo, o governo George W. Bush propôs a eliminação do programa REL em suas solicitações de orçamento ao Congresso em 2004, 2005 e 2006. Os RELs fizeram lobby com sucesso para continuar a financiar o programa nos níveis existentes. Uma circunstância em que o valor de um programa federal está em dúvida, o apoio da administração é equívoco e a sobrevivência é uma função do lobby político é aquela que não conduz à melhoria do programa, seja de cima para baixo ou de baixo para cima.
  4. Quem está no comando? A gestão dos RELs a partir do nível federal era desafiadora por causa dos dispositivos estatutários conflitantes que simultaneamente exigem supervisão federal e, ao mesmo tempo, exigem que os RELs respondam aos seus próprios conselhos regionais. Com o tempo e por meio de várias administrações, o Departamento de Educação e o Congresso tentaram exercer mais influência sobre a operação dos RELs para garantir que estivessem atendendo às prioridades federais e fazendo justiça à pesquisa que deveriam traduzir na prática. No entanto, muitas vezes havia um conflito entre a satisfação de funcionários federais e a satisfação de constituintes regionais, especialmente aqueles que podiam ajudar a fazer lobby no Congresso para obter financiamento contínuo.
  5. Controle de qualidade. O lamentável estado da pesquisa em educação em 1999, conforme descrito pelas Academias Nacionais, estendeu-se ao trabalho dos RELs. Os esforços no nível federal para criar padrões mais elevados para os RELs foram complicados por linhas confusas de autoridade, conforme descrito anteriormente, bem como ambigüidades na marca. Os maiores contratados de REL, que começaram exclusivamente como RELs, passaram a gerar muito mais de sua receita de fontes estaduais, fundacionais e outras fontes federais do que de seus contratos de REL. No entanto, todos os produtos de entidades corporativas tendiam a ser vistos como trabalho de REL, enquanto a maioria não estava sujeita à supervisão do escritório federal responsável pelos RELs - agora o Instituto de Ciências da Educação (IES) do Departamento de Educação dos EUA. Progressos substanciais nos problemas conjuntos de qualidade e marca foram feitos nos últimos anos, exigindo que os produtos REL passem por uma revisão por pares independente gerenciada pelo IES, que os nomes REL individuais, por exemplo, REL Midwest, sejam restritos para uso apenas com produtos produzidos sob o contrato do REL, e que todos os produtos escritos do REL sejam disseminados por meio de um site compartilhado pelos RELs.

Oportunidades



Alguns dos desafios históricos para os RELs diminuíram substancialmente. Em primeiro lugar, e mais importante, agora há ciência para traduzir. Por exemplo, o What Works Clearinghouse, uma atividade do IES, nos últimos 6 anos conduziu revisões sistemáticas e relatou a evidência em aproximadamente 500 intervenções e programas educacionais de marca separados e identificou cerca de 20 por cento como tendo evidência positiva ou potencialmente positiva de eficácia. Os padrões de evidência da Câmara são claros e condizentes com aqueles empregados para examinar o impacto do programa em outras áreas. Isso torna viável pela primeira vez a visão original para os RELs como corretores e tradutores entre os mundos da pesquisa e da prática.

Em segundo lugar, o governo Obama está fortemente comprometido com a reforma educacional, e a atual liderança do IES vê os RELs como essenciais para esse esforço.

quais são as classes sociais na américa

Terceiro, os problemas de controle de qualidade que atormentaram os RELs durante grande parte de sua existência foram diminuídos consideravelmente pelos procedimentos de revisão independente instituídos sob seus contratos atuais.

Finalmente, embora o principal trabalho realizado pelos RELs sob seus contratos atuais, avaliações rigorosas de intervenções relevantes para suas regiões, não seja, em minha opinião, sua função ideal, isso fez com que muitos RELs contratassem novos funcionários com sólidas credenciais científicas. Isso, por sua vez, revigorou a cultura da ciência nas organizações que hospedam os RELs e forneceu uma base sólida para os próximos passos em sua evolução.

Que direção essa evolução deve tomar? Eu vejo três possibilidades:

  1. O status quo. Os atuais contratos de 5 anos para RELs, válidos até 2010, exigem que realizem duas atividades principais; relatórios de resposta rápida e avaliações de impacto rigorosas. Os relatórios de resposta rápida, produzidos em grande quantidade, são análises descritivas de resposta rápida das tendências e condições da educação na região. Os exemplos incluem uma revisão dos padrões de ensino profissional na região oeste, uma descrição de como os estados do meio-oeste usam seus sistemas de dados na tentativa de melhorar o desempenho educacional e relatórios do grau de alinhamento entre os padrões de aprendizagem do estado e as estruturas de avaliação da NAEP no sudoeste . Além disso, cada REL está conduzindo pelo menos uma avaliação de impacto rigorosa usando uma metodologia controlada aleatória. Quinze estão em andamento. Os exemplos incluem estudos dos efeitos de um programa de educação de caráter de marca no desempenho e comportamento dos alunos, o impacto de um programa de desenvolvimento profissional destinado a melhorar o uso da avaliação formativa pelos professores em sala de aula e o impacto do programa de software de leitura suplementar na leitura dos alunos realização. Nenhum dos 15 estudos foi concluído e relatado.

    Relatórios descritivos de resposta rápida, por exemplo, como os estados estão usando seus sistemas de dados ou credenciando professores, têm valor potencial. No entanto, suspeito que uma parte generosa dos relatórios de resposta rápida produzidos até o momento foram em resposta à exigência de produtividade do IES nesta área, e não em resposta às necessidades urgentes expressas pelos clientes nas regiões.

    Fazer com que os RELs conduzam testes controlados randomizados que levam cinco anos para serem relatados, consomem uma parte substancial de seus orçamentos e, na maioria dos casos, não têm relevância exclusiva para sua região, não é politicamente sustentável nem o melhor uso desse recurso. A nação precisa de avaliações de impacto mais rigorosas dos programas e práticas educacionais. No entanto, o Congresso deve fornecer um fluxo de financiamento dedicado para esse trabalho, e os contratos e subvenções para fazê-lo devem ser concedidos de forma competitiva. Organizações que abrigam RELs que desenvolveram capacidade para esse tipo de trabalho podem competir por esses contratos junto com as firmas de pesquisa contratadas, para as quais avaliações rigorosas são essenciais.

  2. Análise de dados administrativos em todo o estado. A meta de ter bancos de dados de educação longitudinais em todo o estado foi perseguida vigorosamente durante o governo George W. Bush. O governo Obama aumentou substancialmente o financiamento para esse esforço por meio da Lei de Recuperação e Reinvestimento Americana de 2009 e ameaçou desqualificar os estados da competição por US $ 4,3 bilhões em fundos Race to the Top que não vinculam seus dados de alunos a professores individuais. Se tudo correr de acordo com o planejado, em um futuro próximo todos os estados terão data warehouses com dados longitudinais de aproveitamento dos alunos vinculados a uma variedade de variáveis ​​de entrada de educação. Esses bancos de dados administrativos podem servir como um combustível potente para pesquisas, análogo ao papel que rádios e telescópios ópticos cada vez mais poderosos têm desempenhado na astronomia.

    No entanto, ter dados disponíveis e ser capaz de usá-los são duas coisas diferentes. Apenas alguns estados têm capacidade de pessoal em seu escritório estadual de educação para conduzir análises de dados longitudinais para tratar de questões de política. Isso significa que a maioria das iniciativas de política falha, tanto no projeto original quanto na avaliação subsequente. Os esforços do IES para aumentar o trabalho analítico com bancos de dados longitudinais estaduais, principalmente por meio do financiamento do Centro nacional para a Análise de Dados Longitudinais em Pesquisa em Educação (CALDER), têm sido importantes e produtivos. No entanto, o CALDER e centros acadêmicos relacionados são administrados por pesquisadores que abordam questões de seu interesse em seus horários. Freqüentemente, essas questões são de pouco interesse para os formuladores de políticas estaduais, que não têm onde recorrer a análises rápidas e sofisticadas de dados estaduais para tratar de questões importantes para eles. Esta é uma lacuna importante que os RELs podem preencher.

    Um estado pode desejar, por exemplo, uma análise de valor agregado das diferenças na eficácia inicial do professor pelas instituições de preparação de professores dentro do estado. Outro pode estar interessado em identificar escolas charter com desempenho significativamente abaixo da média, considerando os dados demográficos dos alunos que atendem. Outro ainda pode querer saber se suas políticas para aumentar a participação de AP em escolas que atendem a alunos desfavorecidos foram associadas a taxas mais altas de graduação e matrículas em faculdades nessas escolas.

    O principal desafio para os RELs ao seguir essa linha de trabalho é que a lista anterior de perguntas interessantes poderia ter várias páginas. Um orçamento de US $ 6 a US $ 7 milhões por ano para um REL individual cobriria os custos de abordar apenas algumas questões que poderiam ser feitas pelos formuladores de políticas estaduais em cada estado de sua região. Além disso, o sucesso na prestação desse serviço geraria substancialmente mais demanda por ele. Mais financiamento para os RELs ajudaria, mas um bem grátis desse tipo provavelmente terá excesso de inscrições, mesmo que seja financiado de forma mais generosa. Uma solução para o estabelecimento de prioridades seria dar aos departamentos estaduais de educação créditos que eles poderiam gastar na contratação de trabalho analítico pelos RELs, e fornecer incentivos para que eles combinassem suas despesas de crédito com o financiamento de seu conjunto administrativo para outros programas federais, como Título I da ESEA.

    o que acontece se o teto da dívida não for aumentado
  3. Melhorar os sistemas de processo nas escolas e distritos. O IES tem incentivado com sucesso a comunidade de pesquisa acadêmica a abordar questões aplicadas em tópicos como currículo, eficácia do professor, pedagogia e instrução. O mercado comercial tem mais ou menos sucesso na geração de produtos para educadores em áreas nas quais distritos escolares e estados têm orçamentos. Livros didáticos, software educacional e administrativo e avaliações do aproveitamento do aluno são as principais instâncias. Onde há uma necessidade substancial não atendida é no desenvolvimento de inovações de processo; isto é, modificações de processos e procedimentos existentes para alcançar resultados superiores ou maiores eficiências.

    Poucos argumentariam que os distritos escolares estão na vanguarda das melhorias de processo. A grande maioria dos distritos escolares de K-12 são monopólios no sentido de que os residentes dentro dos limites do distrito não podem comprar uma educação mais eficaz ou de custo mais baixo para seus filhos. Além disso, tem havido uma ausência de dados comparativos e responsabilidade por qualquer coisa além do desempenho dos alunos. Como resultado, as pressões por melhorias de processo em setores nos quais há concorrência real em qualidade, preço, eficiência e satisfação do cliente, onde há benchmarks comparativos aceitos para processos de negócios centrais, ou onde a produtividade é necessária para a sobrevivência estão amplamente ausentes no público educação K-12.

    Quase todas as áreas do sistema educacional precisam de ferramentas eficazes para melhorar os processos, desde programas de merenda escolar, transporte de ônibus, seleção de professores, práticas de instrução em sala de aula e monitoramento de evasão escolar. Este espaço está amplamente desocupado pelos desenvolvedores porque não há um mercado existente para produtos de melhoria de processos. Este é um caso clássico para P&D financiado pelo governo.

    Por exemplo, o IES produziu um guia prático útil que descreve como o ensino deve ser alinhado com as descobertas da ciência cognitiva, como o valor dos questionários frequentes. Quem está produzindo uma lista de verificação a ser usada pelos professores para garantir que suas práticas de questionários atendam aos padrões razoáveis ​​extrapolados da pesquisa resumida no guia de prática do IES?

    Os processos de recursos humanos na maioria dos distritos escolares estão longe de ser empíricos, ao passo que há pesquisas substanciais sobre as características mensuráveis ​​dos futuros professores que predizem o desempenho em sala de aula. Quem está desenvolvendo uma equação de predição para uso por distritos que permite a seleção de professores com maior probabilidade de eficácia inicial na sala de aula?

    O What Works Clearinghouse resumiu dados consideráveis ​​sobre quais currículos têm a melhor evidência de eficácia, mas muitos distritos não os usam. Quem está desenvolvendo uma ferramenta de decisão para distritos que gera uma pontuação de favorabilidade para produtos de currículo com base na qualidade e extensão da evidência, tamanho do efeito, custo e semelhança da população do distrito com os alunos que foram estudados na pesquisa?

    Quem está desenvolvendo software e um portal da web que pode ser implantado por escolas de ensino médio que permite que alunos do 10º ano e seus pais determinem, com base na seleção do curso do aluno, notas, uma avaliação online e informações financeiras da família, o provável sucesso do aluno na admissão para uma série de instituições pós-ensino médio, a probabilidade de que o aluno precisará fazer cursos corretivos se admitido, o custo líquido provável da frequência e as opções que o aluno tem ao longo dos anos restantes do ensino médio para melhorar as perspectivas pós-ensino médio?

    Quem está gerando um banco de dados que os contribuintes locais, conselhos escolares, legislaturas e formuladores de políticas podem consultar para identificar distritos escolares que são discrepantes em dimensões como custo de serviços de transporte, pessoal da administração central, dívidas de títulos e semelhantes?

    Os RELs podem fazer esse tipo de trabalho e é extremamente necessário.

Resumo e recomendações

A prática e a política de educação começaram uma transformação para a prática baseada em pesquisa que foi antecipada com a aprovação do primeiro ESEA há mais de 40 anos, mas foi frustrada até recentemente por pouco investimento e padrões fracos para a pesquisa em educação. Agora temos uma base sólida e em rápida expansão de pesquisa rigorosa e relevante sobre a qual uma prática mais eficaz pode ser construída.

Os RELs foram originalmente concebidos para serem os corretores e tradutores da pesquisa educacional para a prática e a política, mas não podiam cumprir esse papel sem uma base de pesquisa forte, mecanismos eficazes para o controle de qualidade de seus produtos e uma postura ativista do governo federal na reforma educacional . Os próximos anos serão de oportunidade incomparável para os RELs demonstrarem o valor de sua missão original e, ao fazê-lo, serão um componente crítico da transformação da educação em um campo baseado em evidências. A próxima nova competição dos contratos de cinco anos do REL, a reautorização da Lei de Reforma das Ciências da Educação e da Lei do Ensino Fundamental e Médio e a expressão da visão da nova liderança do IES e do Departamento de Educação será o governo federal fulcros para a evolução dos RELs. As organizações que abrigam os RELs existentes e possíveis novos participantes também terão um papel importante a desempenhar, articulando seus próprios pontos de vista sobre como podem servir melhor suas regiões, ao decidir se estão no negócio de simplesmente expandir seus negócios ou promover um missão da reforma baseada em pesquisa e em determinar se a sua melhor perspectiva para o futuro é fazer parceria com o governo Obama e a liderança do IES ou continuar a fazer lobby no Congresso para o que se tornou um financiamento reservado em termos que fornecem o mínimo controle possível do Departamento de Educação.

Existem três possibilidades para o tipo de atividade que os RELs podem realizar de forma mais útil, dentro dos limites práticos de seu financiamento e suas amplas missões de assistência regional. A primeira é continuar o caminho atual de geração de relatórios descritivos de retorno rápido sobre o estado da educação em suas regiões e conduzir testes randomizados ambiciosos e demorados sobre o impacto dos programas e práticas educacionais. O segundo é a análise de dados administrativos em todo o estado para fornecer suporte de decisão e implementação para legisladores e administradores estaduais. O terceiro é desenvolver ferramentas para melhorar a qualidade e a eficiência dos processos diários do distrito escolar.

O governo Obama e os defensores regionais dos RELs provavelmente preferirão alguma variante da função analítica. Afinal, o secretário de Educação Arne Duncan e o presidente Obama identificaram a expansão e o uso de bancos de dados longitudinais em todo o estado como uma de suas principais prioridades educacionais, e a experiência profissional anterior de John Easton, o novo diretor do IES, estava exclusivamente realizando esse trabalho para as Escolas Públicas de Chicago e o Consórcio de Pesquisa Escolar de Chicago.

quantos votos para lixadeiras bernie

Existem, no entanto, outras maneiras de fortalecer a função analítica no nível estadual. Em particular, o programa de doações do IES para estabelecer bancos de dados longitudinais em todo o estado, que deveria ter alcançado seu objetivo em um futuro próximo, poderia ser transformado em um programa de doações para apoiar a análise estadual de dados para fins de política e implementação. O apoio do Congresso para este fluxo de financiamento está bem estabelecido, os níveis de financiamento são substanciais e dar aos estados os recursos financeiros para realizar ou comprar suas próprias análises provavelmente gerará um trabalho que pode ser conduzido de forma mais rápida e responsiva do que um processo que requer priorização por os RELs e IES.

A empresa de P&D em educação precisa investir mais profunda e sistematicamente em inovações de processo que atenderão às necessidades práticas de distritos escolares e escolas. É improvável que nos tornemos dramaticamente melhores na educação de alunos até que tenhamos um quadro de pesquisadores cujo trabalho seja projetar processos mais eficientes e eficazes para realizar o trabalho das escolas. A educação tem uma comunidade de pesquisa educacional cada vez mais forte, mas fora de algumas áreas, como materiais de instrução, ela carece de engenheiros. Caso os RELs se tornem os engenheiros dos múltiplos aspectos da melhoria escolar que atualmente não têm um mercado comercial, eles podem ser uma força transformadora para a educação pública.

A nação não pode mais tolerar grandes diferenças na qualidade de suas escolas e salas de aula. A geografia residencial e as peculiaridades da escolha da escola e da atribuição da sala de aula não podem continuar a definir o destino educacional de cada aluno. Precisamos que todas as nossas escolas sejam boas o suficiente para fazer o trabalho que se espera delas. Isso exigirá nada menos do que um esforço incansável para projetar processos que garantam resultados aceitáveis. Grande parte desse trabalho será reduzida a ervas daninhas e os resultados de qualquer esforço individual serão incrementais. Examinado em um curto espaço de tempo, pode não parecer que está indo muito longe. Mas é o acúmulo e a progressão dessas melhorias incrementais que, em última análise, serão transformadoras para o desempenho dos alunos e o futuro da nação. Se os RELs não fizerem esse trabalho, quem o fará?

As recomendações neste documento são desenvolvidas de forma mais completa e colocadas no contexto da história da educação em Whitehurst, G. (2010). Pesquisa educacional: passado, presente e futuro . São Francisco: WestEd. Disponível online em http://www.wested.org/cs/we/view/rs/1006 . Trecho adaptado aqui com permissão da WestEd.