Em andamento

Evaluation of Training in Community Forest Management

Analysis of public policies, dynamics and territorial conflicts involving different publics to capture Amazonian socio-biodiversity

Between November 2016 and March 2017, a team of researchers from the Center for Studies in Public Administration and Government (FGV EAESP/CEAPG), coordinated by professors Zilma Borges and Fernando Burgos, carried out the project "Evaluation of Training in Community Forest Management" in an Amazonian context.

Implemented by the Roberto Marinho Foundation in partnership with the Brazilian Forest Service (SFB), the Good Energies Foundation and the Climate and Land Use Alliance (CLUA) and the Universities of Pará, the evaluation included an analysis of public policies, territorial dynamics and conflicts and involved various stakeholders to capture Amazonian socio-biodiversity.

The Amazon Rainforest is known internationally for its socio-biodiversity as a sensitive territory, whose natural resource management must reconcile diverse social, economic and environmental interests. In this way, forest management is seen as an important tool for conserving natural resources, in order to provide a means of development for the populations of this marked territory characterized by its abundance of natural resources and conflict in political and economic terms.

Considering that community management is essentially made up of collective practices, relational in nature and to be applied in diverse contexts, the work was guided by an evaluation approach that sought to understand the objective and subjective conditions of the learning process.

To this end, the work was carried out using a methodological structure that integrated various sources and forms of participatory listening to capture the intended complexity and offer concrete deliverables. Some dimensions stemming from the vision of evaluation that guided the work were the variety of information, an environment of trust and dialog, and the ability to make adjustments and self-regulate, as explained below:

  • Variety of information - obtaining cognitive, relational and material aspects that allow information to be cross-referenced, taking into account the various factors internal to the educational situation and all the conditions that influenced the development of learning;

  • An atmosphere of trust and dialog - preparing interviews, observations and group conversations that provide a listening experience capable of obtaining more consistent and legitimate information about the situations the participants will be dealing with when applying what they have learned;

  • Capacity to make adjustments and self-regulation - a third dimension guiding the work is the analysis of the training's capacity to provide critical awareness of reality and reflection. To this end, adjustments made by the students during the training and creation of the application projects will be surveyed, including solutions from their own repertoire or from the community, in order to find appropriate paths to solutions that are coherent with the context.

 

In order to direct the proposal towards the demand presented, the evaluation served two central purposes: (1) To identify and explain the quality of the pilot, in terms of meeting the needs of rural extension in family community forest management, related to the training developed. (2) To provide the necessary information for replicability, (2.1) recommending actions and measures to be maintained and included so that the pilot can influence public policies on the subject of rural extension and strengthening local capacities, in forest management, Sustainable Productive Activities, Agroforestry Systems and Forest Restoration.

This evaluation has been structured around three axes that will verify the following lessons learned:

1. Evaluation of the access, format and content of the training pilot applied in the Virola Jatobá and Esperança PDS:

  1. Effectiveness of the criteria for selecting participants and analysis of the suitability of the training stages for the different profiles;

  2. Meeting the training needs and priorities of rural extension workers, farmers and managers for forest management in these locations;

  3. Involvement and engagement of strategic institutions for the development of community forest management in the region;

  4. The degree to which the support provided by the FRM meets the needs of the partner universities and training participants;

  5. The degree to which the mechanisms for monitoring participants are appropriate to the desired level of engagement, learning and implementation of work projects;

  6. Suggestions for improving the content, participation criteria and dynamics of the training.

 

2. Analysis of the potential contribution of the pilot project to forest management in the Virola Jatobá and Esperança PDS:

  1. Potential contribution of the learning acquired by the trainees to strengthening forest management in these locations;

  2. Degree of importance of the training's contribution to the qualification of rural extension;

  3. Positive results of the training pointed out by stakeholders; and

  4. Publics, individuals and institutions that received positive impacts from the training.

 

3. Analysis of the pilot's replicability potential and influence on public policies:

  1. Potential of the pilot project to influence public policies for rural extension training in forest management;

  2. Suggested changes so that the pilot can increase its degree of influence on public policies for rural extension training in forest management;

  3. Suggested measures to encourage the training and development of local capacities needed to meet local, regional and state demands for community and family forest management.

 

The three axes comprised a set of analyses at different levels - micro, meso and macro. The first focused on the process of training and stakeholder participation in the pilot project, while the second looked at possible changes in forest management in these locations. Finally, the aim was to extrapolate to a broader context, considering the possible contributions to state and federal public policies on rural extension in forest management.

The above axes of analysis were structured in order to understand the processes and perceptions of all the stakeholders involved in the training pilot applied in the Virola Jatobá and Esperança PDS, located in Anapu, Pará. The following techniques were used:

  1. Secondary data collectionSecondary data collection: collection of secondary data on the environmental, socio-economic and political characteristics of the municipality of Anapu in order to understand the peculiar characteristics of the location where the Evaluation will be carried out.

  2. Documentary analysisAll the material produced to support the training, to be made available by the FRM, will be analyzed according to the following aspects: language used, prioritized content and clarity of information. Documents relating to federal and state public policies on forest management and rural extension will also be analyzed.

  3. Observation and reconnaissance of the pilot implementation sitesThe research team visited the Virola Jatobá and Esperança PDSs on the day before the last training module to get to know the field.

  4. In-depth interviewsIn-depth interviews: based on a script previously proposed by CEAPG and validated by the Roberto Marinho Foundation, in-depth interviews were carried out with the main actors involved in the pilot. They are: 08 teachers, 04 consultants, 02 representatives from CLUA, 02 from SFB, 03 from Altaflora and 02 from FRM, course participants of different profiles - 03 community members, 03 students and 01 manager of the Anapu Rural Family House, which totaled 28 people interviewed on site or by telephone. All of them were carried out by a pair of researchers. In addition, using the snowball method, other stakeholders were identified whose interviews were crucial to the evaluation, especially those identified during the field research.

  5. Focus Group: A focus group was held with the participating course participants and another with local stakeholders to be organized according to availability of schedule and location. The objective of the first focus group was to compare the different points of view of the participants and the second was to collectively survey the logic of community management in the territory and reconstruct the actions in the training process. The aim was not only to capture the conflicting opinions, but also to enable participants and stakeholders to reconstruct their actions and propose improvements to the Program.

  6. It is important to note that the anonymity of the interviewees has been preserved and that their statements have not been described verbatim in the reports submitted to the Roberto Marinho Foundation.

 

The results made it possible to support decision-making, strengthening potential for influencing policies and implementing programs for the preservation and multiple use of forests. The methodology, with a participatory bias and multiple approach, was recognized by the contractors as innovative in nature and resulted in the article "Learning from useful evaluations with particularly challenging contexts", approved for presentation at the American Evaluation Association Conference in Washington in 2017 by CEAPG and the contractors.

Supported by

  • Roberto Marinho Foundation

 

Coordination

  • Prof. Fernando Burgos Pimentel dos Santos
  • Prof. Zilma Borges de Souza

 

Team

  • Prof. Fernando Burgos Pimentel dos Santos
  • Prof. Zilma Borges de Souza
  • Kate Dayana Rodrigues de Abreu
  • Fábio Grigoletto (CDAPG)
  • Fernanda Lima e Silva
  • Natasha Borali
  • Isabela Assumpção Rozzino
  • Maria Cecília Gomes Pereira
  • Fabiana Paschoal Sanches de Moura (FGVceapg, Administrative Coordination)

 

Project execution period

  • From November 2016 to April 2017.

 

Image

A equipe de pesquisadores do Centro de Estudos em Administração Pública e Governo (FGV EAESP/CEAPG) coordenada pelos professores Zilma Borges e Fernando Burgos, realizou entre novembro/2016 a março/2017 o projeto “Avaliação de Formação em Manejo Florestal Comunitário” em contexto amazônico.

Implementado pela Fundação Roberto Marinho em parceria com o Serviço Florestal Brasileiro (SFB), a Good Energies Foundation e Aliança pelo Clima e Uso da Terra (CLUA) e Universidades do Pará, a avaliação incluiu análise de políticas públicas, de dinâmicas e conflitos territoriais e envolveu diversos públicos para captar a sociobiodiversidade amazônica.

A Floresta Amazônica é conhecida internacionalmente por sua sociobiodiversidade como um território sensível, cuja gestão dos recursos naturais deve compatibilizar interesses sociais, econômicos e ambientais diversos. Deste modo, o manejo florestal é tido como uma importante ferramenta de conservação dos bens naturais, a fim de propiciar meios de desenvolvimento para as populações desse território marcado caracterizado pela abundância de recursos naturais e conflituoso em termos políticos e econômicos.

Considerando o manejo comunitário como essencialmente composto por práticas coletivas, de natureza relacional e a ser aplicado em contextos diversos, o trabalho foi pautado por uma abordagem de avaliação que buscou compreender as condições objetivas e subjetivas do processo de aprendizagem.

Para isto, os trabalhos foram desenvolvidos a partir de uma estrutura metodológica que integrou diversas fontes e formas de escuta participativa para captar a complexidade pretendida e oferecer entregas concretas. Algumas dimensões decorrentes da visão de avaliação que orientaram o trabalho foram a variedade de informações, ambiente de confiança e diálogo, e capacidade para realizar ajustes e autorregulação, conforme explicitadas a seguir:

  • Variedade de informações - obtenção de aspectos cognitivos, relacionais e materiais que permitam o cruzamento de informações, considerando os diversos fatores internos à situação educacional e todas as condições que influenciaram o desenvolvimento da aprendizagem;
  • Ambiente de confiança e diálogo - preparação de entrevistas, observações e conversas em grupo que propiciem uma escuta capaz de obter informações mais consistentes e legítimas das situações com as quais os participantes irão lidar na aplicação do que foi aprendido;
  • Capacidade para realizar ajustes e autorregulação - uma terceira dimensão de orientação dos trabalhos é a análise da capacidade da formação em proporcionar uma consciência crítica da realidade e reflexão. Para isto, serão levantados ajustes realizados pelos alunos  no decorrer da formação e criação dos projetos aplicativos, incluindo soluções do seu próprio repertório ou da comunidade, para encontrar caminhos adequados a soluções coerentes com o contexto.

 

Para direcionar a proposta para a demanda apresentada, a avaliação atendeu a dois propósitos centrais: (1) Identificar e explicar a qualidade do piloto, no que se refere ao atendimento das necessidades da extensão rural em manejo florestal comunitário familiar, relacionadas à formação desenvolvida. (2) Subsidiar com informações necessárias para replicabilidade, (2.1) recomendando ações e medidas a serem mantidas e incluídas para que o piloto possa influenciar políticas públicas no tema de extensão rural e fortalecimento das capacidades locais, em manejo florestal, Atividades Produtivas Sustentáveis, Sistemas Agroflorestais e Restauração Florestal.

Esta avaliação foi estruturada a partir de três eixos que verificarão as seguintes aprendizagens:

1. Avaliação do acesso, formato e conteúdo do piloto de formação aplicados nos PDS Virola Jatobá e Esperança:

  1. Efetividade dos critérios da seleção dos participantes e análise da adequação das etapas da formação aos diferentes perfis;
  2. Atendimento às necessidades e prioridades de formação de extensionistas rurais, agricultores e gestores para o manejo florestal nesses locais;
  3. Envolvimento e engajamento de instituições estratégicas para o desenvolvimento do manejo florestal comunitário na região;
  4. Grau de adequação do apoio dado pela FRM às necessidades das universidades parceiras e dos participantes da formação;
  5. Grau de adequação dos mecanismos de acompanhamento dos participantes a um nível desejado de engajamento, aprendizagem e implantação dos projetos de trabalho;
  6. Sugestões de aprimoramento do conteúdo, critérios de participação e dinâmicas da formação.

 

2. Análise do potencial de contribuição do projeto piloto para o manejo florestal nos PDS Virola Jatobá e Esperança:

  1. Potencial de contribuição do aprendizado adquirido pelo(a) sicursistas ao fortalecimento do manejo florestal nesses locais;
  2. Grau de importância da contribuição da formação para a qualificação da extensão rural;
  3. Resultados positivos da formação apontados pelos stakeholders; e
  4. Públicos, indivíduos e instituições que receberam impactos positivos a partir da formação.

 

3. Análise do potencial de replicabilidade do piloto e influência de políticas públicas:

  1. Potencial do projeto piloto em influenciar políticas públicas de formação de extensão rural em manejo florestal;
  2. Sugestão de mudanças para que o piloto possa aumentar seu grau de influência em políticas públicas de formação de extensão rural em manejo florestal;
  3. Sugestão de medidas de fomento a formação e desenvolvimento de capacidades locais necessárias ao atendimento das demandas locais, regionais e estaduais de manejo florestal comunitário e familiar.

 

Os três eixos compuseram um conjunto de análises em diferentes níveis - micro, meso e macro. O primeiro centrou-se no processo de formação e participação dos stakeholders dentro do projeto piloto, enquanto o segundo depreendeu a partir da formação, as possíveis mudanças no manejo florestal nesses locais. Por último, buscou-se extrapolar para um contexto mais amplo, considerando quais eram as possíveis contribuições para políticas públicas estaduais e federais de extensão rural em manejo florestal.

Os eixos de análise acima foram estruturados a fim de compreender os processos e as percepções de todos os stakeholders envolvidos no piloto de formação aplicados nos PDS Virola Jatobá e Esperança, localizados em Anapu, Pará. Foram utilizadas as seguintes técnicas:

  1. Levantamento de dados secundários: levantamento de dados secundários sobre as características ambientais, socioeconômicas e políticas do município de Anapu para compreensão das características peculiares da localidade onde a Avaliação será realizada.
  2. Análise documental: todo o material produzido para subsidiar a formação, a ser disponibilizado pela FRM, será analisado conforme os seguintes aspectos: linguagem utilizada, conteúdo priorizado e clareza nas informações. Além disso, serão analisados os documentos concernentes às políticas públicas federais e estaduais de manejo florestal e de extensão rural.
  3. Observação e reconhecimento dos locais de implementação do piloto: a equipe de pesquisadores visitou os PDS Virola Jatobá e Esperança em dia anterior ao último módulo da formação para aproximação e reconhecimento do campo.
  4. Entrevistas em profundidade: baseadas em roteiro previamente proposto pelo CEAPG e validado pela Fundação Roberto Marinho, foram realizadas entrevistas em profundidade com os principais atores e atrizes envolvidos no piloto. São eles(as): 08 professore(a)s, 04 consultore(a)s, 02 representantes da CLUA, 02 do SFB, 03 da Altaflora e 02 da FRM, cursistas de diferentes perfis - 03 comunitário, 03 estudantes e 01 gestora da Casa Familiar Rural de Anapu, que totalizaram 28 pessoas entrevistadas in loco ou por telefone. Todas elas foram realizadas por uma dupla de pesquisadores. Além disto, através do método bola de neve, foram identificados outros stakeholders cujas entrevistas foram cruciais para a avaliação, principalmente aqueles identificados ao longo da pesquisa de campo.
  5. Grupo Focal: foi realizado um grupo focal com o(a)s cursistas participantes e outro com stakeholders locais a ser organizado de acordo à disponibilidade de agenda e localidade. O primeiro grupo focal teve o objetivo de colocar em confronto os diversos pontos de vista dos participantes e o segundo o levantamento coletivo da lógica de manejo comunitário no território e a reconstrução das ações no processo de formação. O objetivo não só de captar as opiniões em confronto, mas também fazer com que participantes e stakeholders consiguissem reconstruir suas ações e propor aperfeiçoamentos ao Programa.
  6. É importante apontar que o anonimato dos entrevistados foi preservado e que as falas não foram descritas literalmente nos relatórios apresentados à Fundação Roberto Marinho.

 

Os resultados permitiram subsidiar tomada de decisões, fortalecendo potenciais para influenciar políticas e implementar programas de preservação e uso múltiplo de florestas. A metodologia, com viés participativo e de abordagem múltipla, foi reconhecida pelos contratantes como de natureza inovadora e resultou no artigo “Learning from useful evaluations with particularly challenging contexts”, aprovada para apresentação na Conferência da “American Evaluation Association” em Washington em 2017 pelo CEAPG e contratantes.

Apoio

  • Fundação Roberto Marinho

 

Coordenação

  • Profº Fernando Burgos Pimentel dos Santos
  • Profª Zilma Borges de Souza

 

Equipe

  • Profº Fernando Burgos Pimentel dos Santos
  • Profª Zilma Borges de Souza
  • Kate Dayana Rodrigues de Abreu
  • Fábio Grigoletto (CDAPG)
  • Fernanda Lima e Silva
  • Natasha Borali
  • Isabela Assumpção Rozzino
  • Maria Cecília Gomes Pereira
  • Fabiana Paschoal Sanches de Moura (FGVceapg, Coordenação administrativa)

 

Período de execução do projeto

  • De novembro de 2016 a abril de 2017.