Current Issue

초점집단면담(이하 FGI)은 참여자들의 생각이나 아이디어 등을 공유함으로써 집중적이고 심층적인 대화가 가능하며, 이는 특정 현상에 관한 심층적 이해를 증진시킨다는 점에서 효과적인 연구방법이다(김성재 외, 2000). 본 연구에서는 A지역의 다양한 평생학습 관계자를 그룹별로 만나, 그들의 경험과 의견을 바탕으로 평생학습 성과지표와 관련한 주요 요소와 내용을 도출하고자 FGI를 실시했다.

FGI 참여자는 A지역 평생학습 담당자, 평생교육기관 및 단체 관계자, A지역 평생학습 유관부서 담당자, 평생학습매니저 및 활동가 등 4개 그룹, 총 22명으로 구성하였다. FGI의 주된 내용은 A지역 평생학습 정책 및 사업의 방향성, 평생학습 성과의 의미와 성과관리 필요성, 평생학습 성과관리를 위한 주요 과제, 성과지표의 내용과 평가도구, 성과관리의 방식과 체계 등이다.

FGI는 연구진이 사전에 참여자들에게 제공한 질문지를 중심으로 이루어졌으며, 그룹별로 120분가량 소요되었다. 인터뷰 내용은 참여자의 동의를 얻어 녹음하였으며, 인터뷰 종료 후 정리한 전사자료와 FGI 당시 연구진이 작성한 연구노트를 참고하여 그룹별 논의내용을 주제별로 정리하고 소주제로 재분류하여 분석하였다.

전술한 과정을 통해 도출한 A지역 평생학습 성과지표(안)의 내용타당도를 검토하고, 성과지표의 수정·보완에 대한 의견을 수렴하기 위해 델파이 조사를 실시하였다. 전문가 집단은 전문적 의견 제시 가능성, 집단의 역동성 등을 고려하여 교육학, 평생교육을 전공한 대학 및 연구기관의 전문가를 비롯한 A지역 평생교육 관련 현장 전문가 등 총 15명으로 구성하였다.

개별적으로 연락하여 연구의 목적과 진행 계획을 설명하고 전문가 집단 참여에 대한 동의를 얻었으며, 조사는 이메일을 통해 진행하였다. 1차 조사는 연구진이 구성한 평생학습 성과지표(안) 내용의 적절성, 타당성, 개념 정의의 명료성 검토를 주요 내용으로 구성하여 2023년 11월 1일부터 11월 7일까지 진행하였다. 1차 조사 결과에 대한 수정·보완 내용 및 최종 타당성 검토를 목적으로 한 2차 조사는 2023년 11월 17일부터 11월 24일까지 진행하였다. 1차, 2차 조사에는 15명의 전문가 모두 참여하였다.

델파이 조사 자료는 엑셀을 활용하여 성과지표의 주요영역, 항목, 세부내용의 적절성, 타당성, 명료성 응답에 대한 내용타당도(Content Validity Ratio, CVR), 수렴도(convergence), 합의도(consensus), 변인계수(Coefficient of variation)를 산출하였다.

내용타당도는 전체 응답자 중 ‘그렇다’ 또는 ‘매우 그렇다’에 응답한 수의 비율로, 모든 전문가가 중요하다고 응답한 경우 1.00이고, 절반이 중요하다고 응답한 경우 0으로 측정한다. 응답자가 15명인 경우, 0.6 이상일 시 내용타당도가 확보되었다고 보았다(Lawshe, 1975).

전문가의 응답이 일치하는 정도는 수렴도, 합의도, 변인계수를 통해 확인하였다. 수렴도(convergence)는 전문가의 의견 일치가 어느 정도 수준으로 일어났는지를 보여주는 지표로, 0.50보다 작을 때 전문가 의견 수렴이 잘 이루어졌음을 의미한다. 합의도(consensus)는 전문가의 50%가 어느 구간에서 일정한 응답을 했는지를 나타내는 지표로, 0.75보다 클 때 전문가 의견이 잘 합의되었음을 의미한다. 변인계수(Coefficient of variation)는 표준편차를 평균으로 나눈 값으로, 0.5 이하의 경우 전문가들의 응답이 안정적으로 일치함을 의미한다.

현재 A지역은 평생학습도시를 추진하기 위해 중장기 발전계획을 수립하고 이를 내부적으로 조정하여 ‘도시발전에 디딤돌 되는 평생학습 활성화 도시’라는 비전하에 4대 추진전략 및 주요 과제, 추진 기반 과제를 추진 중이다. 또한, 2045 지속가능발전계획을 수립하여 부서별로 관련 정책을 추진 중인데, 평생학습과에서는 ‘A시민 모두를 위한 양질의 교육도시를 실현한다’는 목표에 따라, 지표 및 추진과제를 제시하였다. 구체적으로 평생학습 프로그램 참여율, 향후 10년 후 정주의사 등이 목표지표로 설정되었다. 이 외에도 2023년 A시 평생학습과 직무성과과제 가운데 ‘누구나 누리는 평생학습 체계구축’이 평생학습 관련 과제로 포함되어, 읍면동 평생학습 프로그램 운영을 성과지표로 설정했다. 이는 프로그램 운영 수, 프로그램 이수자 수를 기준으로 구체적 목표를 설정했다.

[그림 2] 
A시 평생학습도시 비전 및 추진 전략

출처: A시, 2022, 2022년 평생학습도시 A시 추진성과집.

이 외에도, A지역은 2012년 ｢A시 평생학습 조례｣ 제정을 시작으로 지역 평생교육 활성화를 위한 법적 기반을 마련하였고, 평생교육 분야 협의기구로 평생교육협의회와 평생교육실무협의회, 장애인평생교육협의회 등을 구성하여 운영 중이다. A지역 내·외부 전문가로 구성된 이들 협의기구는 평생교육 관련 정책 방향과 추진계획을 결정하는 역할을 수행하며, 지역 내 평생교육 유관기관과 단체로 구성한 실무협의회를 통해 평생교육 현장에서 실무적인 기능을 수행하고 있다. 또한 A지역은 문화복지국 내 평생학습과를 중심으로 평생교육 전담조직을 갖추고 있다. 평생학습과는 평생학습정책팀, 평생학습지원팀, 학교지원팀, 행복교육지원팀, 청소년팀, 청년정책팀 등 6개로 구성되어 있으며, 평생학습정책팀과 평생학습지원팀 등 2개 부서에는 일반직과 계약직을 포함하여 총 9명의 전담인력이 있다.

평생학습 환경 측면에서 살펴보면 A지역 평생·직업교육 예산은 2019년부터 2022년까지 꾸준히 증가하였다. 특히 2022년에는 통합플랫폼 구축과 평생학습관 건립 부지 매입 등 적극적인 예산 투입을 통해 평생교육 시설 확충 및 학습기회 접근성 향상에 힘쓰고 있다. 2023년 기준으로 14개 읍·면·동에 평생학습센터를 지정하여 운영함으로써 평생학습과 주민자치 업무를 연계하고 있다. 읍·면·동 평생학습센터에는 마을자치지원관과 평생학습매니저가 각 1명씩 배치되어 있다. 이밖에도 A지역은 평생학습포털과 온라인 교육플랫폼을 구축하여 운영하여 시민들에게 다양한 프로그램을 제공할 뿐 아니라 강좌정보 획득, 수강 신청, 학습이력 관리 등이 가능한 평생학습 종합정보 시스템을 갖추고 있다.

이처럼 A지역은 조례 제정, 협의기구 설치, 조직 및 인력구성, 예산 수립과 집행, 접근성 등 평생학습도시 추진체계와 관련한 기반 조성을 충실히 수행해왔다고 볼 수 있다. 또한, 평생학습마을과 주민자치를 연계하여 고령화된 지역 특성을 반영한 교육 프로그램을 운영할 뿐 아니라, 민-관 거버넌스를 토대로 마을교육공동체를 조성하기 위한 활동을 수행하는 등 사업에 지역의 특성을 반영하며 A지역만의 평생학습 실천 사례를 만들어가고 있다. 본 연구가 개발하고자 하는 A시 평생학습 성과지표가 장기적인 관점에서 A시 평생학습 정책을 견인하는 데 활용되기 위해서는 A시의 정책 환경 및 목표뿐 아니라, 기존 평생학습 성과관리 체계에서 공유하는 보편적이고 일반적인 지표를 반영할 필요가 있다.

A지역 평생학습 관계자의 평생학습 성과관리 인식에 관한 FGI 결과를 분석했을 때, 1) 평생학습 성과관리의 필요성 인식, 2) 평생학습 성과에 대한 공감과 공유의 필요성, 3) 평생학습 성과관리를 위한 과제 등 세 가지 주제가 도출되었다.

우선 평생학습 성과관리의 필요성 인식과 관련하여, A지역 평생학습 관계자들은 평생학습 성과관리의 필요성에 대해서는 공감하고 있었다. 다만, 평생학습 정책과 사업이 시민들의 삶의 질을 향상시키고 A지역의 발전에 기여하고 있음을 명확하게 입증할 수 있는 새로운 성과지표 및 성과관리 체계 구축이 필요하다고 인식하였다. 특히 A지역의 특성과 평생교육 추진 현황을 다각도로 고려한 성과지표가 필요하다고 보았다.

둘째, A지역 평생학습 관계자들은 무엇을 평생학습의 성과로 볼 것인가에 대해 견해 차이를 보였다. 경우에 따라 모든 시민의 교육적 요구 충족을 위한 노력과 예산 사용의 효율성이 부딪히기도 한다는 점 등을 제시하였다. 또한, 관계자들은 도농복합도시로서 지역 간 격차와 기관별 특성, 평생교육 주제 영역 등 평생학습 성과를 측정하고 관리하기 위해 고려해야 할 점이 많다고 인식하고 있었다. 또한 A지역 평생학습 정책 방향 및 목표는 A지역 주민을 비롯한 다양한 평생학습 관계자와 함께 설정할 필요가 있으며, 평생학습 성과 역시 다양한 이해관계자와 협의와 공유를 통해 이루어질 필요가 있다고 보았다. 관계자들은 평생학습 성과관리가 A지역 내 기관을 서로 비교하고 평가하기 위한 도구로 활용될 가능성을 우려하며, 평생학습 성과관리가 각 기관의 고유한 교육적 기능을 발현시키고, 각각의 교육목표를 달성하도록 지원하는 방향으로 이루어질 필요가 있음을 지적했다.

셋째, 평생학습 성과관리를 위한 과제와 관련하여, 관계자들은 일차적으로 시민들의 삶의 질 향상과 지역의 성장을 정량적·정성적으로 측정할 수 있는 조사도구가 필요하다고 인식하고 있었다. 이를 위해 학습자를 비롯한 평생학습 관계자들이 평생학습 성과평가에 적극적으로 참여하도록 유도할 수 있는 실질적인 방안이 마련되어야 하며, A지역 전체의 평생학습 성과를 지속적으로 관리하기 위해 전담조직 및 인력의 보완이 반드시 필요함을 이야기했다.

이상, 국내외 평생학습 성과지표 사례 분석 내용과 A지역 평생학습 정책 현황, A지역 평생학습 관계자의 인식조사 등을 토대로 A지역 평생학습 성과관리를 위한 지표체계를 구성하여 4개 영역, 17개 평가항목, 35개 성과지표 초안을 도출하였다. 기개발된 타도시 성과지표와 같이 투입-성과 모형을 적용하였고, A지역의 전략과제 내용, 평생학습과 지역발전의 관계를 강조한 관계자 인식 분석 결과 등을 적극 반영하였다.

평생학습 성과지표의 구성영역으로 제안된 4개 항목의 적절성 분석 결과, 수렴도, 합의도, 변인계수, CVR의 기준을 모두 충족하였다. 다만 개념의 명료성을 높이기 위해 영역 이름을 변경해야 한다는 의견에 동의하여, 투입·과정·산출지표의 영역명을 ‘평생학습’에서 ‘평생교육’으로 수정하였다.

영역별 평가항목에 대한 2회의 델파이 조사 결과, 최종적으로 15개 항목을 도출하였다. 1차 델파이 조사 결과, CVR, 수렴도, 합의도, 변인계수가 기준에 미치지 못하는 영역은 삭제·수정·보완하였다. 구체적으로, 연구진이 제안한 ‘평생학습 비용-효과성 분석’ 항목은 수렴도·합의도·CVR 값이 모두 기준에 미치지 못하여 삭제하였다. ‘평생학습 참여 만족도’ 항목은 CVR은 기준 이상이었으나 다른 지표와의 비중을 고려하여 ‘평생교육 사업 효과성 분석’ 항목과 통합하여 삭제하였다. ‘학습공동체’ 항목의 경우 CVR 값이 기준에 못 미치는 것으로 나타났고, 개념과 범위를 좀 더 분명하게 제시할 필요가 있다는 의견이 제되었다. 이에 연구진 검토 결과를 바탕으로 영역명은 유지하되 세부 설명을 일부 수정하였다. 2차 델파이 조사에서는 모든 항목이 기준값을 충족하였다.

^*표에서 ‘ ’는 델파이 항목 선정기준의 부적합 표시이며, 최종 미반영 지표는 생략하였음.

항목별 세부 성과지표에 대한 조사 결과는 다음과 같다. 먼저 평생교육 추진기반(투입지표) 영역에서는 1차 델파이 조사 결과, ‘평생교육 예산 투입’ 지표의 세부내용에 대한 CVR 값이 0.57로 낮게 나타나 패널 의견을 반영하여 권역별 예산 지원 비율에 관한 세부내용을 삭제하였다. 또한 ‘평생교육 종합정보 제공’ 지표의 세부내용에 대해 수렴도, 합의도, CVR 값이 기준에 미치지 못하였기에, 패널의 의견을 반영해 온·오프라인 정보 제공에 관한 내용으로 수정하였다. 패널 검토 의견을 반영한 2차 델파이 조사에서는 6개 성과지표 및 세부내용이 모두 적합한 것으로 확인되었다.

^*표에서 ‘ ’는 델파이 항목 선정기준의 부적합 표시이며, 최종 미반영 지표는 생략하였음.

평생학습 사업운영(과정지표) 영역에서는 1차 델파이 조사 결과 14개 지표 중 11개 지표가 기준을 통과하였다. 다만, ‘국제 네트워크 확대’, ‘평생교육 강사 확보 및 관리’ 지표가 성과지표의 타당성, 세부내용의 명료성 모두 기준을 만족하지 못했고, ‘권역별 프로그램 운영’ 지표는 세부내용의 명료성이 수렴도, 합의도, CVR 값 모두 기준에 미치지 못했다. ‘국제 네트워크 확대’의 경우 이를 정량지표로 제시하기는 적절하지 않기 때문에, 실제 실천 내용을 파악하는 방식으로 개선해야 한다는 의견이 제시되었고, ‘평생교육 강사 확보 및 관리’ 역시 양성을 넘어 실제 실천을 확인하는 지표로 구성하여야 한다는 의견이 제시되었다. 패널 의견을 검토하여 용어 수정 및 유사지표 간 통합을 통해 성과지표를 12개로 조정하였으며, 2차 델파이 조사를 통해 11개 성과지표로 확정하였다.

^*표에서 ‘ ’는 델파이 항목 선정기준의 부적합 표시이며, 최종 미반영 지표는 생략하였음.

평생학습 사업운영 결과(산출지표) 영역에서는 8개 지표에 대한 1차 델파이 조사 결과, ‘1인당 평생학습 참여 경험’과 ‘평생학습 특성화’, ‘평생학습 비용-효과성 분석’ 지표의 CVR 값이 기준 미만으로 나타났다. 1차 조사 결과 및 패널 의견을 반영하여 ‘1인당 평생학습 참여 경험’, ‘평생학습 비용-효과성 분석’ 지표는 각각 ‘주민의 평생학습 참여율’, ‘평생교육 사업 효과성 분석’ 지표의 세부내용으로 포함되었다. 2차 델파이 조사에서는 조정된 지표가 모두 적합한 것으로 확인되었고, 연구진 협의를 통해 ‘평생학습 참여만족도’ 지표는 ‘평생교육 사업 효과성 분석’ 지표의 세부내용으로 포함되면서 산출지표 영역에서는 4개 항목, 5개 지표가 확정되었다.

^*표에서 ‘ ’는 델파이 항목 선정기준의 부적합 표시이며, 최종 미반영 지표는 생략하였음.

평생학습을 통한 가치 창출(결과지표) 영역의 성과지표 및 세부내용은 2회의 델파이 조사에서 수렴도, 합의도, 변인계수, CVR의 기준을 모두 충족하였다. 다만 이중적으로 해석될 수 있는 용어를 수정하고, 사회조사 지표와 연동성을 높이기 위해 세부내용을 일부 수정하여 보완하였다.

델파이 조사 결과 및 연구진 협의를 통해 도출된 A지역 평생학습 성과지표는 <표 11>, <표 12>와 같으며, 4개 영역, 15개 평가항목, 29개 성과지표로 구성되었다. 구체적으로 살펴보면 평생교육 추진기반 영역(투입지표)은 자원투입, 법적기반 조성, 정보 접근성의 4개 하위 항목으로 평생교육 사업운영 영역(과정지표)은 평생교육 계획, 협력적 실천, 평생교육 파트너 양성, 교육 운영, 학습공동체 형성의 5개 하위 항목으로 구성되었다. 평생교육 사업운영 결과 영역(산출지표)에서는 평생학습 참여율, 성인 문해율, 평생학습 특성화, 사업 효과성 분석의 4개 하위 항목으로, 평생학습을 통한 가치 창출 영역(효과지표)에서는 평생학습의 사회적·경제적 가치, 평생학습의 공동체적 가치, 평생학습 개인적 가치의 3개 하위 항목을 담고 있다.