지역 평생학습 성과지표 개발 연구: A지역 사례를 중심으로

Ⅰ. 서론

최근 지방정부의 정책 성과관리 및 성과지표 개발에 관심이 높아지고 있다. 지방자치가 본격화되면서 사회 각 부문에서 성장 지향적 개발정책이 확대되었고, 이에 따라 각 정책의 목표 달성 정도를 양적·질적으로 확인하려는 시도(김덕준·김범석, 2006; Rogers, 1990)가 활발해지고 있다. 정책 성과관리를 위해서는 목표 달성 여부를 측정하는 척도로 성과지표를 개발하고, 관리체계를 마련하는 것이 중요하다. 이를 통해 조직의 목표 달성에 필요한 수단의 효과적이고 효율적인 활용 여부를 구체적으로 확인하고, 정책적 환류 정보를 도출할 수 있다(고영선·윤희숙·이주호, 2004; 오윤섭, 2018; 유란희·유은지, 2022).

지방정부에서 추진하는 평생학습 정책의 성과관리 노력은 평생학습도시 정책을 중심으로 이루어지고 있다. 평생학습도시는 학습을 지역사회 운영의 원리로 채택하는 새로운 형태의 지역공동체 운동이다(고영상 외, 2008). 1999년 경기도 광명시가 스스로 평생학습도시임을 천명한 이후, 2001년부터 당시 교육인적자원부는 지역 평생교육 활성화를 위해 평생학습도시를 지정하기 시작하였고, 2024년 기준으로 198개 지자체(전국 기초자치단체의 87.6%)가 평생학습도시로 지정되었다.

기초자치단체에서 평생학습도시 사업을 매력적인 신규 사업으로 인식함에 따라(고영상 외, 2008; 채재은·변종임, 2014), 사업에 대한 지자체의 관심이 높아졌고 평생학습도시 지정의 양적 확대가 이루어졌다. 동시에 평생학습도시 사업의 성과 구명(究明)에 대한 관심이 높아지면서 구체적인 정책성과를 드러내는 연구(권대봉 외, 2010; 변종임 외, 2011; 신성현·전주성, 2017; 이지혜·허준·김지현, 2021; 이창기·고영상·박경호, 2010; 임경수·이희수, 2019), 성과에 영향을 미치는 요인을 드러내는 연구(변종임·채재은·김세화, 2006; 채재은·변종임, 2014)가 수행되었다. 국가 단위에서는 평생학습도시 인정 및 성과관리를 위한 지표 개발 연구(고영상 외, 2008; 최운실 외, 2010)가 이루어졌으나, 적극 활용되지는 못하였다.

최근 평생학습도시 질 관리에 대한 정책적 관심이 높아지면서, 평생학습을 통한 개인과 지역사회의 성장과 발전에 대한 점검 및 전략적 대응 논의의 필요성 또한 높아지고 있다. 이런 맥락에서 교육부는 ‘제4차 평생교육진흥 기본계획(2018-2022)’을 통해 평생학습도시의 질 관리를 시작할 것임을 밝히며 2019년 시범평가에 이어 2020년 평생학습도시 재지정평가를 본격 도입하였고, 2023년부터 2주기 재지정평가를 진행하고 있다. 또한 국가단위에서 평생학습 정책성과를 도출하기 위해 평생학습지수를 개발하였다(한인섭 외, 2022). 평생학습지수는 표준화된 성과지표로 기능하여 지역별 평생학습 성과를 종합하거나 비교하는 등 사업의 의의를 파악하는 데 유용할 것으로 기대된다.

그러나 국가 단위에서 개발한 평가지표 또는 평생학습지수를 그대로 개별 도시에 적용하여 평생학습 성과를 측정 및 관리하기는 쉽지 않다. 지역이 처한 정치적 상황이나, 유·무형의 자원 보유 여부 등으로 인해 달라지는 지역사회의 맥락을 고려하기 어렵기 때문이다. 오히려 지역이 자체적인 질 관리 체계를 구축할 때, 지역 평생학습 정책의 지향을 명확히 하고, 학습도시로 성장하기 위한 일련의 노력과 과정의 부합 정도를 확인할 수 있을 것이다(허준 외, 2022). 이런 관점에서 허준 외(2022)의 연구가 시사하는 바는 크다고 볼 수 있다. 이 연구에서는 평생학습도시의 기본 성격과 도시만의 고유성을 고려한 자율적인 지표 조합 체계를 제시함으로써 다양하게 진화하고 있는 학습도시들이 스스로의 성과를 구성적으로 드러낼 수 있는 아이디어를 제공하였다.

본 연구 역시 개별 도시의 고유성과 학습도시의 기본 성격이 어우러지는 성과지표를 구성하는 것이 필요하다고 보았다. 이에, 충남의 A지역을 사례 도시로 선정하고, 도시의 평생학습 정책성과를 드러내는 데 필요한 주요 항목과 내용을 개발·타당화하기 위한 목적으로 연구를 수행하였다. A지역은 2012년 평생학습도시로 선정되었고, 2016년 GNLC 회원도시 가입 이후, 장애인 평생학습도시 선정(2021년), 평생학습대상 수상(2023년)의 성과를 내는 등 꾸준하게 지역 평생학습 정책을 추진하고 있다. 연구 목적 달성을 위한 연구 질문은 다음과 같다. 첫째, 기초자치단체의 평생학습 성과지표에 포함해야 할 요소는 무엇인가? 둘째, 각 요소별로 세부적인 항목과 내용은 어떻게 구성하는 것이 타당한가?

본래 질 관리 체계 구축은 성과지표 개발과 성과관리 방안을 모두 포함하는 용어이지만, 이 연구에서는 지역의 특성을 반영한 성과지표를 개발하고 타당화하는 것을 질 관리 체계 구축의 첫 번째 단계로 보고 이에 집중하였다. 또한, 미시적·거시적 차원의 양적·질적 지표를 종합적으로 고려하여 성과지표를 구성하고자 하였다. 평생학습도시의 성과지표를 미시적 지표로 설정하는 것에 대한 비판도 있지만(임경수·이희수, 2019), 성과관리에 있어 미시적 지표의 유용함이 밝혀졌다는 점(한인섭 외, 2022)을 고려하였다.

Ⅱ. 이론적 배경

2. 평생학습 성과지표 개발 사례

평생학습 성과관리란 관리의 단위가 되는 사업, 기관, 또는 지역이 평생학습의 고유한 성과를 드러내는지 확인하는 과정이다. 다양한 형식의 평생학습 실천 상황에서 일정한 투입과 노력을 통해 실제로 확인할 수 있는 직접적인 결과와 이차적 성과를 객관적으로 분석 및 평가하는 전문적 원리와 과정을 포함한다(한인섭 외, 2022, p. 40).

평생학습 성과관리를 위해서는 목표 달성 여부를 측정하는 척도로 성과지표가 필요하다. 국내외에서 국가 및 지자체 단위의 지역 평생학습 성과지표를 설정하고 이를 적용하는 등의 성과관리 시도가 나타나고 있다. 대표적인 국외 사례로는 유네스코의 글로벌 학습도시 네트워크 활성화 평가 지표가 있다. 학습도시의 모니터링 요구에 따라 유네스코는 ‘학습도시 건설의 포용적 성과’, ‘학습도시 건설의 주요 구성 요소’, ‘학습도시 건설을 위한 기초 요건’을 3대 대범주로 설정했는데, 이는 각각 평생학습의 투입, 과정, 산출 영역에 해당한다. 구체적으로 3대 대범주는 하위에 12개 중점 영역과 42개 핵심 특징을 포함한다(UNESCO Institute for Lifelong Learning, 2018). 예컨대, 학습도시 건설의 포용적 성과 중 개인의 권한 확대와 사회적 통합의 촉진 영역에는 성인문해율, 투표 참여율, 자원봉사 및 지역사회 활동 참여율 등의 지표가 포함된다. 이상의 지표 내용은 여러 국가 다양한 도시들의 특색이 반영된 학습도시 발전사항을 측정하고자 한다는 점, 궁극적으로 학습도시의 지향성이 보편적이라는 점을 전제한다는 점, 평생학습의 성과를 폭넓게 이해한다는 점 등이 특징이다.

국내의 대표적인 사례로는 교육부의 평생학습도시 재지정평가에서 사용하는 지표가 있다. 교육부는 ｢제4차 평생교육진흥 기본계획(2018∼2022)｣에서 평생학습도시 질 관리를 위한 성과평가 도입 계획을 밝힌 이후, 2020년부터 2022년까지 1주기, 2023년부터 현재까지 2주기 재지정 평가를 진행 중이다(교육부, 2020, 2023). 평생학습도시 재지정평가는 추진 체계, 사업 운영, 사업 성과 등 3개 영역을 10개 평가분야로 나누고, 20개 세부 평가지표를 통해 이를 측정한다. 예컨대, 추진체계 영역은 사업계획, 조직·인력 관리, 평생교육 예산, 평생교육 접근성의 네 가지 평가분야로 구성된다. 이때, 평생학습도시 재지정평가의 3개 영역 또한 정책 평가의 투입, 변환, 산출 논리를 따른다.

지자체 단위의 성과지표 개발 사례로는 고양시, 부천시, 군포시 사례가 있다. 먼저, 고양시는 2020년 고양시 평생학습도시 지표를 개발하였는데, 평생학습도시 기반 조성, 평생학습도시 성과 창출 확산, 평생학습도시 협력과 공유, 평생학습도시 지속가능 발전 및 성숙 등 4대 목표에 따라 15개 대영역, 25개 하위영역으로 세부 지표를 구성하였다(윤신희·이세훈·김지훈, 2021). 예컨대, 평생학습도시 기반 조성 목표 하에 시설 인프라 영역은 평생학습 관련 시설 확보 정도와 학습자 친화적 인프라, 평생학습 시설인프라 종합만족도의 세 가지 하위 영역으로 구성된다. 부천시는 2021년 평생학습도시 성과관리 체계 구축을 위한 연구를 수행하여, 균형성과표에 기반한 핵심 성과지표를 개발하였다. 구체적으로 평생학습도시 KPI, 평생교육조직 KPI로 구분되며, 총 15개 지표로 구성되었다. 평생학습도시 KPI의 경우 평생교육투자비, 평생학습시설 확보지수, 학습소외 해소지수 등을, 평생교육조직 KPI는 프로그램 지수, 네트워크 활성화 지수, 학습동아리 지수 등을 포함한다(이희수·임경수, 2021). 군포시는 2022년 평생학습도시 조성사업 성과관리체계 구축 연구를 통해 핵심성과지표를 마련하였는데, 부천시와 동일하게 평생학습도시 KPI, 평생교육조직 KPI로 구분된다. 평생학습도시 KPI의 경우 평생학습참여율, 학습도시 특성화지수, 평생학습 포용지수 등을, 평생교육조직 KPI는평생학습 접근지수, 학습동아리 지수, 프로그램 개선 지수 등을 포함한다(최운실 외, 2022).

이상에서 살펴본 국내외 성과지표 내용 중 반복적으로 사용하는 것이 평생학습도시의 기본 성격을 드러내는 데 기여하는 지표일 것이다. 이를 확인한 결과는 다음 <표 1>과 같다.¹⁾

<표 1>

국내외 평생학습 성과지표 중 공통 지표 내용

이상의 내용으로부터 몇 가지 특징을 확인할 수 있다. 첫째, 일반적으로 평생학습 성과지표는 투입-산출 모델에 따라 성과측정 영역을 투입, 과정, 산출, 결과로 구분한다. 다만 사례에 따라 과정과 산출, 또는 산출과 결과를 하나의 영역으로 설정하기 때문에 평생학습 성과지표는 적게는 세 개, 많게는 다섯 개의 목표 또는 대영역을 포함한다. 새로 평생학습 성과지표를 개발할 때도 투입-산출 논리에 따른 영역 구분 기준을 참고하되, 해당 지역의 평생학습 정책 및 사업 비전, 주요하게 실천하는 평생학습 사업 등을 고려할 필요가 있다.

둘째, 각 평생학습 성과지표 사례는 여러 공통지표를 공유한다. 특히, 평생교육 투입과 관련한 평생교육 시설 기반, 예산, 인적자원 등 지표가 여러 사례에서 공통으로 발견되었다. 반면, 평생학습 과정, 결과 영역에서는 공통지표가 상대적으로 적게 도출되었다. 가령, 유네스코 글로벌 학습도시 네트워크 특성화 지표와 고양시 평생학습도시 지표는 지속가능 발전을 영역으로 두고 비슷한 지표를 활용하지만, 평생학습도시 재지정평가, 부천시, 군포시 사례는 상대적으로 적은 지표로 평생학습 결과를 확인했다. 이는 각 평생학습 성과관리 체계가 구체적으로 목적하는 바가 다르기 때문으로 여겨진다.

셋째, 평생학습 성과관리 체계를 구축하는 과정에서 지속적이고 안정적인 자료 수집 방안을 마련할 필요가 있다. 각 사례는 주로 통계자료, 서베이/설문, 전문가 리뷰/평가를 자료로 활용했다(부록 참조). 정량 평가는 여타의 목적을 위하여 수합하는 통계자료를 평생학습 성과 관리에 연계하는 경우도 많았다. 새로운 평생학습 성과관리 체계를 마련할 때도 해당 지역의 평생학습 중장기 발전계획, 평생학습 실태조사, 지역사회지표 조사 등 별도로 시행된 조사와 연동하여 자료를 보다 쉽게 수집할 방안을 마련할 수 있다. 또한, 정성 자료의 경우, 자료 수집에 부과되는 부담이 문제로 지적되기 때문에, 성과평가 주기, 설문/전문가 평가 문항, 설문/전문가 평가 시기 등을 조정하여 질 좋은 자료를 수집하도록 해야 한다.

Ⅲ. 연구 방법

1. 연구 절차

본 연구는 A지역의 평생학습 성과지표에 포함해야 할 요소를 도출하고, 성과지표의 주요영역·항목·세부내용을 타당화하는 데 목적이 있다. 이를 위해 다음과 같은 절차로 연구를 수행하였다.

우선 A지역 평생학습 정책 문서를 수집·분석하여 A지역의 사업 추진 맥락과 특성 등을 이해하고자 하였다. 또한, A지역 평생학습 정책 및 사업에 참여하는 다양한 이해관계자의 인식과 의견을 살펴보고자 FGI를 실시하였다. 이상의 과정을 통해 도출한 내용을 종합하여, 지자체의 성과지표 내용으로 포함하여야 할 요소와 세부적인 내용을 구성하여 일차적으로 A지역 평생학습 성과지표(안)를 개발하였다. 이후, 개발한 내용에 대한 타당화를 위해 평생교육 전문가를 대상으로 2차에 걸쳐 델파이 조사를 실시하였다.

[그림 1]

A지역 성과관리지표 개발 연구 절차

2. 분석 방법 및 연구참여자

1) 초점집단면담(FGI)

초점집단면담(이하 FGI)은 참여자들의 생각이나 아이디어 등을 공유함으로써 집중적이고 심층적인 대화가 가능하며, 이는 특정 현상에 관한 심층적 이해를 증진시킨다는 점에서 효과적인 연구방법이다(김성재 외, 2000). 본 연구에서는 A지역의 다양한 평생학습 관계자를 그룹별로 만나, 그들의 경험과 의견을 바탕으로 평생학습 성과지표와 관련한 주요 요소와 내용을 도출하고자 FGI를 실시했다.

FGI 참여자는 A지역 평생학습 담당자, 평생교육기관 및 단체 관계자, A지역 평생학습 유관부서 담당자, 평생학습매니저 및 활동가 등 4개 그룹, 총 22명으로 구성하였다. FGI의 주된 내용은 A지역 평생학습 정책 및 사업의 방향성, 평생학습 성과의 의미와 성과관리 필요성, 평생학습 성과관리를 위한 주요 과제, 성과지표의 내용과 평가도구, 성과관리의 방식과 체계 등이다.

<표 2>

FGI 참여자 정보 및 면담일시

FGI는 연구진이 사전에 참여자들에게 제공한 질문지를 중심으로 이루어졌으며, 그룹별로 120분가량 소요되었다. 인터뷰 내용은 참여자의 동의를 얻어 녹음하였으며, 인터뷰 종료 후 정리한 전사자료와 FGI 당시 연구진이 작성한 연구노트를 참고하여 그룹별 논의내용을 주제별로 정리하고 소주제로 재분류하여 분석하였다.

2) 델파이 조사

전술한 과정을 통해 도출한 A지역 평생학습 성과지표(안)의 내용타당도를 검토하고, 성과지표의 수정·보완에 대한 의견을 수렴하기 위해 델파이 조사를 실시하였다. 전문가 집단은 전문적 의견 제시 가능성, 집단의 역동성 등을 고려하여 교육학, 평생교육을 전공한 대학 및 연구기관의 전문가를 비롯한 A지역 평생교육 관련 현장 전문가 등 총 15명으로 구성하였다.

개별적으로 연락하여 연구의 목적과 진행 계획을 설명하고 전문가 집단 참여에 대한 동의를 얻었으며, 조사는 이메일을 통해 진행하였다. 1차 조사는 연구진이 구성한 평생학습 성과지표(안) 내용의 적절성, 타당성, 개념 정의의 명료성 검토를 주요 내용으로 구성하여 2023년 11월 1일부터 11월 7일까지 진행하였다. 1차 조사 결과에 대한 수정·보완 내용 및 최종 타당성 검토를 목적으로 한 2차 조사는 2023년 11월 17일부터 11월 24일까지 진행하였다. 1차, 2차 조사에는 15명의 전문가 모두 참여하였다.

<표 3>

델파이 전문가 집단 구성 현황

델파이 조사 자료는 엑셀을 활용하여 성과지표의 주요영역, 항목, 세부내용의 적절성, 타당성, 명료성 응답에 대한 내용타당도(Content Validity Ratio, CVR), 수렴도(convergence), 합의도(consensus), 변인계수(Coefficient of variation)를 산출하였다.

내용타당도는 전체 응답자 중 ‘그렇다’ 또는 ‘매우 그렇다’에 응답한 수의 비율로, 모든 전문가가 중요하다고 응답한 경우 1.00이고, 절반이 중요하다고 응답한 경우 0으로 측정한다. 응답자가 15명인 경우, 0.6 이상일 시 내용타당도가 확보되었다고 보았다(Lawshe, 1975).

전문가의 응답이 일치하는 정도는 수렴도, 합의도, 변인계수를 통해 확인하였다. 수렴도(convergence)는 전문가의 의견 일치가 어느 정도 수준으로 일어났는지를 보여주는 지표로, 0.50보다 작을 때 전문가 의견 수렴이 잘 이루어졌음을 의미한다. 합의도(consensus)는 전문가의 50%가 어느 구간에서 일정한 응답을 했는지를 나타내는 지표로, 0.75보다 클 때 전문가 의견이 잘 합의되었음을 의미한다. 변인계수(Coefficient of variation)는 표준편차를 평균으로 나눈 값으로, 0.5 이하의 경우 전문가들의 응답이 안정적으로 일치함을 의미한다.

Ⅳ. 분석 결과

1. 평생학습 성과지표의 구성

1) A지역의 평생학습 정책 현황 분석

현재 A지역은 평생학습도시를 추진하기 위해 중장기 발전계획을 수립하고 이를 내부적으로 조정하여 ‘도시발전에 디딤돌 되는 평생학습 활성화 도시’라는 비전하에 4대 추진전략 및 주요 과제, 추진 기반 과제를 추진 중이다. 또한, 2045 지속가능발전계획을 수립하여 부서별로 관련 정책을 추진 중인데, 평생학습과에서는 ‘A시민 모두를 위한 양질의 교육도시를 실현한다’는 목표에 따라, 지표 및 추진과제를 제시하였다. 구체적으로 평생학습 프로그램 참여율, 향후 10년 후 정주의사 등이 목표지표로 설정되었다. 이 외에도 2023년 A시 평생학습과 직무성과과제 가운데 ‘누구나 누리는 평생학습 체계구축’이 평생학습 관련 과제로 포함되어, 읍면동 평생학습 프로그램 운영을 성과지표로 설정했다. 이는 프로그램 운영 수, 프로그램 이수자 수를 기준으로 구체적 목표를 설정했다.

[그림 2]

A시 평생학습도시 비전 및 추진 전략출처: A시, 2022, 2022년 평생학습도시 A시 추진성과집.

이 외에도, A지역은 2012년 ｢A시 평생학습 조례｣ 제정을 시작으로 지역 평생교육 활성화를 위한 법적 기반을 마련하였고, 평생교육 분야 협의기구로 평생교육협의회와 평생교육실무협의회, 장애인평생교육협의회 등을 구성하여 운영 중이다. A지역 내·외부 전문가로 구성된 이들 협의기구는 평생교육 관련 정책 방향과 추진계획을 결정하는 역할을 수행하며, 지역 내 평생교육 유관기관과 단체로 구성한 실무협의회를 통해 평생교육 현장에서 실무적인 기능을 수행하고 있다. 또한 A지역은 문화복지국 내 평생학습과를 중심으로 평생교육 전담조직을 갖추고 있다. 평생학습과는 평생학습정책팀, 평생학습지원팀, 학교지원팀, 행복교육지원팀, 청소년팀, 청년정책팀 등 6개로 구성되어 있으며, 평생학습정책팀과 평생학습지원팀 등 2개 부서에는 일반직과 계약직을 포함하여 총 9명의 전담인력이 있다.

평생학습 환경 측면에서 살펴보면 A지역 평생·직업교육 예산은 2019년부터 2022년까지 꾸준히 증가하였다. 특히 2022년에는 통합플랫폼 구축과 평생학습관 건립 부지 매입 등 적극적인 예산 투입을 통해 평생교육 시설 확충 및 학습기회 접근성 향상에 힘쓰고 있다. 2023년 기준으로 14개 읍·면·동에 평생학습센터를 지정하여 운영함으로써 평생학습과 주민자치 업무를 연계하고 있다. 읍·면·동 평생학습센터에는 마을자치지원관과 평생학습매니저가 각 1명씩 배치되어 있다. 이밖에도 A지역은 평생학습포털과 온라인 교육플랫폼을 구축하여 운영하여 시민들에게 다양한 프로그램을 제공할 뿐 아니라 강좌정보 획득, 수강 신청, 학습이력 관리 등이 가능한 평생학습 종합정보 시스템을 갖추고 있다.

이처럼 A지역은 조례 제정, 협의기구 설치, 조직 및 인력구성, 예산 수립과 집행, 접근성 등 평생학습도시 추진체계와 관련한 기반 조성을 충실히 수행해왔다고 볼 수 있다. 또한, 평생학습마을과 주민자치를 연계하여 고령화된 지역 특성을 반영한 교육 프로그램을 운영할 뿐 아니라, 민-관 거버넌스를 토대로 마을교육공동체를 조성하기 위한 활동을 수행하는 등 사업에 지역의 특성을 반영하며 A지역만의 평생학습 실천 사례를 만들어가고 있다. 본 연구가 개발하고자 하는 A시 평생학습 성과지표가 장기적인 관점에서 A시 평생학습 정책을 견인하는 데 활용되기 위해서는 A시의 정책 환경 및 목표뿐 아니라, 기존 평생학습 성과관리 체계에서 공유하는 보편적이고 일반적인 지표를 반영할 필요가 있다.

2) A지역 평생학습 관계자의 평생학습 성과관리에 관한 인식 분석

A지역 평생학습 관계자의 평생학습 성과관리 인식에 관한 FGI 결과를 분석했을 때, 1) 평생학습 성과관리의 필요성 인식, 2) 평생학습 성과에 대한 공감과 공유의 필요성, 3) 평생학습 성과관리를 위한 과제 등 세 가지 주제가 도출되었다.

우선 평생학습 성과관리의 필요성 인식과 관련하여, A지역 평생학습 관계자들은 평생학습 성과관리의 필요성에 대해서는 공감하고 있었다. 다만, 평생학습 정책과 사업이 시민들의 삶의 질을 향상시키고 A지역의 발전에 기여하고 있음을 명확하게 입증할 수 있는 새로운 성과지표 및 성과관리 체계 구축이 필요하다고 인식하였다. 특히 A지역의 특성과 평생교육 추진 현황을 다각도로 고려한 성과지표가 필요하다고 보았다.

둘째, A지역 평생학습 관계자들은 무엇을 평생학습의 성과로 볼 것인가에 대해 견해 차이를 보였다. 경우에 따라 모든 시민의 교육적 요구 충족을 위한 노력과 예산 사용의 효율성이 부딪히기도 한다는 점 등을 제시하였다. 또한, 관계자들은 도농복합도시로서 지역 간 격차와 기관별 특성, 평생교육 주제 영역 등 평생학습 성과를 측정하고 관리하기 위해 고려해야 할 점이 많다고 인식하고 있었다. 또한 A지역 평생학습 정책 방향 및 목표는 A지역 주민을 비롯한 다양한 평생학습 관계자와 함께 설정할 필요가 있으며, 평생학습 성과 역시 다양한 이해관계자와 협의와 공유를 통해 이루어질 필요가 있다고 보았다. 관계자들은 평생학습 성과관리가 A지역 내 기관을 서로 비교하고 평가하기 위한 도구로 활용될 가능성을 우려하며, 평생학습 성과관리가 각 기관의 고유한 교육적 기능을 발현시키고, 각각의 교육목표를 달성하도록 지원하는 방향으로 이루어질 필요가 있음을 지적했다.

셋째, 평생학습 성과관리를 위한 과제와 관련하여, 관계자들은 일차적으로 시민들의 삶의 질 향상과 지역의 성장을 정량적·정성적으로 측정할 수 있는 조사도구가 필요하다고 인식하고 있었다. 이를 위해 학습자를 비롯한 평생학습 관계자들이 평생학습 성과평가에 적극적으로 참여하도록 유도할 수 있는 실질적인 방안이 마련되어야 하며, A지역 전체의 평생학습 성과를 지속적으로 관리하기 위해 전담조직 및 인력의 보완이 반드시 필요함을 이야기했다.

이상, 국내외 평생학습 성과지표 사례 분석 내용과 A지역 평생학습 정책 현황, A지역 평생학습 관계자의 인식조사 등을 토대로 A지역 평생학습 성과관리를 위한 지표체계를 구성하여 4개 영역, 17개 평가항목, 35개 성과지표 초안을 도출하였다. 기개발된 타도시 성과지표와 같이 투입-성과 모형을 적용하였고, A지역의 전략과제 내용, 평생학습과 지역발전의 관계를 강조한 관계자 인식 분석 결과 등을 적극 반영하였다.

<표 4>

A지역 평생학습 성과지표 (1차 도출안)

2. 평생학습 성과지표 타당화

총 2회에 걸친 델파이 조사를 통해 평생학습 성과지표 내용의 타당성을 검증하였다. 이를 통해 패널들의 의견이 일치하지 않은 항목을 검토·수정하였으며, 4개 영역, 15개 평가항목, 29개 성과지표로 최종 합의하였다. 구성영역 및 평가항목의 적절성, 성과지표 타당성, 세부내용 명료성에 대한 1·2차 델파이 조사의 분석결과는 다음과 같다.

1) 구성영역 및 평가항목

평생학습 성과지표의 구성영역으로 제안된 4개 항목의 적절성 분석 결과, 수렴도, 합의도, 변인계수, CVR의 기준을 모두 충족하였다. 다만 개념의 명료성을 높이기 위해 영역 이름을 변경해야 한다는 의견에 동의하여, 투입·과정·산출지표의 영역명을 ‘평생학습’에서 ‘평생교육’으로 수정하였다.

<표 5>

구성영역의 적절성에 대한 1·2차 델파이 조사 결과

영역별 평가항목에 대한 2회의 델파이 조사 결과, 최종적으로 15개 항목을 도출하였다. 1차 델파이 조사 결과, CVR, 수렴도, 합의도, 변인계수가 기준에 미치지 못하는 영역은 삭제·수정·보완하였다. 구체적으로, 연구진이 제안한 ‘평생학습 비용-효과성 분석’ 항목은 수렴도·합의도·CVR 값이 모두 기준에 미치지 못하여 삭제하였다. ‘평생학습 참여 만족도’ 항목은 CVR은 기준 이상이었으나 다른 지표와의 비중을 고려하여 ‘평생교육 사업 효과성 분석’ 항목과 통합하여 삭제하였다. ‘학습공동체’ 항목의 경우 CVR 값이 기준에 못 미치는 것으로 나타났고, 개념과 범위를 좀 더 분명하게 제시할 필요가 있다는 의견이 제되었다. 이에 연구진 검토 결과를 바탕으로 영역명은 유지하되 세부 설명을 일부 수정하였다. 2차 델파이 조사에서는 모든 항목이 기준값을 충족하였다.

<표 6>

평가항목의 적절성에 대한 1·2차 델파이 조사 결과

2) 성과지표 및 세부내용

항목별 세부 성과지표에 대한 조사 결과는 다음과 같다. 먼저 평생교육 추진기반(투입지표) 영역에서는 1차 델파이 조사 결과, ‘평생교육 예산 투입’ 지표의 세부내용에 대한 CVR 값이 0.57로 낮게 나타나 패널 의견을 반영하여 권역별 예산 지원 비율에 관한 세부내용을 삭제하였다. 또한 ‘평생교육 종합정보 제공’ 지표의 세부내용에 대해 수렴도, 합의도, CVR 값이 기준에 미치지 못하였기에, 패널의 의견을 반영해 온·오프라인 정보 제공에 관한 내용으로 수정하였다. 패널 검토 의견을 반영한 2차 델파이 조사에서는 6개 성과지표 및 세부내용이 모두 적합한 것으로 확인되었다.

<표 7>

투입지표 영역의 성과지표 및 세부내용에 대한 델파이 분석 결과

평생학습 사업운영(과정지표) 영역에서는 1차 델파이 조사 결과 14개 지표 중 11개 지표가 기준을 통과하였다. 다만, ‘국제 네트워크 확대’, ‘평생교육 강사 확보 및 관리’ 지표가 성과지표의 타당성, 세부내용의 명료성 모두 기준을 만족하지 못했고, ‘권역별 프로그램 운영’ 지표는 세부내용의 명료성이 수렴도, 합의도, CVR 값 모두 기준에 미치지 못했다. ‘국제 네트워크 확대’의 경우 이를 정량지표로 제시하기는 적절하지 않기 때문에, 실제 실천 내용을 파악하는 방식으로 개선해야 한다는 의견이 제시되었고, ‘평생교육 강사 확보 및 관리’ 역시 양성을 넘어 실제 실천을 확인하는 지표로 구성하여야 한다는 의견이 제시되었다. 패널 의견을 검토하여 용어 수정 및 유사지표 간 통합을 통해 성과지표를 12개로 조정하였으며, 2차 델파이 조사를 통해 11개 성과지표로 확정하였다.

<표 8>

과정지표 영역의 성과지표 및 세부내용에 대한 델파이 분석 결과

평생학습 사업운영 결과(산출지표) 영역에서는 8개 지표에 대한 1차 델파이 조사 결과, ‘1인당 평생학습 참여 경험’과 ‘평생학습 특성화’, ‘평생학습 비용-효과성 분석’ 지표의 CVR 값이 기준 미만으로 나타났다. 1차 조사 결과 및 패널 의견을 반영하여 ‘1인당 평생학습 참여 경험’, ‘평생학습 비용-효과성 분석’ 지표는 각각 ‘주민의 평생학습 참여율’, ‘평생교육 사업 효과성 분석’ 지표의 세부내용으로 포함되었다. 2차 델파이 조사에서는 조정된 지표가 모두 적합한 것으로 확인되었고, 연구진 협의를 통해 ‘평생학습 참여만족도’ 지표는 ‘평생교육 사업 효과성 분석’ 지표의 세부내용으로 포함되면서 산출지표 영역에서는 4개 항목, 5개 지표가 확정되었다.

<표 9>

산출지표 영역의 성과지표 및 세부내용에 대한 델파이 분석 결과

평생학습을 통한 가치 창출(결과지표) 영역의 성과지표 및 세부내용은 2회의 델파이 조사에서 수렴도, 합의도, 변인계수, CVR의 기준을 모두 충족하였다. 다만 이중적으로 해석될 수 있는 용어를 수정하고, 사회조사 지표와 연동성을 높이기 위해 세부내용을 일부 수정하여 보완하였다.

<표 10>

결과지표 영역의 성과지표 및 세부내용에 대한 델파이 분석 결과

3) A지역 평생학습 성과지표 도출 결과

델파이 조사 결과 및 연구진 협의를 통해 도출된 A지역 평생학습 성과지표는 <표 11>, <표 12>와 같으며, 4개 영역, 15개 평가항목, 29개 성과지표로 구성되었다. 구체적으로 살펴보면 평생교육 추진기반 영역(투입지표)은 자원투입, 법적기반 조성, 정보 접근성의 4개 하위 항목으로 평생교육 사업운영 영역(과정지표)은 평생교육 계획, 협력적 실천, 평생교육 파트너 양성, 교육 운영, 학습공동체 형성의 5개 하위 항목으로 구성되었다. 평생교육 사업운영 결과 영역(산출지표)에서는 평생학습 참여율, 성인 문해율, 평생학습 특성화, 사업 효과성 분석의 4개 하위 항목으로, 평생학습을 통한 가치 창출 영역(효과지표)에서는 평생학습의 사회적·경제적 가치, 평생학습의 공동체적 가치, 평생학습 개인적 가치의 3개 하위 항목을 담고 있다.

<표 11>

A지역 평생학습 성과지표의 영역 및 평가항목(최종)

<표 12>

A지역 평생학습 정책 세부 성과지표(최종)

Ⅴ. 결론

본 연구는 지역 평생학습 정책의 성과관리 필요성이 높아진 가운데 지역의 맥락을 고려한 성과지표가 필요하다는 문제의식에 기초하여 정책 성과를 드러내는 데 필요한 주요 항목과 내용을 개발하고 이를 타당화하기 위해 수행되었다. 국내외 평생학습 성과지표 개발 사례를 분석하여 평생학습도시의 기본 성격을 반영한 공통 지표 내용을 추출하고, A지역의 평생학습 정책 현황 분석 및 관계자 인식 조사 등을 통해 도시의 맥락을 반영한 지표 내용을 구성하였다. 마지막으로 전문가 집단을 대상으로 델파이 조사를 실시하여 성과지표(안)를 최종 확정하였다. 확정한 지표는 투입-산출의 논리모형에 따른 4대 주요 영역, 15개 평가항목, 29개 성과지표로 구성되었다. 이 지표체계는 A지역의 도시 비전을 중심에 두고, 필요한 자원을 적절하게 투입하고 있는지, 도시 내 공공·민간 파트너들과 충분하게 협력하여 시민의 학습 참여 기회를 보장하고 있는지, 그 결과, 개인 삶의 변화와 도시 전체의 성장이 이루어지고 있는지를 확인한다. 세부적인 지표내용으로 국가에서 실시하는 평생학습도시 재지정평가의 주요 항목과 타 지역에서 개발한 지표 중 공통 지표 내용을 포함하였고, A지역의 특성을 반영한 항목(예컨대, 권역별 교육 운영, 성인 문해율, 지역 정주의식 등)도 포함하였다. 특히, FGI 분석에서 도출된 것과 같이 평생학습 정책을 통한 개인의 삶의 질 향상 및 지역 성장의 결과를 확인하기 위한 평생학습의 개인적, 공동체적, 사회적, 경제적 가치를 주요 평가 항목으로 포함하였다.

이상의 연구 결과를 토대로 발견한 시사점은 다음과 같다. 첫째, 지역 평생학습 정책의 특성은 투입-산출의 논리 모형 중 투입 영역보다는 과정 및 결과 영역에 주로 반영된다는 점이다. 예컨대, A지역은 지자체 내 타 부서의 교육 사업을 주기적으로 모니터링하고 관리하며 중복과 결락의 문제를 적극적으로 조정하기 위해 노력 중이다. 이러한 특성은 관계자 간의 ‘협력적 실천’이라는 항목으로 관리해야 함을 확인하였다. 또한 A지역은 지역에 비문해자가 많다는 점에 주목하여 적극적으로 문해교육을 실행하고 있고, 도내에서 정주여건이 낮은 편에 속하는 지역으로서, 교육사업의 목표 중 하나를 정주의식 제고로 설정한 바 있다. 이러한 특징이 ‘성인 문해율’, ‘평생학습의 공동체적 가치’라는 항목으로 연결되었다. 이처럼 A지역이 지역의 여건을 고려하여 어떤 ‘목표’하에 ‘무엇을’ 시도하고 있는지가 타 지역과 차별화된 성과지표로 연결됨을 확인하였다. 이는 지역의 고유성이 지역의 맥락에 대한 고민과 탐구의 결과 형성된다고 할 때(Watson & Wu, 2015), 평생학습 정책 사업의 내용뿐 아니라, 성과관리를 통해 이러한 고유성을 더욱 강화할 수 있음을 시사한다.

둘째, 평생학습 성과지표는 이미 시행 중인 각종 평가 및 질 관리 체계와의 관련성을 고려해 개발하여야 한다는 점이다. A지역은 교육부의 평생학습도시 재지정평가의 대상이며, 그와 별도로 지자체 내에서 성과관리 및 업무기능 향상을 위해 자체 성과관리 시스템을 작동 중이다. 또한 A지역은 GNLC 가입 도시로서 유네스코의 특성화 지표를 고려한 정책 사업(예컨대, 지속가능 사회를 위한 세계시민교육)을 추진하고 있다. 이와 같이 A지역은 최소 3개 이상의 성과관리 내용을 고려하며 사업을 추진 중이다. 이처럼 하나의 지역에 상호 관련성이 깊은 성과관리 시스템이 다중적으로 작동하기 때문에, 새롭게 개발하는 평생학습 성과지표는 이전에 구축된 성과관리 시스템의 내용과 방식을 고려하여 통합적인 관리 체계로 기능할 수 있어야 한다. 이는 평생학습 정책 성과관리에 대한 관계자들의 진입 장벽과 피로도를 낮춤으로써 여러 성과관리 체계가 의미 있게 작동하는 데 도움을 줄 것이다.

셋째, 투입-산출의 논리 모형에서 결과 영역을 산출(output)과 성과(outcome)를 구분할 때, 성과 영역에서는 측정의 가능성, 영역 간의 연계성, 지표로서의 유용성 측면을 충분하게 고려해야 함을 확인하였다. 성과 영역에는 비교적 장기간 자원 투자를 통해 개인 및 지역사회에 나타나게 될 변화를 측정하는 지표를 제시하기에 측정 범위가 너무 넓어지거나 측정 방식이 모호해질 가능성이 있다. 또한 개인 및 지역사회에 일어난 장기적 변화는 복합적 요인으로부터 영향을 받기 때문에 이것이 오직 평생교육 영역에서의 투입 및 과정에만 영향을 받은 고유의 성과라고 이해하기 어렵다는 난점이 있다. 그렇기에 성과관리 체계를 구축함에 있어 성과 영역의 측정 가능성, 영역 간 연계성, 지표의 유용성을 충분히 고려하지 않는다면 현실적으로 지표를 적용하여 평생학습도시의 성장과 변화를 설명하거나, 모니터링하기 어려울 수 있다. 예컨대 이 연구는 평생학습 성과지표의 성과 영역에 ‘지역 정주의사’ 지표를 포함했는데, 정주의사는 개인 및 지역사회의 장기적 변화로 평생교육 외의 영역으로부터 영향을 받을 수 있다. 그렇기에 이 연구는 ‘지역 정주의사’를 성과지표로 포함하기 위해 정주의사가 A지역 교육사업 목표이며, A지역이 지역 사회지표 조사를 통해 평생교육 참여 여부 및 정주의사에 관한 데이터를 매년 수집하기에 응답자의 평생교육 참여 여부와 정주의사의 관계를 확인할 수 있다는 점을 충분히 고려했다. 이와 같은 검토가 충분하게 이루어지지 않는다면 성과측정과 실제 성과의 연관성이 낮은 ‘성과역설(performance paradox)’이 일어날 수 있기에 주의해야 한다(이정철·이정욱, 2021).

성과지표는 평가의 목적, 표준 척도, 대조 지표의 유무와 성격 등에 따라 설정 방식이 달라지고, 평가 결과 역시 달라질 수 있다(박동비, 2022; Chalmers, 2008). 따라서 성과지표 개발 과정의 체계성과 엄밀성을 확보하는 것이 중요하다. 본 연구는 다양한 조사를 통해 내용을 분석하고, 내용 간의 관계에 주목하여 성과지표를 도출하였으며, 이를 타당화하는 과정을 통해, 성과지표 개발의 체계성과 엄밀성을 확보하는 방식을 보여주었다는 점에서 의의가 있다. 또한, 공공기관에서 성과관리 도구로 폭넓게 활용하고 있는 균형성과지표(BSC)와는 다른 관점에서 지역 평생학습의 성과를 드러내는 방식을 개발했다는 점에서 주목할 만하다. BSC는 조직의 성과를 재무관점, 고객관점, 내부프로세스 관점, 학습과 성장의 관점에서 측정하고, 각각의 인과관계를 확인할 수 있도록 도와주는 논리적 인과관계 모형이다(권순철·박순애·손지은, 2017; 안경섭·유홍림, 2011). 이를 통해 각각의 관점에서 개선해야 할 사항을 구체적으로 드러낼 수 있다. 이에 국내의 중앙 및 지방정부에서는 BSC 성과지표를 적극 도입·운영 중이다. 그러나 공(公)조직의 장기적인 가치창출과 지속적인 성장이라는 목표에 부합하는 성과관리의 수단으로 충분하게 기능하지 못한다는 평가나(권순철·박순애·손지은, 2017), 교육정책과 같이 장기간의 시차를 두고 나타날 수 있는 성과를 측정하기에 적절하지 않다는 지적(나태준·이남국, 2005), 그리고 상대적 비교를 통한 경쟁촉진의 가능성이 있다는 비판(김철회·조만형·김용훈, 2006) 등이 존재한다. 이 점에 주목할 때 본 연구는 지역 평생학습 성과지표의 새로운 접근 가능성을 보여주었다는 점에서 의의가 있다.

향후 성과지표 개발을 넘어서 성과관리까지 논의를 확장하기 위해서는 다양한 관계자 그룹과의 협업 및 주민의 참여를 전제로 한 실행방식을 구체화할 필요가 있다. 지역 평생학습 정책 성과관리는 평생학습을 통한 지역사회 전체의 변화와 성장을 측정하고 관리하는 데 목적이 있다는 점에서 지역 내 다양한 집단(예컨대, 행정조직 내 평생학습 유관부서, 지역 내 관련 기관·단체 등)의 협력과 참여가 필수적이다. 특히 학습을 매개로 한 주민의 성장과 참여, 다양한 관계 형성을 지향하는 지역 평생학습 정책의 지향점을 고려할 때, 주민이 평생학습 성과관리에 참여하는 과정에서 주민 스스로 의미 있는 학습 구성의 주체로 설 수 있을 것이다.

Acknowledgments

본 연구는 당진시청의 지원을 받아 수행한 김은경 외(2023) ‘당진시 평생학습 성과관리체계 구축’ 연구 중 일부를 발전시켜 작성되었음.

References

• 고영상·이창기·김한별·박경호·이세정(2008). 평생학습도시 조성사업 성과분석 연구. 교육과학기술부.
• 고영선·윤희숙·이주호(2004). 공공부문의 성과관리. 한국개발연구원.
• 공병천(2012). 성과관리 제도·운영 분석 및 정책과제: 중앙행정기관을 중심으로. 한국공공관리학보, 26(4), 55-85. [https://doi.org/10.24210/kapm.2012.26.4.003]
• 교육부(2020). 평생학습도시 재지정평가 시행계획.
• 교육부(2023). 2주기 평생학습도시 재지정평가 시행계획.
• 국가법령정보센터(2017). 정부업무평가기본법[시행 2017. 7. 26.] [법률 제14839호, 2017. 7. 26., 타법개정] 제2조 제6항. https://www.law.go.kr/법령/정부업무평가기본법, (검색일: 2024. 6. 21)
• 권대봉·김재현·김정주·허선주(2010). 평생학습도시의 사회경제적 의미. HRD연구, 12(2), 19-44. [https://doi.org/10.18211/KJHRDQ.2010.12.2.002]
• 권순철·박순애·손지은(2017). 공공기관 BSC모형의 성과지표 간 인과관계 분석: 한국공항공사의 고객관점과 재무관점을 중심으로. 행정논총, 55(3), 141-168.
• 김덕준·김범석(2006). 지방정부 개발정책 성과에 미치는 변수 영향력 분석. 한국정책과학학회보, 10(2), 207-229.
• 김성재·김후자·이경자·이선옥(2000). 포커스 그룹 연구방법. 서울: 현문사.
• 김은경·박상옥·김의태·이경림·김재연·전창민(2023). 당진시 평생학습 성과관리체계 구축. 당진시청.
• 김철회·조만형·김용훈(2006). 정부부처에 대한 BSC 적용사례와 시사점: 비판적 검토를 중심으로. 한국사회와 행정연구, 16(4), 69-88.
• 나태준·이남국(2005). 성과관리제도 도입의 명암: 교육인적자원부 성과목표체계 개발사례를 중심으로. 한국행정학회 춘계학술대회 발표논문집(pp. 75-93). 한국행정학회.
• 박노욱·태정임·배광빈·현보훈(2012). 재정사업 성과지표개발 매뉴얼 -현장에서 통하는 성과지표개발-. 한국조세연구원.
• 박동비(2022). 대학의 자체 교육인증 성과측정 평가지표 개발연구: A대학 사례를 기반으로. 고등교육, 5(2), 39-68. [https://doi.org/10.22838/jher.2022.5.2.39]
• 박중훈·한현주·이근주·박병식(2004). 성과평가제도 및 운영실태에 대한 분석과 개선방안 (통합성과관리의 모색). 한국행정연구원.
• 변종임·채재은·김세화(2006). 평생학습도시사업 성과에 영향을 미치는 요인 분석. 한국교육, 33(3), 217-238.
• 변종임·홍영란·채재은·고영상·현영섭(2011). 지역평생학습정책 성과분석 및 개선방안 연구. 한국교육개발원.
• 성태제·송재기·이상진·이성도(2006). 성과지표 개발·관리 매뉴얼. 국무조정실.
• 신성현·전주성(2017). 우리나라 평생학습도시와 비평생학습도시의 평생학습실태 및 성과 비교. Andragogy Today, 20(4), 65-91. [https://doi.org/10.22955/ace.20.4.201711.65]
• 안경섭·유홍림(2011). 정부부처 성과평가에 있어 BSC의 한계에 대한 연구: 해양경찰청 사례를 중심으로. 한국정책과학학회보, 15(4), 261-284.
• 오윤섭(2018). 사회서비스 분야 성과관리 개선 방향. 보건복지포럼, 262, 52-66.
• 유란희·유은지(2022). 복지정책 성과지표의 결과지향성: 사회부처 관리과제를 중심으로. 한국공공관리학보, 36(1), 75-105. [https://doi.org/10.24210/kapm.2022.36.1.004]
• 윤신희·이세훈·김지훈(2021). 고양시 평생학습도시 지표 구축 및 활용방안 연구. 고양시정연구원.
• 이은국·이영범·이창길(2015). 성과지표 개선방안 연구. 국무조정실·한국정책학회.
• 이정철·이정욱(2021). 성과측정과 성과역설에 관한 연구. 한국정책학회 하계학술발표논문집(pp. 1-26). 한국정책학회.
• 이지혜·허준·김지현(2021). 평생학습도시 사업 실행 과정에 나타난 성과와 한계: G도 사례를 중심으로. 평생학습사회, 17(1), 49-80. [https://doi.org/10.26857/JLLS.2021.2.17.1.49]
• 이창기·고영상·박경호(2010). 평생학습도시 조성정책의 질적 성과분석. 한국사회와 행정연구, 21(1), 75-96.
• 이창길(2007). 공공부문과 민간부문의 성과관리도구 도입이 조직성과향상에 미치는 영향요인 비교 분석 -성과관리도구로서 BSC 시스템 적용을 중심으로-. 정책분석평가학회보, 17(3), 55-86. [https://doi.org/10.23036/kapae.2007.17.3.003]
• 이해주·이미나·노경주·김진화(2018). 평생교육방법론. 서울: 한국방송통신대학교 출판문화원.
• 이희수·임경수(2021). 부천시 평생학습도시 조성사업 성과관리 체계구축을 위한 연구. 부천시청.
• 임경수·이희수(2019). 유네스코 학습도시 핵심특성을 통해 본 광명시의 평생학습도시 조성성과 사례연구. 문화와 융합, 41(5), 587-630. [https://doi.org/10.33645/cnc.2019.10.41.5.587]
• 장안서·원일·조창빈·장철승·이찬(2021). 세종시 장애인 평생교육 성과관리 지표 개발. 세종특별자치시 사회서비스원.
• 채재은·변종임(2014). 지역평생학습정책 집행에 영향을 주는 요인 분석. 평생교육학연구, 20(2), 89-119.
• 최운실·권두승·박소연·박새봄·임형균·고영상(2010). 평생학습도시 인정 지표 및 매뉴얼 개발. 평생교육진흥원.
• 최운실·임경수·김명숙·김동호(2022). 군포시 평생학습도시 조성사업 성과관리체계 구축 연구. 군포시청.
• 한인섭·김정렬·김진화·길혜지·윤신희(2022). 평생학습도시 평생학습지수 개발 연구. 국가평생교육진흥원.
• 허준·김지현·이재준·윤창국(2022). 학습도시 자체 평가 및 진단을 위한 자율형 지표 개발 연구. 평생교육·HRD 연구, 18(2), 1-29. [https://doi.org/10.35637/klehrd.2022.18.2.001]
• Chalmers, D. (2008). Teaching and learning quality indicators in australian universities. Programme on Institutional Management in Higher Education (IMHE). Outcomes of higher education: Quality, relevance, and impact. 8th Sept. Retrieved from https://dokumen.tips/documents/teaching-and-liarning-qualigy-indicators-in-australian-universities.html
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575. [https://doi.org/10.1111/j.1744-6570.1975.tb01393.x]
• Rogers, S. (1990). Performance management in local government. Harlow, UK: Longman.
• UNESCO Institute for Lifelong Learning. (2018). 유네스코 글로벌 학습도시 네트워크: 안내서(조순옥 역). 서울: 유네스코한국위원회. (원저 2015년 출간)
• Watson, C., & Wu, A. T. (2015). Evolution and reconstruction of learning cities for sustainable actions. New Directions for Adult & Continuing Education, 2015(145), 5-19. [https://doi.org/10.1002/ace.20119]