학습 동기 유발과 학습 몰입 향상을 위한 K-MOOC 교수설계 모형 및 교수전략 개발 연구

Ⅰ. 서론

최근 우리 사회는 빅데이터와 인공지능(AI) 등 첨단 과학기술을 기반으로 자동생산이 가능한 초연결시대로 접어들었다. 이러한 산업계의 발달은 미래사회에서 요구되는 직업과 기술, 인재가 갖춰야 할 역량에 직접적인 영향을 끼쳤으며, 그 결과, 교수자 중심의 전통적인 교육 패러다임에서 학습자 중심의 교육 패러다임으로 전환되는 계기를 마련하였다(박태정·나일주, 2016). 또한, 인간의 평균 수명 연장으로 인한 100세 시대 도래와 경제적·물질적 여유는 삶의 질 향상에 대한 욕구를 높였다. 따라서 2030 세대를 중심으로 헌신보다는 삶의 균형을 중시하는 가치관이 확대되었고, 더불어 고용불안정성 등 사회·경제 활동에 관한 불확실성이 증가함에 따라 평생직장에 대한 개념도 변화를 맞이하게 되었다(하규수, 2023). 이러한 시대 변화는 지속적 학습의 형태인 평생학습에 대한 수요 증가로 이어졌다(조화태·김계현·전용오, 2020).

온라인 학습의 등장은 평생학습의 지평을 넓혀주었다. 온라인 학습은 컴퓨터와 같이 네트워크로 연결된 전자기기를 매개로 이루어지는 학습을 말한다. 따라서 교수자와 학습자가 서로 다른 공간에 존재하며, 학습 형태에 따라 교수자와 학습자가 같은 시간에 존재하거나 다른 시간에 존재한다(김성빈·임규연, 2017; Moore & Kearsley, 2005). 시간과 공간의 제약을 극복하는 온라인 학습은 학습의 효율성, 적시성, 개방성, 경제성 등 여러 이점을 가지고 있어 학습자에게 평생학습의 기회에 대한 접근성을 높여준다(정찬길·배을규·박상오, 2018). 2015년 정부는 디지털 대전환과 평생학습에 대한 수요를 확대하기 위하여 전 국민을 대상으로 언제, 어디서나, 누구나 시대적 요구에 적합한 능력을 습득하고 무료 학습의 기회를 제공하는 『한국형 온라인 공개강좌(Korea Massive Open Online Course, 이하 K-MOOC) 기본계획』을 수립하였다. K-MOOC는 시행 첫해 10개 대학의 27개 강좌, 수강생 6만 명을 시작으로 2022년까지 총 152개 참여기관, 총 1,879개, 총 281만 명의 수강생을 보유하고 있다. 2018년 11월, 정부는 본격적으로 성인학습자의 재교육(re-skilling) 및 향상교육(up-skilling)을 지원하기 위해 일반 국민이 K-MOOC를 이수할 경우, 학점은행제를 통하여 정규학점으로 인정받을 수 있도록 ｢학점인정 등에 관한 법률 시행령｣을 개정하였다. 2022년까지 학점은행제 신청자 수는 16,654명이며, 그 밖에도 정부는 교육기관, 기업 등과 MOU를 체결함으로써 K-MOOC 이수 결과를 기업 사내교육, 교원연수 등에 활용하도록 지원하고 있다. 실제로 LG전자는 K-MOOC 이수 결과를 사내학점으로 인정하여 진급 등 인사제도에 활용하고 있으며, POSCO 인재창조원, KCC, ㈜로지스올 등은 K-MOOC 플랫폼과 사내 시스템을 연계하여 기관 맞춤형 소규모 온라인 과정인 SPOC(Small Private Online Course) 서비스를 통해 사내 재직자 교육을 제공하고 있다(교육부, 2023).

그러나 선행연구에서는 이러한 빠른 성장세에도 불구하고 K-MOOC 강좌를 수강하는 데 있어 중도 탈락하는 경우가 상당수이며, 이수 기준을 충족하는 학습자의 비율은 그다지 높지 않다는 점을 지적하였다(김동심·이영선, 2018; 임유진‧정유진, 2020). 2023년 교육부가 발표한 자료에 따르면 2015년 K-MOOC 이수율은 3.2%였으며, 2017년 12.7%, 2019년 23.9%, 2021년 30.1%, 2022년 11월 기준 37.7%로 꾸준히 증가하는 추세이다. 하지만 일반적인 온라인 학습에 대한 이수율과 비교해 볼 때 여전히 낮은 수치를 보인다. 이러한 원인에 대해 김동심·이영선(2018)은 일반대학의 정규 비대면 강좌나 기관 등에서 행해지는 일반적인 온라인 학습의 경우 대상을 명확하게 구분하여 운영하는 반면에 K-MOC는 누구나 강의를 접할 수 있는 범용과정으로 운영하기 때문이라고 말했다. 실제로 K-MOOC를 이용하는 학습자의 연령대를 살펴보면, 2022년 기준 20대가 51.4%로 가장 많았고, 30대 15.8%, 40대 10.8%, 20세 미만 9.7%, 50대 8.8%, 60대 이상 3.5% 순으로 학습자 대부분이 20세 이상 다양한 연령층의 성인학습자임을 알 수 있다(교육부, 2023). K-MOOC 학습자들의 중도 탈락에 대한 또 다른 원인으로는 시간 부족, 상호작용 부족, 학습 소요 시간 부담 등 환경적 요인이 나타났는데, 그중 학습 소요 시간 부담에 관해서는 K-MOOC 강좌 상당수가 대학에서 운영되는 강좌를 그대로 옮긴 형태이기 때문에 온라인에서 학습하는 학습자에게 인지 부하와 피로를 유발하고 지속적인 학습 몰입을 힘들게 하는 요인으로 작용한다고 보고됐다(조유진 외, 2022). 이러한 맥락에 따라 장상현 외(2016)는 K-MOOC에서 학습자가 지속적으로 학습을 수행하고, K-MOOC 강좌가 활성화되기 위해서는 학습자 대상에 따른 맞춤형 강좌 운영이 이루어져야 하며, 이에 대한 질적 차원의 논의가 시급하다고 주장하였다.

조아라·노석준(2013)은 성인학습자의 경우 나이, 직업, 학력, 생활환경 등 다양한 인구통계학적 특징을 가지고 있으며, 서로 다른 사회적 역할이 부여되기 때문에 상이한 학습 목표와 학습 동기를 갖게 된다고 설명하였다. 학습 동기(learning motivation)란 목표지향적인 학습 활동이 유발되고 유지되는 과정이다. Ryan & Deci(2000)는 학습 동기를 외재적 동기(extrinsic motivation)와 내재적 동기(intrinsic motivation)로 분류하였다. 외재적 동기란 최종의 목표를 얻기 위한 수단으로 활동에 참여하는 동기를 말하며, 내재적 동기란 활동 그 자체를 위하여 참여하는 동기를 말한다. K-MOOC의 이수율과 학습 동기에 관한 선행연구를 살펴보면, 강영민·박주호·이효진(2018)은 연구를 통해 학습자의 내재적 동기 수준이 높을수록 K-MOOC 이수율 사이에 정적인 영향을 미치는 것을 확인하였다. 문혜리·이현석(2019)은 2018학년도 2학기부터 2019학년도 1학기 K-MOOC 특정 강좌에 대한 학습 동기와 이수율 간의 상관관계를 분석한 결과, 정규학점 취득과 같은 외재적 동기 수준과 이수율 사이의 정적 상관관계가 나타남을 확인하였다. 이와 같은 선행연구 결과를 종합해보면, K-MOOC에서 학습 동기가 높을수록 이수율이 높으며 이는 곧 중도 탈락이 저하됨을 유추해볼 수 있다. 따라서 범용과정으로 운영되는 K-MOOC의 다양한 학습자들이 학습을 지속하고 강좌를 이수하도록 하기 위해서는 그들의 학습 목표와 학습 참여 동기를 파악하고 유지 시켜주는 것이 중요하다.

일방향 학습이 이루어지는 일반적인 온라인 학습과 달리 K-MOOC는 온라인에서 교수자와 학습자 간의 상호작용이 부단하게 수반되는 양방향 학습이 이루어진다. 그러므로 K-MOOC는 일반적인 온라인 학습보다 학습자에게 능동적이고, 자기 주도적인 학습을 요구한다(김용재, 2023). K-MOOC와 같이 자기 주도적 학습이 강조되는 온라인 학습 환경에 대해 Mason et al.(2015)은 학습자의 성공적인 학습을 보장하기 위해서는 학습에 대한 심층적 몰입을 끌어내야 한다고 주장하였다. 몰입(flow)이란 개인이 참여하고 있는 활동에 몰두하여 즐거움을 느끼고 성공적으로 수행할 수 있는 내적 동기 요인을 말하며, 몰입이 일어나기 위해서는 흥미, 동기, 집중, 즐거움 등이 동시에 발생해야 한다(Csikszentmihalyi, 1975). 몰입이 K-MOOC와 같은 온라인 학습의 중도 탈락 또는 이수율에 미치는 영향을 다룬 선행연구를 살펴보면, Hoffman & Novak(1996)은 학습자의 중도 탈락을 예방하고, 학습자가 지속적이고 반복적으로 학습을 수행하게 하는 원동력은 학습 몰입에 있다고 주장하였다. 주영주·정애경·한애리(2011) 그리고 이숙정(2011)은 연구를 통해 학습 몰입이 온라인 수업에서 학습을 지속하는 데 유의미한 영향을 미친다는 것을 확인하였다. Liu, Li, & Zhang(2022)은 연구를 통해 온라인 학습 환경에서 학습 몰입과 학습 지속성 사이에 정적 상관관계가 나타남을 확인하였다. 그러므로 K-MOOC의 학습자가 중도 탈락 없이 자기 주도적으로 학습을 수행하고, 성공적으로 학습을 완수할 수 있도록 유도하기 위해서는 학습자의 몰입을 높이는 교수설계와 전략을 도입할 필요가 있다.

따라서 본 연구는 K-MOOC 학습자의 중도 탈락을 예방하기 위하여 선행연구 분석 결과를 토대로 학습 동기를 유발하고, 학습 몰입을 높일 수 있는 K-MOOC 교수설계 모형을 개발하고 각 단계에 따른 교수전략을 도출하고자 한다. 구체적인 연구 문제는 다음과 같다.

첫째, 학습자의 학습 동기를 유발하고, 학습 몰입을 높일 수 있는 K-MOOC 교수설계 모형은 무엇인가?

둘째, 학습자의 학습 동기를 유발하고, 몰입을 높일 수 있는 K-MOOC 교수전략은 어떠한가?

Ⅱ. 이론적 배경

2. 교수설계 모형에 관한 선행연구 분석

1) ADDIE 모형

이론적 근거에 따라 다양한 교수설계 모형이 존재하나 모든 교수설계 모형은 ADDIE 모형에 기초를 두고 있다(Branch, 2018). 교수체제설계(Instructional Systems Design, ISD) 중 하나인 ADDIE 모형은 분석(analysis), 설계(design), 개발(development), 실행(implementation), 평가(evaluation)의 요소로 구성되어 있다. 각 요소를 살펴보면, 첫째, 분석은 학습자 분석, 교수 분석, 학습 환경 분석 등 학습에 관한 요구분석을 통해 교수설계에 필요한 기초자료를 수집하는 단계이다. 둘째, 설계는 분석과정에서 도출한 결과를 종합하여 학습 목표를 달성하도록 구상하는 단계로, 구체적인 학습 목표를 설정하고, 학습 내용을 계열화하며, 교수전략을 도출한다. 셋째, 개발은 설계된 내용을 바탕으로 실제 수업에서 사용할 수업 자료나 수업 매체 등을 제작하는 단계이다. 넷째, 실행은 개발 단계의 최종 산출물을 실제 수업 현장에 적용하는 것이다. 다섯째, 평가는 총괄평가를 통해 학습에 대한 효율성, 효과성, 매력성을 평가하는 단계이다(류지헌·김민정·임태형, 2023).

정재삼(1996)은 어떠한 ISD에서나 발견되는 핵심적인 교수설계 모형인 ADDIE 모형은, ISD의 뿌리이자 기초개념으로 받아들여진다고 말하였다. 그러므로 본 연구에서는 다양한 학습자와 학습상황, 학습 수행과 학습 성과에 효과적으로 적용하기 위하여 가장 일반화된 ISD인 ADDIE 모형을 기본 틀로 잡고, K-MOOC 교수설계 모형을 구조화하였다.

2) Dick과 Carey의 체제적 교수설계 모형

Dick, Carey, & Carey(2015)의 체제적(systematic) 교수설계 모형은 체제적 접근 방법에 따라 교수설계에 필요한 일련의 단계와 단계 간의 상호 관련성에 초점을 맞추고 있다(박성익 외, 2011). 해당 모형은 ‘교수 목적 확인’, ‘교수 분석’, ‘학습자 분석 및 상황 분석’, ‘학습 목표 기술’, ‘평가도구 개발’, ‘교수전략 개발’, ‘수업 자료 개발 및 선정’, ‘형성평가’, ‘교수 수정’, ‘총괄평가’의 10가지 단계로 구성되어 있다.

Dick & Carey는 여러 가지 주요 개념과 절차를 반영하여 ISD를 확장했다. 두 모형의 차이점을 살펴보면 다음과 같다. Dick & Carey 모형의 교수 목적 확인, 교수 분석, 학습자 분석 및 상황 분석은 ADDIE 모형의 분석 단계에 해당한다. Dick & Carey 모형의 학습 목표 기술은 ADDIE 모형의 설계 단계에 해당한다. Dick & Carey 모형의 평가도구 개발, 교수전략 개발, 수업 자료 개발 및 선정은 ADDIE 모형의 개발 단계에 해당한다. Dick & Carey 모형에서는 ADDIE 모형의 실행 단계에 해당하는 부분이 생략되었는데, 그 이유는 Dick & Carey 모형은 교수자의 입장보다는 교수설계자의 입장에 초점을 두었기 때문이다(정재삼, 1996). 마지막으로 Dick & Carey 모형에서는 ADDIE 모형과 달리 형성평가와 총괄평가가 모두 포함되는데, 형성평가는 평가 결과를 기반으로 학습 목표를 달성하는 데 있어 잘못된 부분을 검토하는 교수 수정의 단계이며, 종합평가는 개발된 교수 활동의 효과를 총체적으로 검증하는 단계이다(정재삼 외, 2021; Dick, Carey, & Carey, 2015).

따라서 본 연구에서는 ADDIE 모형의 전반적인 틀에 Dick & Carey 모형의 세부적인 절차를 종합하여 K-MOOC 교수설계 절차를 제시하였다.

3) Allesi와 Trollip의 튜토리얼 모형

현대사회의 교육현장에서는 디지털 매체의 발전으로 컴퓨터와 모바일 기기 등을 활용한 학습 콘텐츠가 보편화되었다. 이러한 디지털 학습 콘텐츠 활용 수업에서는 이전 매체에서 경험할 수 없던 능동적인 상호작용성과 창조성을 부여하는 스토리텔링 기법이 요구된다(허희옥, 2006). 이에 Alessi & Trollip(2001)은 멀티미디어와 같은 소프트웨어 활용을 지향하는 학습 모델을 개발하였다. Alessi & Trollip은 소프트웨어를 활용하는 학습 모형을 하이퍼미디어, 연습형, 튜토리얼, 시뮬레이션, 게임형으로 구분하였다. 그중 튜토리얼(tutorials) 모형은 [그림 1]과 같이 학습 내용을 제시하고, 학습자와의 질의응답을 통해 피드백을 제공하는 형식을 취한다(장은정, 전은화, 2008; Alessi & Trollip, 2001). 그러므로 Alessi & Trollip의 튜토리얼 모형은 교수자 주도의 지식 전달과 학습자의 개별학습으로 구성된 온라인 학습 모형으로써 교수자가 학습자에게 새로운 지식과 정보를 전달하고 안내하면서 개별학습과 피드백을 제공하고, 평가를 통해 교수·학습을 진행하는 가장 일반적인 수업모형이라고 할 수 있다. 이에 본 연구에서는 온라인상에서 학습이 이루어지는 K-MOOC 강좌의 특성을 반영하여 교수 실행 단계에 해당 모형의 절차를 참고하였다.

[그림 1]

Alessi & Trollip의 튜토리얼 모형

3. 교수전략에 관한 선행연구 분석

1) 학습 몰입

Philp & Duchesne(2016)은 몰입(flow) 중 비교적 짧은 시간에 발생하는 것이 아닌 심층적이고 지속적으로 학습에 참여하는 것을 학습 몰입(engagement)으로 분리하여 정의하였다. 따라서 학습자는 학습 몰입을 통해 학습 활동에 흥미를 갖고 적극적으로 참여할 수 있게 된다. Fredricks, Blumenfeld, & Paris(2004)는 학습 몰입을 정서적, 인지적, 행동적 요소가 포함된 다차원적인 개념이라고 정의하였으며, 학습 몰입에 대한 요인별 하위요소를 <표 1>과 같이 정리하였다(Fredricks & McColskey, 2012).

<표 1>

학습 몰입 요인별 하위 요소

Martin(2012)은 연구를 통해 정서적 몰입과 인지적 몰입이 행동적 몰입에 영향을 미친다는 것을 밝혀냈으며, 이를 기반으로 ‘정서·인지적 몰입→행동적 몰입→학업성취’의 발달 궤적 모형을 제시하였다. 또한, 학습 몰입은 학생이 설정한 학습 목표를 달성하기 위하여 학습에 몰두하는 일련의 활동을 의미하는데, 이러한 학습 몰입을 통해 학습자는 학습 활동에서 느끼는 절정의 경험으로 학습 효과를 극대화할 수 있다(Bakker, Golub, & Rijavec, 2017). 따라서 본 연구에서는 학습 몰입을 높이기 위한 전략으로 Fredricks, Blumenfeld, & Paris의 학습 몰입의 개념을 차용하였고, Fredricks & McColskey가 제시한 학습 몰입 요인과 하위요소를 차용하였다.

2) Keller의 ARCS 동기 유발 모형

Keller(1983)의 ARCS 동기 유발 모형은 학습자의 학습 동기를 유발하고 지속시키기 위한 교수설계 모형이다. ARCS 동기 유발 모형은 주의집중(attention), 관련성(relevance), 자신감(confidence), 만족감(satisfaction)의 4가지 동기 요인으로 구성되어 있으며, 각 요인에 대한 동기유발 전략을 제시하고 있다. 첫째, 주의집중은 ‘지각적 주의환기’, ‘탐구적 주의환기’, ‘다양성’의 전략을 통해 학습자가 학습 내용에 주의집중하게 하는 것을 말한다. 둘째, 관련성은 ‘친밀성’, ‘목표지향성’, ‘모티브 일치’의 전략을 통해 현재 행해지고 있는 학습 활동과 학습 목표가 학습자의 필요성과 부합된다는 점을 인식하게 하는 것이다. 셋째, 자신감은 ‘학습조건 제시’, ‘성공기회 제시’, ‘개인적 통제감’의 전략을 통해 학습 수행에 대한 기대감을 형성하고, 학습 성공 여부의 귀인이 학습자에게 있음을 인식하게 하는 것이다. 넷째, 만족감은 ‘내재적 강화’, ‘외재적 보상’, ‘공정성’의 전략을 통해 학습 경험과 결과에 대한 만족감을 형성시켜 학습을 지속적으로 유지하도록 유도하는 것이다(두민영·김영수, 2000; 류지헌·김민정·임태형, 2023).

박성익 외(2021)는 Keller의 ARCS 동기유발 모형 중 관련성이야말로 목표지향적 학습 동기 요인으로서 학업성취를 위한 목표를 제시하거나 학습자들에게 목표를 스스로 정의하게 함으로써 동기를 유발하게 된다고 언급하였다. 그러면서 세 가지 세부 전략을 제시하였는데, 첫째, 학습 목표가 미래에 중요하고 실용적이며 가치가 있다고 인식하게 하는 것이다. 둘째, 학습에 대한 목적이나 미래의 실용성 등을 분명히 제시하기 어려운 경우 학습 활동에 게임, 시뮬레이션 등 그 자체로 목적을 제시해줄 수 있는 학습 형태를 이용하는 것이다. 셋째, 학습 목적을 다양하게 제시하고 학습자가 자신에게 적절한 목적을 선택하게 하는 것이다. 그러므로 본 연구에서는 K-MOOC 학습자의 학습 동기를 유발하고 유지하기 위하여 ARCS 동기 유발 전략을 참고하였으며, 특히 K-MOOC 학습자의 대부분이 성인학습자인 특성을 고려하여 관련성 요인을 중점으로 교수전략을 도출하고자 하였다.

3) Reigeluth의 정교화 이론

교수설계 과정에서 평가계획이 수립되면 학습자가 효과적인 학습을 수행하고 성공적인 학습을 경험하도록 학습 내용을 선정하고 구조화해야 한다. 이를 거시적 설계(macro design)라고 한다. Reigeluth의 정교화 이론(elaboration theory)은 거시적 설계의 대표적인 이론이다(정재삼 외, 2021). 정교화 이론이란 교수·학습 구조를 설계할 때 학습 단원을 이루는 골자(epitome) 중 중요한 것부터 단계적으로 정교화하고 계열화하는 방법을 말한다(김성완·박종화·이명근, 2010; Reigeluth, 1983, 1987). Reigeluth가 제시한 정교화 원리를 살펴보면, ‘단순→복잡’, ‘쉬운 내용→어려운 내용’, ‘구체적인 것→추상적인 것’, ‘대표성이 높은 것→특수한 내용’ 등으로 학습 내용을 조직하고 계열화한다(류지헌·김민정·임태형, 2023). 이는 학습 내용에 대한 전체적인 구조와 미시적인 위계관계를 대조함으로써 학습 내용을 보다 쉽게 이해하도록 하기 위함이다. 따라서 본 연구에서는 학습에 초점을 둔 Reigeluth의 이론을 바탕으로 학습자가 수동적인 학습이 아닌 능동적이고, 맥락을 고려하며, 융통성 있게 학습을 수행할 수 있도록 교수전략을 도출하고자 하였다.

Ⅲ. 연구 방법

1. 연구 절차

본 연구는 학습자의 중도 탈락을 예방하기 위하여 학습 동기를 유발하고, 학습 몰입을 높일 수 있는 K-MOOC 교수설계 모형(이하 K-MOOC 교수설계 모형)을 도출하고 교수전략을 탐색하고자 연구 문제를 설정하여 [그림 2]와 같은 절차로 설계·개발 연구를 진행하였다.

[그림 2]

연구 절차 및 연구 방법

설계·개발 연구는 양적, 질적 연구 방법을 혼용하는 다중적 기법을 사용하는 것이 일반적이지만 실제 현장에서 발생하는 문제 상황을 다루기 때문에 양적 연구에서 요구하는 엄격한 통제가 이루어지기 어렵고, 탐색적 기법을 요구하는 질적 연구 방법에 의존하는 경향이 있다(Richey & Klein, 2007). 그러므로 본 연구는 연구 목적을 달성하기 위해 모형개발연구(model development studies), 모형타당화연구(model validation studies)의 두 단계로 수행하였다.

2. 자료 수집 및 분석

1) 선행연구 고찰을 통한 초기 교수설계 모형 개발

선행연구 고찰을 위해 논문 검색 엔진인 구글학술검색서비스, KCI, RISS, DBpia, 스콜라, KISS를 활용하였으며, ‘K-MOOC’, ‘공개강좌’, ‘온라인’, ‘이러닝’, ‘원격’, ‘수업’, ‘교수’, ‘설계’, ‘전략’ 등의 키워드를 조합하여 검색하였다. 검색된 선행연구 중에 본 연구의 목적 및 범위와 부합하는 연구물을 분석하였으며, 본문 Ⅱ-2의 분석 내용을 종합하여 [그림 3]과 같이 초기 K-MOOC 교수설계 모형을 도출하였다.

[그림 3]

초기 K-MOOC 교수설계 모형

2) 선행연구 고찰을 통한 초기 교수전략 개발

마찬가지 방법으로 선행연구를 고찰하여 초기 K-MOOC 교수설계 모형에 따른 교수전략을 도출하였다. K-MOOC의 목적은 온라인 학습 환경에서 학습자에게 원활한 학습과 성공적인 학습 경험을 제공하는 것이다(교육부, 2023). 그러므로 본문 Ⅱ-3의 분석 내용을 종합하여 <표 2>와 같이 [그림 3]의 단계별 절차에 따른 초기 교수전략을 도출하였다.

<표 2>

초기 K-MOOC 교수설계 모형 절차에 따른 교수전략

3) 타당성 검증

선행연구 고찰을 토대로 개발된 초기 K-MOOC 교수설계 모형과 교수전략에 대한 내용 타당도를 검증하기 위하여 교육학 박사학위 소지자 3인을 전문가 집단으로 구성하고 이들을 대상으로 델파이 방법을 적용하였다. Skulmoski, Hartman, & Krahn(2007)은 델파이 방법에 대하여 개발, 식별, 예측 및 가치를 평가하기 위한 연구 방법으로, 연구마다 전문가 패널 표본의 규모는 다양하며, 상황과 연구 질문에 맞게 방법 수정이 가능하다는 결론을 내렸다.

본 연구에서 시행한 델파이 전문가 패널의 특성은 <표 3>과 같다. 세 명의 전문가는 서울특별시 소재 4년제 대학의 교수학습센터에 재직하고 있으며, 현재 K-MOOC를 비롯한 원격수업 교수설계 및 컨설팅 업무를 담당하고 있다. 또한, 전문가가 재직 중인 대학은 2023년 9월 기준 30개 이상의 K-MOOC 강좌를 운영하고 있다. 전문가 타당도 검증을 위한 평가 문항은 나일주·정현미(2001)와 이민효·남창우(2023)의 연구에서 사용된 교수설계 모형 개발 타당화에 관한 문항을 수정하고 보완하여 사용하였다. K-MOOC 교수설계 모형과 교수전략에 관한 타당도 평가 영역은 타당성, 구체성, 설명력, 표현력, 유용성의 5개 영역으로 구성하였다.

<표 3>

전문가 특성

본 연구에서는 2023년 11월 15일부터 11월 17일까지, 2023년 11월 22일부터 11월 24일까지 두 차례에 걸친 전문가 델파이를 진행하였다. 설문 문항에 대한 신뢰성을 검증하기 위하여 SPSS 25.0으로 신뢰도를 분석한 결과 Cronbach's α 값은 각각 .803, .836으로 신뢰성이 검증되었으며, 세부 의견은 <표 4>, <표 5>와 같다.

<표 4>

K-MOOC 교수설계 모형에 관한 전문가 델파이 결과

<표 5>

K-MOOC 교수전략에 관한 전문가 델파이 결과

Ⅳ. 연구 결과

1. 최종 모듈형 K-MOOC 교수설계 모형 개발

본 연구에서는 <표 4>의 전문가 피드백을 반영하여 수정 및 보완 작업을 거친 후 [그림 4]와 같이 최종적으로 모듈형 K-MOOC 교수설계 모형을 개발하였다. 최종 모듈형 K-MOOC 교수설계 모형은 ‘요구분석’, ‘교수설계 및 개발’, ‘실행 및 평가’, ‘개선’의 4단계로 구성된다. 각각의 단계에 따른 절차를 살펴보면, ‘요구분석’은 교수확인, 학습자 분석, 교수 분석 순으로 진행된다. ‘교수설계 및 개발’은 모듈별 학습 목표 설정, 모듈구성 및 계열화, 모듈별 교수전략 도출, 수업 매체 개발, 모듈별 평가기준 및 도구개발 순으로 진행된다. ‘실행 및 평가’는 강좌 소개 및 모듈 안내, 모듈별 학습 목표 제시, 모듈별 형성평가 제시, 모듈별 총괄평가 제시, 모듈별 이수처리 순으로 진행되며, 상호작용 및 구체적인 피드백은 모든 절차에서 일어난다. ‘개선’은 학습자 만족도 평가, 교수자 자기평가 순으로 진행된다. 또한 ‘교수 수정’ 절차를 통해 K-MOOC 교수설계 모형의 각 단계를 진행하면서 발생하는 결점은 즉시 수정 및 보완 가능하며, 모든 학습이 종료된 후 교수자는 ‘개선’ 단계의 학습자 만족도 조사와 교수자 자기평가를 통해 얻어진 결과를 바탕으로 차기 강좌에 대한 설계 및 운영에 관한 환류를 진행한다.

[그림 4]

최종 모듈형 K-MOOC 교수설계 모형

2. 최종 모듈형 K-MOOC 교수전략 개발

마찬가지 방법으로 본 연구에서는 <표 5>의 전문가 피드백을 반영하여 수정 및 보완 작업을 거친 후 <표 6>과 같이 최종적으로 모듈형 K-MOOC 교수설계 모형 절차에 따른 교수전략을 개발하였다. 최종 모듈형 K-MOOC 교수전략을 살펴보면, ‘요구분석’은 교수확인, 학습자 분석, 교수 분석 순으로 진행된다. 최종 모듈형 K-MOOC 교수전략에서는 K-MOOC 학습자의 학습 동기를 유발하고 유지하는 것이 중요하다. 따라서 사전에 학습자의 연령, 신분, 수강 목적, 학습 수준, 선호도, 직무(전공)와의 관계 등에 대한 교수·학습 상황을 분석하는 것이 필요하다. ‘교수설계 및 개발’은 Keller의 ARCS 동기유발 모형 중 관련성(Relevance) 요소를 기반으로 한 모듈별 학습 목표 설정, Reigeluth의 정교화 이론을 토대로 한 모듈구성 및 계열화, ARCS 동기유발 모형의 관련성(Relevance) 요소를 바탕으로 한 모듈별 교수전략 도출, 주의집중(Attention)를 기반으로 한 수업매체 개발, 관련성(Relevance), 자신감(Confidence), 만족감(Satisfaction) 요소를 토대로 한 모듈별 평가기준 및 도구개발 순으로 진행된다. ‘실행 및 평가’는 Fredricks & McColskey의 인지적, 정서적 몰입 요소를 바탕으로 한 강좌 소개 및 모듈 안내, 인지적 몰입 요소를 기반으로 한 모듈별 학습 목표 제시, 행동적 몰입 요소를 토대로 한 모듈별 형성평가 제시, 인지적, 행동적 몰입 요소를 바탕으로 한 모듈별 총괄평가 제시 후 모듈별 이수처리가 진행된다. 정서적 몰입 요소를 기반으로 한 상호작용 및 구체적인 피드백은 모든 절차에서 일어난다. ‘개선’은 학습자 만족도 평가, 교수자 자기평가 순으로 진행되며, ‘교수 수정’ 절차를 통해 K-MOOC 교수설계 모형의 각 단계를 진행하면서 발생하는 결점은 즉시 수정 및 보완이 가능하다. 모든 학습이 종료된 후 교수자는 ‘개선’ 단계의 학습자 만족도 조사와 교수자 자기평가를 통해 얻어진 결과를 바탕으로 차기 강좌에 대한 설계 및 운영에 관한 환류를 진행한다.

<표 6>

최종 모듈형 K-MOOC 교수설계 모형 절차에 따른 교수전략

Ⅴ. 결론 및 제언

본 연구의 목적은 K-MOOC 학습자의 중도 탈락을 예방하기 위하여 학습 동기를 유발하고, 학습 몰입을 향상시킬 수 있는 K-MOOC 교수설계 모형과 교수전략을 개발하기 위해 수행되었다. 이를 위해 본 연구에서는 선행연구를 고찰하고 분석 결과를 종합하여, 다양한 학습자와 학습 상황, 학습 수행 과정을 고려함으로써 학습 동기 유발과 학습 몰입 증진을 도모하는 모듈형 K-MOOC 교수설계 모형과 전략을 개발하였다.

연구 결과로 얻은 모듈형 K-MOOC 교수설계 모형과 교수전략의 특징은 다음과 같다. 먼저, 교수설계 모형은 선행연구에서 제시한 교수설계 모형의 기본 틀을 종합하여 제시하고 있으나, 학습 대상에 따른 맞춤형 강좌를 제공하기 위하여 단계별 절차를 모듈로 구성하고 피드백을 강조한다는 차이가 있다. 따라서 모듈형 K-MOOC 교수설계 모형에서 학습자는 본인에게 필요하고 관련된 부분을 모듈 형태로 학습하게 되며 그 결과, 해당 강좌의 모든 차시를 학습하지 않고도 비교적 수월하게 교육과정을 이수하게 된다. 이러한 일련의 프로세스는 학습의 효율성과 효과성, 매력성을 극대화함으로써 점진적인 관점에서 K-MOOC 강좌의 중도 탈락률을 낮추고 이수율을 높일 것으로 예상된다.

다음으로, 모듈형 K-MOOC 교수설계 단계별 절차에 따른 교수전략은 학습 동기와 K-MOOC 이수율(강영민·박주호·이효진, 2018; 문혜리·이현석, 2019), 학습 몰입과 K-MOOC 이수율(이숙정, 2011; 주영주·정애경·한애리, 2011) 간의 정적 상관관계와 온라인 학습에서의 학습 몰입과 학습 지속성 사이의 정적 상관관계(Liu, Li, & Zhang, 2022)를 근거로, 일반적인 온라인 학습과 달리 전 국민을 대상으로 운영하는 범용과정인 K-MOOC의 특성을 반영하여 도출하였다(김동심·이영선, 2018). 이에 따른 교수전략을 살펴보면, 교수자는 요구분석 단계의 결과를 토대로 각 학습 모듈에 맞는 학습 목표와 학습 내용을 설정하고, 학습자가 자신의 요구에 맞게 스스로 선택할 수 있도록 관련성과 자율성을 제공한다. 이때 모듈별 학습 내용은 정교화 원리에 따라 조직화하고 계열화하여 학습 내용을 보다 쉽게 이해하도록 한다(류지헌·김민정·임태형, 2023). 또한, 교수자는 학습자에게 즉각적이고 구체적인 피드백을 제공하며 상호작용 한다. 그 결과 학습자는 학습 목표와 학습 내용이 자신의 미래에 중요하고 실용적이며 가치가 있다고 인지함으로써 학습 동기를 유발하게 되고(박성익 외, 2021), 자신이 설정한 학습 목표를 달성하기 위하여 학습에 몰입함으로써 학습을 지속하고 완수하게 될 것으로 예상된다(Bakker, Golub, & Rijavec, 2017).

본 연구 결과로 도출된 모듈형 K-MOOC 교수설계 모형과 교수전략의 효과적인 활용 방안에 대하여 다음과 같이 제언하고자 한다.

첫째, 학습 몰입을 높이고 학습 동기를 유발하는 K-MOOC 강좌를 운영하기 위해서는 반드시 학습자 모집단의 인구학적 특성과 수강 목적, 학습 선호도, 직무(전공)와의 관계 등에 대한 사전 분석이 필수적으로 이루어져야 한다. 그러므로 K-MOOC 담당 교수자나 관련 부서에서는 별도의 문항을 만들어 학습자들이 수강신청 기간에 설문조사에 참여하도록 장려하고 독려함으로써, 이에 대한 데이터를 확보하는 것이 중요하다.

둘째, 교수자는 학습자 분석 결과 데이터를 기반으로 신분, 수강 목적, 직무(전공) 연관성, 학습 선호도, 배우고자 하는 지식, 기술, 태도 등에 따라 다양한 학습 모듈을 구성하고 이에 따른 학습 목표를 제시해야 한다. 본 연구에서는 학습 목표에 따라 학습자들이 자유롭게 학습 모듈을 선택할 수 있도록 교수전략을 제시하고, 학습자 모집단의 다양성을 고려하여 학습 모듈의 강좌(차시) 단위를 간결하고 짧게 구성하는 것을 제안하였다. 단, 학점은행제, 독학학위제, 일반대학 등 K-MOOC 수강을 통해 정규학점을 취득하는 학습자를 고려해볼 때, 학습 모듈은 ｢고등교육법 시행령｣ 제14조의2 관련 일반대학의 원격수업 운영 기준에 근거하여 학습 모듈 당 최소 15시간 이상 구성해야 한다. 학습 모듈별 학습 내용은 Reigeluth의 정교화 이론을 기반으로 조직해야 하며, 학습자의 경험, 가치 등과 관계있는 친숙한 용어, 개념, 예시 등을 배경지식으로 활용하여 새로운 개념, 정보 등을 제공해야 한다. 또한, 학습상황에서 언제든지 빠져나갈 수 있고 다시 돌아올 수 있도록 학습 내용을 구성함으로써 중도 탈락 학습자가 회귀할 수 있는 통로를 마련하는 것도 중요하다.

셋째, 학습자가 성취감과 소속감을 느낄 수 있도록 교수자는 교수·학습 과정 전(全) 단계에 걸쳐 학습자와의 활발한 상호작용과 구체적인 피드백을 제시해야 한다. 학습자가 학습에 몰입하고 학습을 지속하기 위해서 교수자는 학습자의 학업성취 여부를 주기적으로 파악하고 그에 따른 적절한 피드백을 제공하여 학습자의 성취욕구를 충족시킬 필요가 있다. 그뿐만 아니라 교수자는 학습자의 학습 성공 경험을 학습자의 노력이나 능력으로 돌리는 피드백과 새로운 지식을 배우는 단계에는 긍정적인 피드백을 통해 학습자에게 외재적 보상을 부여함으로써 학습이 지속적으로 일어나고 유지될 수 있도록 강화(reinforcement)해야 한다.

넷째, 모듈형 K-MOOC 교수설계 모형과 교수전략이 원활하게 적용되고 활성화되기 위해선 정부 차원의 지원이 필요하다. 따라서 정부는 K-MOOC 사업에 참여하는 대학 또는 기관이 학습자 요구분석 결과를 토대로 자기 주도적 학습과 평생학습의 맥락에서 모듈형 K-MOOC 교수설계 모형을 자율적으로 선택하고, 학습자는 필요에 따라 학습모듈을 이수할 수 있는 제도적 측면의 지원과 K-MOOC 전용 LMS(Learning Management System)에서 학습자 요구분석과 모듈형 강좌를 개설하고 운영하며 이수할 수 있는 기술적 측면의 지원 방안을 마련하고 제공할 필요가 있다.

본 연구는 전문가의 타당성을 거쳤으나, 설계·개발 연구이므로, 연구 결과인 모듈형 K-MOOC 교수설계 모형과 교수전략을 일반화하기에는 다소 무리가 따른다. 따라서 본 연구 결과를 일반화하기 위한 후속 연구로는 모듈형 K-MOOC 교수설계 모형과 교수전략을 활용하여 K-MOOC 강좌를 개선하거나 개발하고 운영함으로써 다양한 인구학적 특징을 가진 K-MOOC의 학습자들에 대한 학습 몰입 향상도 측정 도구 개발과 학습 몰입 향상도, 학습 동기, 중도 탈락률 등에 미치는 영향을 검증하는 실증 연구가 필요하다.

References

• 강영민·박주호·이효진(2018). 성인학습자의 K-MOOC 참여 및 성공적 이수에 영향을 미치는 요인. 교육학연구, 56(1), 85-105. [https://doi.org/10.30916/KERA.56.1.85]
• 교육부(2023). 2023년 한국형 온라인 공개강좌(K-MOOC) 기본계획. 교육부 평생직업교육정책관.
• 김동심·이영선(2018). 대학생과 일반인의 MOOC 정보품질, 서비스품질, 시스템품질 및 만족도에 대한 차이 분석. 평생학습사회, 14(2), 83-103. [https://doi.org/10.26857/JLLS.2018.5.14.2.83]
• 김성빈·임규연(2017). 온라인 고등·평생교육 학습자의 학습참여 동기와 학습 만족도 관계에서 지각된 유용성, 자기조절학습 능력의 조절효과 검증. 평생학습사회, 13(3), 85-107. [https://doi.org/10.26857/JLLS.2017.08.13.3.85]
• 김성완·박종화·이명근(2010). 정교화 교수설계에 의한 과학적 논증 활동의 교수학습 효과. 교육공학연구, 26(2), 217-240. [https://doi.org/10.17232/KSET.26.2.217]
• 김용재(2023). K-MOOC 강좌의 ‘효율성’과 ‘이수율’ 제고를 위한 제언: ‘대학 교양수업(한자어)’과의 연동 사례를 중심으로. 교육연구, 86, 7-32. [https://doi.org/10.17253/swueri.2023.86..001]
• 김주경(2020). K-MOOC의 특성과 교육효과에 관한 구조적 관계분석 : 지각된 유용편의성과 학습기대의 매개효과. 교육학연구, 58(3), 53-86.
• 나일주·정현미(2001). 웹기반 가상교육 프로그램 설계를 위한 활동모형 개발. 교육공학연구, 17(2), 27-52. [https://doi.org/10.17232/KSET.17.2.27]
• 두민영·김영수(2000). 웹 기반 학습에서 수업에 대한 관련성 향상 메시지가 학습자의 중도 탈락 및 학업 성취도에 미치는 영향 : L 기업 사이버 아카데미의 인터넷 훈련 프로그램을 중심으로. 교육정보미디어연구, 6(2), 73-90.
• 류지헌·김민정·임태형(2023). 수업역량 강화를 위한 교육방법 및 교육공학. 서울: 학지사.
• 문혜리·이현석(2019). K-MOOC 온라인 강좌의 학습동기와 이수율의 상관관계. 애니메이션연구, 15(4), 210-228.
• 박성익·임철일·이재경·최정임·조영환(2021). 교육공학과 수업. 파주: 교육과학사.
• 박태정·나일주(2016). 한국 대학생의 K-MOOC 학습 경험에 대한 내용 분석. 한국콘텐츠학회논문지, 16(12), 446-457. [https://doi.org/10.5392/JKCA.2016.16.12.446]
• 변문경·이진호·홍석호·조하민·조문흠(2016). K-MOOC 강좌 개발을 위한 상호작용 설계 전략 탐구: Moore의 3가지 유형의 상호작용을 기반으로. 교육정보미디어연구, 22(3), 633-659. [https://doi.org/10.15833/KAFEIAM.22.3.633]
• 이민효·남창우(2023). 대학교육에서 역량기반 교육을 위한 교수설계모형 개발. 평생학습사회, 19(3), 1-27. [https://doi.org/10.26857/JLLS.2023.8.19.3.1]
• 이병현(2015). MOOC 학습자들의 특성에 관한 국외 문헌 고찰. 교육공학연구, 31(3), 365-399.
• 이숙정(2011). 대학생의 학습몰입과 자기효능감이 대학생활적응과 학업성취에 미치는 영향. 교육심리연구, 25(2), 235-253.
• 임유진·정유진(2020). 학점인정 K-MOOC 강좌의 학습지속의향 영향 변인 분석. 교육혁신연구, 30(4), 175-195. [https://doi.org/10.21024/pnuedi.30.4.202012.175]
• 장상현·이명숙·배은숙·송현주·이주화·김상우(2016). 대학의 정보화 현황파악을 위한 지표 개발. 대구: 한국교육학술정보원.
• 장은정·전은화(2008). 원격대학 콘텐츠에서 교수-학습 전략의 제공과 프로그램 유형이 학습자 만족도에 미치는 영향. 아시아교육연구, 9(2), 113-136. [https://doi.org/10.15753/aje.2008.9.2.006]
• 정재삼(1996). 교수설계 (ID)와 교수체제개발 (ISD)의 최근 경향과 논쟁 -21세기를 대비하는 교수공학의 지식기반 구축을 위하여-. 교육공학연구, 12(1), 195-225. [https://doi.org/10.17232/KSET.12.1.41]
• 정재삼·이정민·조일현·임규연·소효정·허열(2021). 미래사회를 위한 교육의 방법과 테크놀로지. 파주: 교육과학사.
• 정찬길·배을규·박상오(2018). 원격대학 성인학습자의 학습참여동기 유형과 학습몰입 수준의 관계에서 자기주도학습 능력의 매개효과. 교육문화연구, 24(5), 155-177. [https://doi.org/10.24159/joec.2018.24.5.155]
• 조아라·노석준(2013). 원격대학학습자의 자기주도적 학습능력, 학습몰입, 학습태도, 학습만족도, 학업성취도 간의 관계 분석. 교육공학연구, 29(4), 849-879.
• 조유진·송해덕·이예찬·김연경(2022). 마이크로 러닝 기반 MOOC에서 지각된 유용성과 학습지속의향 간 관계: 학습몰입의 매개효과와 학습실재감의 조절효과. 교육정보미디어연구, 28(2), 385-414. [https://doi.org/10.15833/KAFEIAM.28.2.385]
• 조화태·김계현·전용오(2020). 인간과 교육. 서울: 한국방송통신대학교출판문화원.
• 주영주·김동심(2017). K-MOOC의 만족도와 사용의도 영향변인 규명 연구. 평생학습사회, 13(1), 185-207.
• 주영주·정애경·한애리(2011). 사이버수업에서 학업스트레스, 성취동기, 학습환경, 학교몰입, 학습지속의향간의 구조적 관계. 컴퓨터교육학회 논문지, 14(3), 73-81. [https://doi.org/10.32431/kace.2011.14.3.007]
• 하규수(2023). 근로자의 직업가치, 직무불안정성, 일과 생활의 불균형이 창업태도를 매개로 창업의도에 미치는 영향에 관한 연구. 한국진로창업경영학회지, 7(2), 5-19.
• 허희옥(2006). 내러티브 사고 양식인 스토리텔링 기법을 이용한 멀티미디어 교육 컨텐츠 개발. 교육공학연구, 22(1), 195-224.
• Alessi, S. M., & Trollip, S. R. (2001). Multimedia for learning: Methods and development (3rd ed.). Boston, MA: Allyn & Bacon.
• Bakker, A., Golub, T. L., & Rijavec, M. (2017). Validation of the study-related flow inventory (WOLF-S). Croatian Journal of Education, 19(1), 147-173. [https://doi.org/10.15516/cje.v19i1.2194]
• Branch, R. M. (2018). Characteristics of foundational instructional design models. Trends and Issues in Instructional Design and Technology, 4, 23-30.
• Csikszentmihalyi, M. (2003). 몰입의 기술(이삼출 역). 서울: 더불어책. (원저는 1975년 출간)
• Dick, W., Carey, L., & Carey, J. O. (2015). The systematic design of instruction (8th ed.). Boston, MA: Pearson.
• Fredricks, J. A., Blumenfeld, P. C., & Paris, A. H. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59-109. [https://doi.org/10.3102/00346543074001059]
• Fredricks, J. A., & McColskey, W. (2012). The measurement of student engagement: A comparative analysis of various methods and student self-report instruments. In S. L. Christenson, A. L. Reschly, & C. Wylie (Eds.), Handbook of research on student engagement (pp. 763-782). Boston, MA: Springer. [https://doi.org/10.1007/978-1-4614-2018-7_37]
• Hoffman, D. L., & Novak, T. P. (1996). Marketing in hypermedia computer-mediated environments: Conceptual foundations. Journal of Marketing, 60(3), 50-68. [https://doi.org/10.1177/002224299606000304]
• Hollands, F. M., & Tirthali, D. (2014). MOOCs: Expectations and reality. New York, NY: Columbia University.
• Keller, J. M. (1983). Motivational design of instruction. In C. M. Reigeluth (Ed.), Instructional design theories and models: An overview of their current status (pp. 383-434). Mahwah, NJ: Lawrence Erlbaum Associates.
• Liu, Y., Li, H., & Zhang, A. (2022, June). Exploring factors affecting online learners' intention to continue learning in e-learning: A meta-analysis. Paper presented at 2022 IEEE 2nd International Conference on Educational Technology (ICET), Beijing, China. [https://doi.org/10.1109/ICET55642.2022.9944532]
• Martin, A. J. (2012). Part II commentary: Motivation and engagement: Conceptual, operational, and empirical clarity. S. L. Christenson, A. L. Reschly, & C. Wylie (Eds.), Handbook of research on student engagement (pp. 303-311). Boston, MA: Springer.
• Mason, G. S., Shuman, T. R., Han, Y. L., & Cook, K. E. (2015). Facilitating problem-based learning with an inverted classroom. Paper presented at 2015 ASEE Annual Conference & Exposition, Seattle, WA. [https://doi.org/10.18260/p.24089]
• Moore, M., & Kearsley, G. (2005). Distance education: A systems view. Belmont, CA: Thomson-Wadsworth.
• Philp, J., & Duchesne, S. (2016). Exploring engagement in tasks in the language classroom. Annual Review of Applied Linguistics, 36, 50-72. [https://doi.org/10.1017/S0267190515000094]
• Reigeluth, C. M. (Ed.) (1983). Instructional-design theories and models: An overview of their current status. Hillsdale, NJ: Lawrence Erlbaum.
• Reigeluth, C. M. (Ed.) (1987). Instructional theories in action: Lessons illustrating selected theories and models. Hillsdale, NJ: Lawrence Erlbaum.
• Richey, R. C., & Klein, J. D. (2012). 교육공학연구를 위한 설계·개발 연구(정현미·김광수 공역). 서울: 학지사. (원저는 2007년 출간)
• Ryan, R. M., & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American Psychologist, 55(1), 68-78. [https://doi.org/10.1037/0003-066X.55.1.68]
• Shah, N. (2015). Of heathens, perverts and stalkers: The imagined learner in MOOCs. In S. Bayne (Ed.), The Europa world of learning (pp. 21-25). London: Routledge.
• Skulmoski, G. J., Hartman, F. T., & Krahn, J. (2007). The Delphi method for graduate research. Journal of Information Technology Education: Research, 6(1), 1-21.