🧲

A metric for software readability

Created

2022/04/15 05:13

0. 소개

주로 “가독성”은 사람마다 다르게 느끼는 주관적인 요소라고 생각합니다. 또한 프로그램의 가독성은 유지보수와 관련이 있으며, 따라서 전반적인 소프트웨어 품질에 있어 중요한 요소이기도 합니다. 이러한 배경에서, 본 논문에서는 코드 가독성의 개념을 정립하고 소프트웨어 품질과 가독성 사이의 관계를 조사합니다. 나아가 사람에게 수집된 데이터를 사용하여, 본 논문은 코드에서 나타나는 특징과 사람이 생각하는 가독성 사이의 연관성을 도출하고, 이를 기반으로 새로운 기준을 제작하였습니다.

1. 배경지식

Software Readability vs. Software Complexity

가독성이라고 표현되는 software readability와 복잡도라고 표현되는 software complexity는 서로 다른 개념임을 알고 있어야 합니다. 복잡도, 즉 software complexity는 성능을 나타내는 척도로, 본 논문에서 복잡도는 프로그램에서 필수적인 요소라고 주장합니다. 소프트웨어 복잡도 메트릭은 일반적으로 클래스/메서드의 크기 및 상호 작용의 범위를 고려한다는 특징이 있습니다.

반면에 가독성(software readability)의 경우에는 수치화 될 수 없는 요소입니다. 주로 주석, 변수명, 인덴트 등의 요소들을 가독성의 예시로 사용하는데, 프로그램이 구동되는데 있어서 이 요소들은 큰 차이를 만들지 않기 때문에 비교적 추상적이며 주관적입니다.

한 가지 짚고 넘어갈 부분은 가독성과 복잡도는 연관되어있지 않다는 점입니다. 낮은 복잡도를 가지고 있는 코드가 높은 가독성을 뜻하지는 않으며, 반대로 높은 가독성을 가지고 있는 코드가 낮은 복잡도를 뜻하지는 않습니다. 따라서 연구진들은 가독성에 대해서 연구하는 것이 의미가 있다고 판단하여 새로운 가독성 메트릭을 개발하게 되었습니다.

2. 논문 내용

Human Readability Annotation

본 논문에서는 가장 먼저 가독성에 대한 기준을 세웠습니다. 본 연구팀은 주관적인 요소를 객관적으로 바꾸기 위해서 Snippet Selection Policy, 그리고 Readability Scoring으로 나누어 가독성 평가를 진행하였습니다.

Snippet Selection Policy

연구팀은 가독성에 대한 평가를 진행하기 전 다음과 같은 조건들을 충족하고 싶었습니다.

•

적당히 짧은 길이: snippet은 정보 파악이 될 정도의 범위 안에서 최대한 짧아야 한다. (context보다는 local feature를 중시)

•

논리적 일관성: 최대한 많은 정보 전달하기 위해, statement와 인접한 주석도 모두 포함

•

코드가 의미가 있는지: 주석으로만 이루어져 있거나 dependency만 나열되어있는 코드 단위는 의미가 없기 때문에 이는 제외

이러한 조건 아래 다음과 같이 snippet이라는 개념을 제시합니다. 3개를 선정한 이유는 경험적으로 선택한 것이라고 하며, 3개의 snippet이 local feature, 그리고 feature-based 분석에 적합하다고 판단하였습니다.

Snippet : 3개의 연속적인 simple statements로 이루어진 하나의 묶음 단, Java program으로 한정하며, simple statements는 field declarations, assignments, function calls, breaks, continues, throws, return 중 하나

위 정의와 더불어 몇 가지 조건들이 있는데, 이는 다음과 같습니다.

•

snippet은 statement들 사이 line들도 포함합니다. (ex. 주석, 함수 헤더, 빈 줄, 복합문의 헤더 등)  

•

snippet은 scope를 벗어나지 않습니다. (ex. 함수/복합문 안에서 시작하여 밖에서 끝나는 경우)

이 방법으로 snippet을 분류한 결과, 타겟 내 90%의 statement가 snippet에 포함되는 것을 확인할 수 있었습니다. 각 snippet당 평균적으로 7.7개의 statement로 이루어져 있음을 확인했으며, snippet에 포함되지 않은 10%는 2개 이하의 statement를 가지고 있던 함수였습니다. 또한 본 연구에서는 Java로 한정하여 진행하였지만, C와 C++등 다른 언어로도 확장하기 용이할 것이라고 연구팀은 주장합니다.

Readability Scoring

본 연구의 평가지표는 봉사자의 가독성 평가를 기반으로 만들어졌습니다. 위에서 설명한 snippet을 기반으로 Snippet Sniper라는 툴을 개발하였으며, 120명의 평가자가 100개의 snippet을 평가하는 방식으로 진행을 하였습니다. 평가를 진행할 때 따로 기준은 안내하지 않았으며, 개인적으로 평가를 진행하였다고 합니다.

평가자들은 모두 컴퓨터공학과의 학생들이었으며, snippet은 5개의 open source 프로젝트에서 생성되었습니다. (각 프로젝트에 대한 이야기는 Figure 8에 기술) 각 프로젝트는 다양한 코드의 수준을 고려하였다고 합니다.

100개의 snippet에 대한 평가는 Pearson product-moment correlation coefficient를 사용하였습니다. 이는 기본적으로 평가자가 X snippet을 Y snippet보다 높게 평가한 경우, X를 더 좋은 snippet이라고 판단하는 방법입니다. Pearson correlation은 1일때 완벽하게 상관 분석이 있으며, 0일때 상관 분석이 전혀 없다고 판단합니다.

본 연구에서는 Pearson correlation을 확장하여 correlation의 평균값을 도출하는 방법으로 모델을 생성하였습니다. 그 결과 0.56의 correlation을 도출해냈으며, 이는 통계적으로 적당한 상관관계를 가지고 있음을 뜻합니다. 평균 이외에도 중간값 및 최빈값으로도 시험해보았지만 대부분 비슷한 값이 나와서 다른 요소들과 비교하기 편한 평균을 비교 지표로 선택하였습니다.

이 survey를 통해 대부분의 사람들이 공통적으로 가독성을 평가하는 요소가 있음을 알 수 있었으며, 이 공통적인 요소를 찾아내는데 효과적인 방법임을 알 수 있습니다.

Readability Model

본 연구팀은 앞서 Pearson correlation을 통해 도출한 모델을 통해 readability model을 만들었습니다. 그 결과 사람들이 가독성을 판단하는 데에는 어느정도 상관관계가 있다는 것을 알 수 있었습니다. 그러나 이 결과는 어느정도의 경향성이지, 객관적인 판단이 아니기 때문에 이를 기계적으로 판단할 수 있는 모델을 생성하였습니다.

Model Generation

연구팀은 모델을 생성하는데 있어서 snippet에서 가독성에 영향을 줄 수 있는 몇 가지 특징을 추출해냈습니다. 이는 구조, 코드의 density, 논리적 복잡성 등과 관련된 요인으로 선정하였으며, 앞서 snippet을 정할 때처럼 코드 블록의 크기와는 무관한 특징들을 추출하였습니다. 아래 Figure 4는 코드 가독성을 판단할 때 사용하는 특징들입니다.

각 특징은 자바 소스 코드의 임의 크기 블록에 적용될 수 있으며, 각 가능은 줄 당 평균값 혹은 전체의 최댓값을 나타냅니다. 이 모든 요소는 머신러닝 알고리즘을 통해 코드 snippet을 평가할 수 있는 벡터값으로 변환이 됩니다.

사람이 코드의 가독성을 판단할 때 여러 가지 요소를 복합적으로 판단하기 때문에, 연구팀은 인스턴스(instance)기반으로 판단하는 classifier를 선정했습니다. 이 경우에는 인스턴스는 snippet에서 추출된 벡터입니다. classifier를 training할 때는 survey를 통해 얻은 ‘정답’을 함께 제공합니다. 그리고 모델은 ‘더 가독성이 높은’, 그리고 ‘가독성이 낮은’ 코드로 나누어 구분을 하게 됩니다. test set을 제공할 때는 Figure 3에서 3.15 미만의 점수를 받은 snippet을 ‘가독성이 낮은’ 코드 snippet으로 제공했습니다.

그 이후에는 test set에는 없는 예시들에 대해 분류를 진행했고, Weka machine learning toolbox를 사용했습니다. 데이터 양에 비해 복잡한 모델을 구성해야하기 때문에 오버피팅의 위험이 있어, 이는 10-fold cross validation을 사용하였습니다. 이는 전체 데이터셋을 10개로 분할하여 각각의 subset이 검증 set으로 사용될 수 있게 하여 편향을 줄이는 검증 과정입니다.

Model Performance

이러한 종류의 실험에서는 recall과 precision을 평가 지표로 사용하게 됩니다. 연구팀은 recall과 precision의 조화평균인 f-score를 사용하여 평가를 진행했습니다.

이를 평가하기 위해 총 10개의 classifier를 대상으로 실험을 진행하였습니다. 그 중 다중레이어 perceptron, Bayesian classifier, 그리고 Voting Feature Interval approach가 가장 좋은 성능(정확도 75%~80%)을 부여주었습니다. 세 classifier 모두 비슷한 성능을 보여주었으나, Bayesian classifier가 가장 빨랐기 때문에 추후에도 본 classifier를 통해 분석을 진행했습니다.

위 Figure 5와 Figure 6처럼, 연구팀이 만든 모델이 더 좋은 상관관계를 보여주는 것을 확인할 수 있습니다. 이는 personal preference를 고려하지 않고 더 통일성이 좋다는 것으로 연구팀은 해석하고 있습니다.

또한 연구팀은 각각 feature에 대해서 어떤 요소가 가장 많은 영향을 주는지 또한 분석하였습니다. 예를 들어 ‘average line length’와 ‘average number of identifiers per line’은 가독성에 있어 매우 중요하다는 것을 알 수 있습니다. 반대로 ‘average identifier length’는 그 자체로 매우 예측 가능한 요소는 아니며, 구조, 루프 또는 비교 연산자의 경우에도 마찬가지이다.

Correlating Readability with Software Quality

마지막으로 본 연구에서 정립한 metric이 실제 software quality와도 관련이 있는지에 대해서 탐구하였습니다. 이를 확인해보기 위해 1) 버그를 찾아주는 도구인 FindBugs와 상관관계가 있는지 분석하고, 2) 대형 오픈 소스 프로젝트 버전 사이의 코드 변경과 가독성 사이의 상관관계가 있는지 분석했습니다. 이 과정을 통해 가독성에 대한 트렌드를 탐구합니다.

Readability Correlations

첫 번째 실험으로, Findbugs와 가독성 사이의 상관관계를 알아내기 위해 관련된 데이터셋을 추가적으로 생성하였습니다. Findbugs를 통해 버그가 발견된 함수들을 ‘가독성이 낮은’ 데이터로 추가하여 모델 설정을 하였습니다.

두 번째 실험으로는 코드 업데이트가 가독성과 연관이 있는지에 대해서 탐구하였습니다. 업데이트가 있는 코드에 대해서 더 좋은 품질의 코드가 있다는 것을 가정하고, 2개의 가장 최신 버전을 비교하였습니다. 이를 통해 곧 패치가 이루어질 코드임을 추측하는 모델을 생성하고자 하였습니다. 특이한 점은 가독성에 중점을 두고 있기 때문에 공백도 변경된 것으로 간주하였습니다.

Figure 9는 두 실험의 결과를 요약한 것입니다. 먼저 FindBugs와의 상관관계 평균값은 0.61입니다. 그리고 버전 업데이트에 대한 상관관계 평균값은 0.63입니다. 한 가지 유의할 점은 본 연구의 목표는 FindBugs 및 버전 업데이트에 대해 높은 상관관계를 갖게 되는 것이 아니라 일반적인 유용성을 가지고 있고, 소프트웨어 품질과 관련이 있다는 것을 주장합니다.

Figure 10은 본 모델의 정확도에 대해서 보여주고 있습니다. 문제가 있는 (버그가 있는, 혹은 이전 버전의 코드) 코드에 대해서 분류를 진행했을 때, 그 코드에 대해서 평균적으로 150% 이상의 확률로 안좋은 코드로 분류할 것이라는 결론을 얻을 수 있다.

결론적으로 연구팀이 개발한 모델은 단순히 가독성에 대한 평가를 내릴 뿐만아니라, 소프트웨어의 품질에 대한 것 또한 시사하고 있음을 알 수 있다.

Software Lifecycle

마지막으로 연구팀은 외부 요인에 대한 가독성 메트릭의 관계를 조사하기 위해 Software Lifecyle에 거친 변화를 조사하였다.

Figure 11을 보면 Software Lifecycle에 있어서 가독성이 어떻게 변화하는지 볼 수 있다. 결과를 보면 크게 성장하지는 않는 것을 볼 수 있는데, 이는 중간에 새로운 API나 새로운 기능을 추가하는 과정에서 가독성이 떨어진 것으로 해석하고 있다.

따라서 Figure 12의 결과처럼 프로젝트의 성숙도와 가독성을 분석하는 또다른 실험을 진행했다. 기본적으로 더 성숙한 프로젝트가 더 읽기 쉬운 경향이 있는 것을 확인할 수 있었다. 이 두 실험을 통해 기본적으로 시간이 지날수록 코드의 일부분만 보수되고 변경되기 때문에 가독성은 낮아진다. 그러나 그와 별개로 프로젝트의 성숙도가 높아진다면 가독성은 높아진다는 것을 알 수 있었다.

Discussions & Future Work

Discussions

연구를 하면서 알아낸 부분들

•

Identifier length는 가독성에 전혀 영향을 주지 않음

•

주석은 생각보다 가독성을 크게 늘리지 않음 (난해할 때 도움을 주는 정도)

•

Identifier의 수 및 글자수는 아주 큰 영향을 줌 (코드가 길어질수록 읽기 힘듬)

Future Work

•

personal preference에 대한 처리

•

판단 기준; 평균/최댓값 외의 simple statement의 개수 등 추가해도 의미있을 듯

◦

해당 연구에서는 최대한 간단하게 판단요소를 가져가기 위해 채택 X

3. 결론

본 논문은 프로그램의 가독성에 대해서 정리하고, 나아가 가독성과 프로그램의 품질이 연관이 있는지에 대해 연구하였습니다. 실제로 소프트웨어 품질과 연관이 있음을 증명한 부분에 있어 의미가 있는 연구라고 생각합니다.

4. References

논문 원본: https://web.eecs.umich.edu/~weimerw/p/weimer-issta2008-readability.pdf

논문에서 사용한 dataset: https://web.eecs.umich.edu/~weimerw/data/readability/

programming complexity: https://en.wikipedia.org/wiki/Programming_complexity

programming readability: https://en.wikipedia.org/wiki/Readability