GitHub Copilotを用いたコード推薦における入力言語の影響調査

近年，IT需要の拡大に伴って，開発効率向上のため，開発支援ツールを活用して開発が行われている． その中の一つとして，2022年にGitHubが公開したGitHub Copilotがある． GitHub Copilotは大規模言語モデルをベースとしたコード推薦ツールの一種であり， 仕様を記述したコメントや，記述中のプログラムをもとに開発者に対してコードやライブラリを推薦する． 一方，大規模な事前学習済み言語モデルは，入力によって出力が大きく異なることが知られている． そこで，本稿では，言語間の学習データ量の違いに着目し，入力言語の違いがCopilotの性能にどのような影響を与えるのか調査を行った...

Full description

Saved in:
Bibliographic Details
Published inProceedings of the JSSST Workshop on Foundation of Software Engineering Vol. 30; pp. 135 - 140
Main Authors 小栁, 慶, 鵜林, 尚靖, 亀井, 靖高, 野口, 広太郎, 近藤, 将成, 王, 棟
Format Journal Article
LanguageJapanese
Published 一般社団法人 日本ソフトウェア科学会 ソフトウェア工学の基礎研究会 09.11.2023
Special Interest Group on Foundation of Software Engineering in Japan Society for Software Science and Technology
Online AccessGet full text
ISSN2436-634X
DOI10.11309/fose.30.0_135

Cover

More Information
Summary:近年，IT需要の拡大に伴って，開発効率向上のため，開発支援ツールを活用して開発が行われている． その中の一つとして，2022年にGitHubが公開したGitHub Copilotがある． GitHub Copilotは大規模言語モデルをベースとしたコード推薦ツールの一種であり， 仕様を記述したコメントや，記述中のプログラムをもとに開発者に対してコードやライブラリを推薦する． 一方，大規模な事前学習済み言語モデルは，入力によって出力が大きく異なることが知られている． そこで，本稿では，言語間の学習データ量の違いに着目し，入力言語の違いがCopilotの性能にどのような影響を与えるのか調査を行った． 調査の結果，入力言語の違いによってGitHub Copilotの性能に差が生じることが明らかになった． また，調査結果によって明らかとなった大規模言語モデルに対する問題点を示す．
ISSN:2436-634X
DOI:10.11309/fose.30.0_135