github趋势榜单自动获取：用自然语言从GitHub搜代码跳过论坛提问环节

威哥 2022-11-11 07:37:55 230

github趋势榜单自动获取：用自然语言从GitHub搜代码跳过论坛提问环节除了NCS之外，另外还有一种用监督数据提高网络性能的UNIF。这套工具称为神经代码搜索（NCS），它接受自然语言形式的查询，并直接从GitHub库中检索返回相关代码片段。遇到编程问题，程序员恐怕首先想到的是去技术论坛搜索结果，然后从回答中寻找代码。然而有很多冷门问题，通常并不会在论坛中讨论，如果能在广阔的GitHub代码库中快速找到答案就好了。为此，Facebook开发了一种代码搜索工具，可将自然语言处理（NLP）和信息检索（IR）技术直接应用于源代码文本。

晓查发自凹非寺

量子位报道 | 公众号 QbitAI

“如何关闭或隐藏Android软键盘？”

如果你是个Android入门开发者，去Stack Overflow论坛去寻找上非常热门的Android开发问题，很快会有别人贴出一段代码。

github趋势榜单自动获取：用自然语言从GitHub搜代码跳过论坛提问环节(1)

遇到编程问题，程序员恐怕首先想到的是去技术论坛搜索结果，然后从回答中寻找代码。

然而有很多冷门问题，通常并不会在论坛中讨论，如果能在广阔的GitHub代码库中快速找到答案就好了。

为此，Facebook开发了一种代码搜索工具，可将自然语言处理（NLP）和信息检索（IR）技术直接应用于源代码文本。

这套工具称为神经代码搜索（NCS），它接受自然语言形式的查询，并直接从GitHub库中检索返回相关代码片段。

除了NCS之外，另外还有一种用监督数据提高网络性能的UNIF。

小试牛刀

Facebook使用Stack Overflow上Android开发的问题评估NCS的性能，看看模型是否能够从GitHub中找到正确的答案。

在Stack Overflow评估数据集中的287个问题中，NCS的前10个查询结果能够正确回答175个问题，占整个数据集的60％以上。与传统的信息检索技术BM25相比，有了非常大的提升。

github趋势榜单自动获取：用自然语言从GitHub搜代码跳过论坛提问环节(2)

我们将NCS和UNIF与Stack Overflow评估数据集进行比较，证实UNIF改善了大大超过NCS回答的问题数量。

github趋势榜单自动获取：用自然语言从GitHub搜代码跳过论坛提问环节(3)

结果显示监督技术在获得理想的训练语料库时可以提供的更优的搜索性能。

例如，搜索查询“如何退出应用程序并显示主屏幕”这个问题，NCS返回：

public void showHomeScreenDialog(View view) { intent nextScreen = new Intent(getApplicationContext() HomeScreenActivity.class); startActivity(nextScreen); }

而UNIF提供了更适合的代码段：

public void clickExit(MenuItem item) { Intent intent=new Intent(Intent.ACTION_MAIN); intent.addCategory(Intent.CATEGORY_HOME); intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK); metr.stop(); startActivity(intent); finish(); }

原理

Facebook利用了开源AI工具fastText、FAISS和PyTorch，NCS和UNIF将自然语言查询和代码片段表示为向量，然后训练网络，使得语义相似的代码片段和查询的向量表示紧密相连在向量空间。

通过这些模型，可以直接从代码语料库中找到代码片段，有效地回答程序员的问题。

NCS

NCS模型通过使用嵌入来获取程序语义，在向量空间中语义相似的实体具有彼此接近的期望属性。在下面的例子里，有两个不同的代码，它们都与关闭或隐藏Android键盘有关。由于它们具有相似的语义含义，即使它们代码不完全相同，再向量空间中的距离也很近。

github趋势榜单自动获取：用自然语言从GitHub搜代码跳过论坛提问环节(4)