机器学习免费跑分神器：集成各大数据集，连接GitHub就能用，还能验证论文结果

栗子 鱼羊 发自 凹非寺
量子位 报道 | 公家号 QbitAI

搞机械进修的小伙伴们，免不了要在各类数据集上，给AI模型跑分。

[本文来自：www.ii77.com]

如今，Papers with Code (谁人以论文搜代码的神器) 团队，推出了主动跑分办事，名叫sotabench，以跑遍所有开源模型为己任。 [原创文章：www.ii77.com]

有了它，不消上传代码，只要保持GitHub项目，就有云端GPU帮你跑分；每次提交了新的commit，系统又会主动更新跑分。还有世界排行榜，能够视察各路强手的成就。

除了支撑各大主流数据集，还支撑用户上传本身的数据集。

也能够看看，别人的论文究竟，究竟靠谱不靠谱。

好比说，fork一下Facebook的FixRes这个项目，设置一下评估文件：

然后一键关系，让Sotabench的GPU跑一下ImageNet的图像分类测试。

就能获得如许的究竟：

Top-1正确率，Top-5正确率，跟论文的究竟有何差距（见注），运行速度，全球排名，悉数尽收眼底。

注：ε-REPR，究竟与论文究竟差距在0.3%以内时打勾，差距≥0.3%且比论文究竟差显露为红叉，比论文究竟好显露为勾+

这个免费的跑分神器，发布一天，便受到强烈迎接：推特点赞600+，Reddit热度270+。

网友纷纷透露：这对斥地者社区来说太有效了！

那么，先来看一下sotabench的功能和用法吧。

用法简洁，海纳百川

团队说，sotabench就是Papers with Code的双胞胎姐妹：

Papers with Code人人很熟悉了，它视察的是论文申报的跑分。能够用来寻找高分模型对应的代码，是个造福人类的对象。

与之互补，sotabench视察的是开源项目，代码实际运行的究竟。能够测试本身的模型，也能验证别家的模型，是不是真有论文说的那么强。

它支撑跟其他模型的对比，支撑查察速度和正确率的弃取情形。

那么，sotabench怎么用？简洁，只要两步。

第一步，先在内陆评估一下模型：

在GitHub项目的根目录里，建立一个sotabench.py文件。里面能够包含：加载、处理数据集和从中得出展望所需的逻辑。每提交一个commit，这个文件都邑运行。

然后，用个开源的基准测试库来跑你的模型。

这个库能够是sotabench-eval，这个库不问框架，里面有ImageNet等等数据集；也能够是torchbench，这是个PyTorch库，和PyTorch数据集加载器搭配食用更简洁。

一旦成功跑起来，就能够进入下一步。

第二步，保持GitHub项目，sotabench会帮你跑：

点击这个按钮，连到你的GitHub账号，各类项目就展现了。选择你要测试的谁人项目来保持。

连好之后，系统会主动测试你的master，然跋文录官方究竟，一切都是跑在云端GPU上。

测试情况是凭据requirement.txt文件设置的，所以要把这个文件加进repo，让系统捕获到你用的依靠项。

此后，每当你提交一次commit，系统都邑帮你从新跑分，来确保分数是最新的，也确保更新的模型依然再工作。

如许一来，模型出了bug，也能实时知晓。

若是要跑别人家的模型，fork到本身那边就好啦。

今朝，sotabench已经支撑了一些主流数据集：

列表还在持续更新中，团队也在盛情邀请各路俊杰，一同充实benchmark人人庭。

既支撑建立一个新的benchmark，也支撑为现有benchmark添加新的实现。

你能够给sotabench-eval或torchbench项目提交PR，也能够直接建立新的Python包。

一旦预备停当，就在sotabench官网的论坛上，发布新话题，团队会把你的benchmark加进去的：

好评如潮

如许的一项办事推出，网友们纷纷点赞，好评如潮，推特点赞600+。

有网友透露：

太棒了！对刚入门的新手来说，数据集获取、预处理和评估的主动化和尺度化很有效。

经由剖析分歧模型及其超参数究竟，来评估这些模型，自己是挺难题的一件事，你得在各类论文中查阅大量的非构造化数据。有了这个，这件事就轻松多了。（部门意译）

很多网友对这个项目进行了友好的商量及建议，而斥地人员也在线积极回应。

好比这位网友建议：能在每次提交的时候申报模型的超参数吗？

作者很快复原说：英雄所见略同。下次更新就加上！

而且，他们还考虑在未来的更新中，让使用者把链接添加到生成模型的练习参数中。

传送门

sotabench官网：
https://sotabench.com/

基准测试库通用版：
https://github.com/paperswithcode/sotabench-eval

基准测试库PyTorch版：
https://github.com/paperswithcode/torchbench

作者系网易新闻·网易号“各有立场”签约作者

— 完 —

大会启幕！预见智能科技新将来

量子位MEET 2020智能将来大会启幕，将联袂精良AI企业、卓越科研人员呈现一场高质量行业盛会！详情可点击图片：

榜单征集！三大奖项，锁定AI Top玩家

2019中国人工智能年度评选启幕，将评选领航企业、贸易冲破人物、最具立异力产物3大奖项，并于MEET 2020大会揭榜，迎接精良的AI公司扫码报名！

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI手艺和产物新动态

喜欢就点「悦目」吧 !