MIT微软为AI量身打造了一套leetcode编程题
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 你见过这种编程题目描述方式吗? 不用自然语言描述,也没有输入输出示例,你所看到的就只有一个Python函数。 这是来自MIT、Allen AMII和微软的研究人员提出的一种全新的编程题目描述方法: 每个题目都由一个简短的Python函数f定义,目标是找到一个输入x,使f输出true。 这样的题目形式可以让AI审题更容易,人类程序员的理解也不会受到影响。 AI编程,道路真是越来T微越平了啊。 接下来就来详细看看这个研究吧。 没有自然语言描述的编程题目 再来解释一下这种描述方法: 题目采用Python函数的形式,参数为答案。 解题的目标是找到使函数输出为真的输入x,即满足f(x)= true的正确答案。 现在请你举一反三:软为求解一个有1000个不连续“o”的字符串,用这种新形式如何描述呢? 正确答案: 下面是另外两道题目的描述示例。 动态规划—最长单调递增子序列问题: 经典的汉诺塔 (Towers of Hanoi ): 研究人员按此种出题形式囊括了各种编AI程题,提出来一个开源数据集:叫做P3。 该数据集题型非常全面:涉及不同难度、不同领域和不同算法工具等方面的题目。 有简单的字符串操作问题; 有经典如汉诺塔和国际象棋(例如,骑士游历算法和N皇后问题变体)等难题; 也有两人挑战寻找最佳策量身略的题型,如井字棋(Tic-Tac-Toe)、石头剪刀布、珠玑妙算Mastermind等; 还包括来自国际数学奥林匹克竞赛(IMO)和国际大学生程序设计竞赛(ICPC)的题目,如各种图论和数论难题。 一共包含208种题型、14万+的题目打造,并且还在不断更新中。 每个题目都提供了至少一种答案。 这套新颖的编程挑战题库数据集,抓住了编程题目的本质,可用于教AI编程并评估AI的编程能力。 研究人员表示,这套题可以对AI的编程能力进行客观评估。因为不用查看答案,就能直接验证了一解答的正确性。因此,这种题目不会增加AI学习任何答案偏差的负担。 希望这个数据集可以开发出新的AI编程解决方案 不同AI求解器根据这些题目编程的效果如何呢? 研究人员做了一些深入的实验,开发了基于随机森林、Transformer和套l不同类型GPT-3 prompts的AI求解器,它们采用不同参数枚举、自顶向下的方法,使用这个P3数据集来评估性能。 首先,测试这些求解器在这个数据集上利用此前解决题目的方法来解决新题目的自举效率(bootstrapping effeeicacy)。 结果发现,增加尝试次数可以解决新题目。但它们也能通过学习过去的经验,更快地解决新的难题。 下图为这些AI求解器在不同尝试次数下的已解决题目数量: 而在一项小的用户研究中,21名在Python编程方面有不同经验年限的tc程序员完成了不同难度的30个题目。每个题目最多分配6分钟的时间来解决。 用这个数据集评估AI与人类程序员对编程题难度的感知发现: 人类觉得难的题对AI来说也更难,现阶段情况下,AI求解器能解决的大多数题都是对人类来说比较简单的od。 上图表示人类和AI对各种题目的难度打分,按人类分数排序。人类的难度分数通过超出允许的最大解题时间的平均分数来衡量,AI的则是根据解题所需的尝试次数。 另外,AI用这种形式的题目可以解决了60% 的难题,初学者和有经验的程序员平均分别解e编决了 76% 和 87% 的难题。 总的来说,利用这个新颖的数据集,通过精心设计的AI求解器,可以大大减少AI编程求解所需的尝试次数、并解出更多的题目。 因此,研究人员希望,这个新的编程题库数据集能支持大家研究和开发新的AI编程解决方案,提高程题AI编程的效率和性能。 此前,UC伯克利曾训练AIˢLeetCode,总共5000道题的测试中,AI能做出15%。 不知道使用这个数据集训练,AI编程的能力又会达到什么水平呢? 论文地址:https://arxiv.org/abs/210MI6.05784 开源数据集链接:https://github.com/microsoft/PythonProgrammingPuzzles
- 最近发表
- 随机阅读
-
- 苹果支付部门招聘业务开发经理 要求拥有加密货币工作经验
- 标签: 美光科技 HBM4 HBM4E 1γ工艺
- 标签: 捷豹路虎 格里·麦戈文 揽胜 Type00
- 云安全日报210107:华为家用路由器发现拒绝服务漏洞,需要尽快升级
- 面对未来,让场景刻画云的样子
- “大数据杀熟”行为有了细化认定标准
- 标签: 鸿蒙座舱 智能座舱
- 浜戣�绠楁牳蹇冩妧鏈疍ocker鏁欑▼锛氬湪 Azure 涓婇儴缃� Docker 瀹瑰櫒
- 波士顿动力「人狗共舞」:PK韩国男团,机器舞神组团来袭
- 标签: 江波龙 FORESEE 雷克沙 存储芯片
- 标签: ChatGPT OpenAI 应用商店 GPTs
- 标签: 中国移动 5G网络 AIoT平台 卫星通信
- 事实表明糟糕的数据将会扼杀优秀的人工智能
- 标签: 中国电信 星辰大模型 Token套餐 天翼AI云电脑
- 标签: 快手科技 可灵AI 程一笑 OneRec-V2
- 标签: 此间无限 齐俊元 豆包手机 GUI Agent
- 中国量子计算原型机「九章」问世:它一分钟完成的任务,超算需要一亿年
- OpenAI 暂停Sora生成马丁・路德・金视频,保护历史人物形象
- 标签: 小鹏汽车 陈永海 王凤英 高德地图
- 标签: 豆包 中兴 努比亚 AI原生手机
- 搜索
-
- 友情链接