鑳戒笌 GPT-3 鐩稿�缇庯紵EleutherAI 寮€婧� GPT-J
2020 骞达紝寰�蒋涓� OpenAI 杈炬垚浜嗗崗璁�紝寰�蒋灏嗘嫢鏈夊� GPT-3 婧愪唬鐮佺殑鐙��璁块棶鏉冿紝鑷�� OpenAI 灏变笉鍍忎互寰€涓€鏍峰紑鏀惧叾 GPT-3 AI 妯″瀷锛岃€� OpenAI 鐨� GPT-1 鍜� GP鑳戒T-2 浠嶇劧鏄�紑婧愰」鐩�€� 涓轰簡鎵撶牬 OpenAI 鍜屽井杞��鑷�劧璇�█澶勭悊 AI 妯″瀷鐨勫瀯鏂�紝Connor Leahy銆丩eo Gao 鍜� Sid Black 鍒涚珛浜� EleutherAI锛岃繖鏄�竴涓�笓娉ㄤ簬浜哄伐鏅鸿笌 兘瀵归綈銆佹墿灞曞拰寮€婧愪汉宸ユ櫤鑳界爺绌剁殑缁勭粐銆傝繎鏃� EleutherAI 鐮旂┒鍥㈤槦寮€婧愪簡涓€涓�熀浜� GPT-3 鐨勮嚜鐒惰�瑷€澶勭悊 AI 妯″瀷 GPT-J銆� GPT-J 鏄�竴涓�熀浜� GPT-3锛岀敱 60 浜夸釜GP鍙傛暟缁勬垚鐨勮嚜鐒惰�瑷€澶勭悊 AI 妯″瀷銆傝�妯″瀷鍦ㄤ竴涓� 800GB 鐨勫紑婧愭枃鏈�暟鎹�泦涓婅繘琛岃�缁冿紝骞朵笖鑳藉�涓庣被浼艰�妯$殑 GPT-3 妯″瀷鐩稿�缇庛€� 璇ユā鍨嬮€氳繃鍒╃敤 Google Cloud 鐨� v3-2T-56 TPU 浠ュ強 EleutherAI 鐨� The Pile 鏁版嵁闆嗚繘琛岃�缁冪殑锛屽巻鏃跺ぇ绾︿簲鍛ㄦ椂闂淬€侴PT-J 鍦ㄦ爣鍑� NLP 鍩哄噯宸ヤ綔璐熻浇涓婂疄鐜颁簡涓� OpenAI 鎶ュ憡鐨� 67 浜垮弬鏁扮増鏈�殑 GPT-3 绫讳技鐨勫3 噯纭�€с€傛ā鍨嬩唬鐮併€侀�璁�粌鐨勬潈閲嶆枃浠躲€丆olab 鏂囨。鍜屼竴涓�紨绀虹綉椤甸兘鍖呭惈鍦� EleutherAI 鐨勫紑婧愰」鐩�腑銆� EleutherAI 鍦� 2021 骞� 3 鏈堝彂甯冧簡 27 浜垮弬鏁扮殑 GPT-Neo 妯″瀷鐩稿锛岃繖鏄�粬浠��绫� GPT 绯荤粺鐨勭�涓€涓�疄鐜般€侴PT-Neo 鏄�湪 TensorFlow 涓�瀯寤虹殑锛屽苟閫氳繃 Mesh TensorFlow 骞惰�搴撳湪 TPU 涓婅�缁冦€傝�鍥㈤槦鐩�墠杩樻�鍦ㄥ紑鍙� GPT-NeoX锛岃繖鏄�缇�竴涓�熀浜庡井杞� DeepSpeed 鐨� GPU 瑙e喅鏂规�;铏界劧浠g爜鏄�紑婧愮殑锛屼絾鐩�墠娌℃湁妯″瀷鏂囦欢鍙�互璁块棶銆� 鏈€鏂扮殑妯″瀷 GPT-J 鏄�敤 Mesh-Transformer-JAX 杩欎釜鏂板簱鏉ヨ�缁冪殑銆庯紵傝�搴撴病鏈変娇鐢ㄥ儚 TensorFlow 杩欐牱鐨勭壒瀹氭繁搴﹀�涔犳�鏋讹紝鑰屾槸浣跨敤 Google 鐨� JAX 绾挎€т唬鏁版�鏋躲€侴PT-J 鎻愪緵浜嗘瘮 Tensorflow 鏇寸伒娲汇€佹洿蹇�€熺殑鎺ㄧ悊锛岃�妯″瀷鐨勫紑El鍙戞椂闂磋繙杩滃皯浜庢棭鏈熺殑涓炬帾銆備笌 GPT-Neo 妯″瀷鐩告瘮锛孏PT-J 鐨勮�缁冩晥鐜囨彁楂樹簡 125%銆傚湪鍑犱釜 Down-Streaming 宸ヤ綔璐熻浇鐨勯浂鐐规€ц兘鏂归潰锛孏PT-J 鏄�叕寮€鐨� Transformeeur LM 涓�〃鐜版渶濂界殑銆� EleutherAI 鐨勫紑鍙戣€� Komatsuzaki 琛ㄧず锛氣€滀笌 TensorFlow 鍜� TPU 鐨勫悓绫讳骇鍝佺浉姣旓紝瀹冨厑璁告洿鐏垫椿銆佹洿蹇�€熺殑鎺ㄧ悊銆傛洿閲嶈�鐨勬槸锛岃�椤圭洰闇€瑕佺殑th鏃堕棿澶уぇ灏戜簬鍏朵粬澶ц�妯℃ā鍨嬨€傜爺绌惰〃鏄庯紝JAX + xmap + TPU 鏄�揩閫熷ぇ瑙勬ā妯″瀷寮€鍙戠殑瀹岀編宸ュ叿闆嗗悎銆傗€� 寮€鍙戣€呭彲浠ュ湪 GitHub 涓婃壘鍒� GPT-J 鐨勬簮浠g爜鍜屾ā鍨嬶紝骞惰兘er鍦� EleutherAI 鐨勫畼鏂圭綉绔欎笂鎵惧埌浜掑姩婕旂ず銆� 鏈�枃杞�嚜OSCHINA 鏈�枃鏍囬�锛氳兘涓� GPT-3 鐩稿�缇�?EleutherAI 寮€婧� GPT-J 鏈�枃鍦板潃锛歨ttps://www.oschina.AInet/news/150972/eleutherai-open-sources-gpt-j
- 最近发表
-
- Spotify前高管400万美元新作震撼登场!AI秒制课程颠覆传统教育,9种学习模式让知识获取变得像听音乐一样简单
- 标签: 小红书 达尔文项目 创业孵化 内部孵化
- 标签: 美图公司 开拍 RoboNeo 美图设计室
- 标签: 和记电讯香港 澳门电讯业务 霍建宁 电信行业
- 科学家利用无人机在南极为企鹅做“人口普查”
- 美国专利商标局(USPTO)报告:再不使用人工智能,你就落伍啦!
- 前字节AI高管廖谦“下海”做乙方:半个月搞定数百万美元,要让营销代理像007一样接单
- 百度电商引入大模型,重塑风控审核流程,商家用户双赢!
- 标签: HappyHorse 阿里巴巴 ATH 淘天集团
- 标签: 阜博集团 VobileMAX DreamMaker 数字内容资产
- 随机阅读
-
- 标签: 小鹏汽车 小鹏GX 台积电 胡润中国500强
- Deezer 每日接收近 7.5 万首 AI 歌曲,呼吁行业共同应对
- 标签: 宇树科技 双臂人形机器人 灵巧手 10TOPS
- 云计算开发实例:Python3使用正则表达式提取字符串中的 URL
- Nvidia 发布全新 Rubin CPX GPU,助力 “海量上下文” 人工智能应用
- 人工智能和物联网等技术可以在缓解气候变化风险方面发挥巨大作用
- 亚马逊Prime Day开门红:首日销售额超过56亿美元
- 标签: OpenAI 奥尔特曼 微软
- 全球首现AI勒索软件PromptLock:跨平台黑客新武器来袭
- Paycom 裁员500余人,用 AI 取代员工岗位
- 甲骨文与 Meta 洽谈价值 200 亿美元的云计算协议
- 标签: 奈雪的茶 纤·Studio 每日蔬果瓶 健康茶饮
- Kubernetes的来龙去脉与运行流程
- 标签: 问界汽车 天美蒙特利尔 ASML EUV光刻
- 标签: 字节 Seedance 2.0 即梦AI 豆包
- AI安全新独角兽诞生:Irregular获巨额融资,模拟环境预测模型风险
- 标签: AI影视行业
- 通义万相全新动作生成模型Wan2.2-Animate正式开源
- Hive进阶―抽样的各种玩法
- 618如何做到分钟级送达 京东云给出了答案
- 搜索
-
- 友情链接