当前位置:首页> 行业热点 >

今日最新!最大CLIP!LAION发布CLIP的扩增定律

时间:2022-12-24 13:41:15    来源:


【资料图】

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143
标签:

上一篇:

下一篇:

讲解百科 利润分配为什么增加记在借方

利润分配增加记在借方原因如下:利润分配科目属于权益类科目,而权益类科目的贷方核算增加数,借方核算减少数。利润分配是借方记减少,贷方

2022-12-18

科普知识 出口货物的发票应该如何开

出口货物发票开具方法如下:1、商业发票,是自制发票,直接打印在A4纸上,每个出口企业都有自己的发票格式,商业发票包含商品名称、数量、单

2022-12-18

知识库 居委会职责

1、在政府有关部门指导下,组织社区成员进行自治管理,搞好社区的卫生物业,计生,流动人口和治安管理,完成社区成员代表大会,社区议事委

2022-12-18

知识大全 七阿姨到底是什么人

七阿姨是属于抖音上面的一个红人,根据资料显示七阿姨就是娱乐圈内的人,她的爸爸是一家娱乐公司的老板,所以因为爸爸的关系能有很多机会见

2022-12-18

知识领域 怎么学习炒股

1、首先要知道自己的策略到底是在短线、中线、长线中,自己是哪一种,只有这样你才可以集中在是看公司、趋势还是主力。不同的主线所采取的

2022-12-18

知识探索 微信朋友圈怎么只发文字

1、步骤:打开微信点击【发现】->点击【朋友圈】->按住右上角的【相机图标】1秒左右就可以进入发纯文字界面,然后输入发布的文字信息点击发

2022-12-18

探索百科 推荐几部一点都不虐的总裁甜文

1、《早安,检察官娇妻》,作者:月七儿。2、《杉杉来吃》,作者:顾漫。3、《霸宠甜甜妻》,作者:雪篱笆。4、《首领霸爱:痴恋灰姑娘》,

2022-12-18

百科大全 什么是高等职业学院

高等职业技术学院是根椐教育部相关规定,从上世纪末起非师范、非医学、非公安类专科层次全日制普通高等学校逐步规范校名为"职业技术学院",

2022-12-18

百科全书 广州哪有宠物市场我想买只宠物狗

1、清平市场 :如果在广州火车站,可以乘坐开往文化公园、南方大厦方向的公交车,在文化公园或南方大厦下车,然后步行5分钟即可到达。 如

2022-12-18

知识智库 海参怎么发最好

1、把购买回来的干海参,先浸泡,后煮制是发海参的最佳方法。发海参是需要准备不带油的不锈钢锅或者陶瓷锅,把干海参放进去,加入清水浸泡3

2022-12-18