研究者July

研究者July

北京七月在线科技有限公司 创始人

北京七月在线科技有限公司 创始人

  • 3 公司 七月在线
查看更多 a
置顶 为何我司论文审稿模型可以超过GPT4
核心三点:数据第一关键,其次训练策略,最后llama 2

详见此文《用一万多条paper-review数据集微调LLaMA2》:O网页链接
至于数据集、代码则见「大模型项目开发线上营」O网页链接,70B的版本则见:O网页链接
L研究者July的微博视频 ​​​​
翻译本身不复杂,所以5月中下旬会先上线「基于大模型的论文翻译系统」

​审稿则因为树立的目标太高了(逼近甚至超越顶会审稿人的审稿效果),故还得再搞搞 ​​​​
5月起,除了继续加大对审稿项目的推进之外

​另一个TOP 2级别的大点,便是机器人了,规划通过课程拉到更多人,以加速4个开源大模型机器人的复现与二次开发 ​​​​
好的顶级前沿paper 太有帮助了

比如康奈尔那篇reviewer2,其实就是想逼近每一篇paper的各自顶会审稿人级别的review意见
​说到底,还是基于数据本身特征,设计模型训练层面的算法、流程 ​​​​
这个4月份,就是反复跟数据较劲,不断提高数据质量,之所以反复较劲 ​是因为我(们)早已觉得超过GPT4,早已不代表什么,早日无限逼近甚至超越人工专家层面的「顶会审稿人」的审稿效果,才是接下来的目标
新blog之《提升数据质量的三大要素:清洗prompt、数据溯源、数据增强(含Reviewer2及其实现)》O网页链接

毕竟,数据的重要性再怎么强调都不过分,因为数据就是项目效果上的天花板
故我们审稿项目组 在3月份疯狂微调各种模型之后,4月份再次回到数据质量的提高上 ​​​​
4月29日 19:37 来自 Xiaomi MIX 4 已编辑
自从定位于「科技公司」以后,我司每个月都会给一些B端公司做一些项目,核心关键还是把活 干好

大部分客户很好沟通,但有的公司就很难谈,对于这种,一般就直接不接了,本身项目就接不过来,结果还得在项目本身之外额外付出一些有的没的,浪费时间 ​​​​
昨天,根据PI的论文多次优化下文2.3节的内容
因项目中要用到YaRN,故又挖了一个坑,新blog《大模型上下文长度扩展综述:从直接外推ALiBi、插值PI、NTK-aware插值、YaRN到S2-Attention》O网页链接 ​​​ ​​​​
4月29日 11:35 来自 Xiaomi MIX 4 已编辑
项目与培训,相辅相成,谁也离不开谁

当然 此处或下图的项目指的是内部立项的产品项目
​至于每个月为几个b端公司做的项目,则是另外一码事 ​​​​
4月29日 11:35 来自 Xiaomi MIX 4 已编辑
创业十年来,始终坚持「不坑蒙拐骗 不伤天害理,对社会有价值」,反过来,坑蒙拐骗 伤天害理的事情不做,对社会无价值的事情不做,哪怕有再多钱 //@屈春河_老程序员:无论是自由职业,还是自己创业,只要不违法,不坑蒙拐骗,能够自己养活自己,就让人钦佩。
之前七月有教研时,有人low喷七月没有教研
现在七月真的没有教研了,因为如今定位于「科技公司」了,要什教研

一定要有,则:做好商业项目便是最好的教研 ​​​​
之前七月有教研时,有人low喷七月没有教研
现在七月真的没有教研了,因为如今定位于「科技公司」了,要什教研

一定要有,则:做好商业项目便是最好的教研 ​​​​
审稿就是把paper当做q,review当做a,然后作为q-a对微调一系列开源模型,相当于自动对论文做审稿
《大模型商用项目之审稿微调实战营 [远非任何demo可比]》O网页链接
希望找到更多志同道合之人来共同迭代 ​​​​
  • 长图
4月28日 12:22 来自 Xiaomi MIX 4 已编辑
论文固然值得反复看,但看多了还是要有独立批判且质疑的精神 不然可能会被误导

真正的真知,出自实践的概率更大,这也是有实践经验的重要性 ​​​​
4月28日 00:19 来自 Xiaomi MIX 4 已编辑
为早日扩大「机器人的复现与二次开发」队伍,目前的规划是,机器人小课 Q2开班,机器人线下营 Q3开班,机器人线上营 Q4开班,欢迎关注
每个项目完成第一版时,便会项目和课程开始同步推进,然后从课程中筛选/选拔一批人,加入项目组参与项目后续版本的开发
之前审稿 RAG都是这个模式,机器人亦如此

故考虑到各个机器人的复现工作已几近完成,近期即将开一个机器人在线小课和线下大课,不断扩充机器人复现与二次开发队伍 ​​​​
每次出差回到长沙,都有一种前所未有的松弛感,一开始我以为是因为自己湖南人,后来发现 外地来长朋友的感受亦如此

​地铁里有充电宝,可以随时蹲、随地坐,大街上几个女生可以共唱强军之歌.. ​​​​
都在做的,互相赋能,😃 //@康振宁2023-2024:不做培训,直接做项目了吗?
接到的来自B端的AI大模型项目需求越来越多了,近期有两个印象比较深,一个是AI大模型陪聊,一个是AI大模型打游戏

​最愁的就是一上来说要做这个,在只有几个字的信息下,让我报个价.. ​​​​
接到的来自B端的AI大模型项目需求越来越多了,近期有两个印象比较深,一个是AI大模型陪聊,一个是AI大模型打游戏

​最愁的就是一上来说要做这个,在只有几个字的信息下,让我报个价.. ​​​​

正在加载中,请稍候...