@唐杰THU
唯有专注与坚持
科学研究与科技创业，皆是一场漫长、孤独而又令人心澎湃的淬炼。它极像是一场对未知的“唤醒”——需要将最前沿的理论、最复杂的工程与最现实的场景反复研磨、静心浸润。唯有熬得过技术无人区的寂寞，方能品味到大模型跨越临界点时、那喷薄而出的智能醇香。“让机器像人一样思考，探索 AGI 的终尽头。”在这条通往未来的长路上，专注与坚持是我们唯一的成功之道。

@朱亚东-数元灵
团队管理有一个比较棘手的问题就是，达克效应，简单来讲，就是对于传统的大团队，比如技术团队，内部有不同的岗位角色，有的做前端开发，有的做后端开发，有的偏Infra内核，有的定位算法应用，这种模式带来的问题就是，各个小团队之间有“部门墙”，且松耦合；通俗来讲就是，我擅长的你不懂，你擅长的我觉得没那么重要，最后推衍到整个组织，整体效率不高且集体性偏差；

大模型这一波儿，借助AI的力量，每个人的技术外延都有大幅度的提升，岗位划分就不如之前那么清晰，相应的，对于技术同学的能力定位，更多的是在问题的定义和拆解，然后借助AI的力量，高效并发推进，单兵作战能力大幅度提升，团队backup和稳定性也极度增强

有网友问为什么AI大模型需要那么多内存，XX还能涨多久，是需要更多内存存数据吗？

答：先纠正一个最普遍的误解:现在AI抢的不是"存数据的空间",不是容量墙,是带宽墙。为了拿到足够的带宽,不得不堆上巨量内存，容量反而是搭着带宽的副产品。(下面把显存也算作内存的一种,一种高端内存;消费级PC那条DDR是普通内存。)

第一层,带宽墙,这是根。

LLM推理分两段:Prefill吃算力,Decode吃带宽。reasoning模型的长思维链、agent的长程任务,本质上就是把最吃带宽的解码阶段无限拉长——每吐一个字,都要把整个模型权重从显存里完整搬一遍出来,计算量极小,纯粹是搬运。而硬件偏偏朝相反方向走:2012到2022年,英伟达GPU的FLOPS涨了80倍,显存带宽只涨了17倍,剪刀差还在扩大。算力过剩、带宽被饿死,这才是"卡内存"的真身。推理的瓶颈是内存和互联,不是算力。

这里有个常被讲错的点要厘清:复制多个模型副本,提高的是集群总吞吐(每秒服务多少token),不是单条流的带宽——你一个用户生成一个字,还是卡在那一张卡的HBM带宽上,复制十份也救不了这一个字。吞吐、带宽、容量是三个轴。吞吐决定能同时服务多少人,带宽决定每个人的吐字速度,容量决定能塞下多大的模型和多长的上下文。

第二层,容量,排第二位。

长上下文 × 高并发,KV cache线性膨胀;MoE把总参数推到天量,所有专家都得常驻显存;再加harness等配套也吃内存。容量压力确实存在,长上下文和agent场景下还会明显上升,但相对带宽是次要矛盾。关键在于:HBM是把带宽和容量打包卖的,你为了拿带宽必须堆HBM,容量是顺带的。哪天有技术能不堆容量就给到这个带宽(近存计算、高带宽闪存这类),内存用量自然会下来。

第三层,供给侧被HBM挤爆。

HBM占的晶圆面积是普通DRAM的三倍(die penalty),三大厂把合计九成多的产能转去做HBM,结果2026 Q1通用DRAM价格环比暴涨九成,HBM全年产能售罄,缺口信号指向2027年以后。技术上的稀缺,直接变成了价格上的暴动——这也是为什么你装机的内存条莫名其妙变贵了:产能都去伺候AI了,没人给消费级供货。

具体到XX。一方面他是HBM追赶者，另一条是它少有的领跑赛道——SOCAMM(基于LPDDR5X的模块化低功耗内存,带宽是RDIMM的2.5倍、功耗只有DDR5的三分之一)。它的角色是Grace/Vera CPU侧系统内存的升级换代,定位卡在HBM和普通DDR之间,有人叫它"第二个HBM"。关键是英伟达把XX选为首家供应商,排在韩国几个大厂前头,GB300已经在用,SOCAMM2已经做到256GB送样。这是XX从"追赶者"变"领跑者"的差异化故事。



朱亚东-数元灵:我再补一点，当上下文足够长时，下一个token的概率基本唯一确定了，所以为了模型效果最大化，从这个角度讲，内存空间需求也确实会大量增加
26-6-8 12:00 来自北京



忽然圆形客:这段内容整体质量很高，核心观点我基本认可[二哈] 梁博水平高，还愿意带普人，真善人。
26-6-8 12:12 来自天津

格格巫2015:美光
26-6-8 11:54 来自北京

又开始牙科之旅了，真tm的。
几年牙科之旅下来，嘴里快入驻一辆宝马了。 ​​​

A股今天是不是哀鸿遍野了 ​​​

经过一个小时的乒乓球较量，我决定把“史上第一反手”的称号让给某大叔。

因为他的反手强大到让我不敢打在他的反手边。否则几乎总是一个无影手，动作好像是他不小心碰了球一下。无论过去的球是什么旋转，必然像一道白光过来……

而且他经常在弹跳点击球，很难反应过来。

幸好，我发现了他的弱点。他的正手比较弱。只要把球打在正手边，他就有困难了。让我赢了不少球。

想不到的是，大叔终于想出了破解。他把反手翻过来当正手用！打在他正手边的球，他也用反手接。虽然不能完美取代正手，但还是比他的正手好多了。

从来没见过把反手用到这种地步的。包括以前欧洲某“世界第一反手”都不能与跟他比拟。

所以“史上第一反手”的称号应该归他。

在网球场躲雨，顺便观察了一会。有些俱乐部在里面打球，都是双打。水平嘛，真的非常业余。这样的双打，是打一辈子也无法提高的，就没有一个有趣点的好球。

要不是因为倾盆大雨，我也待不了那么久。搞不懂为什么有人花那么多钱学网球，最后来这样的场子打球。

网球的业余比起乒乓球的业余，完全是两回事。网球的业余基本上没什么意思，都是低水平双打（实际上网球的职业也没什么意思，都是假球）。乒乓球的业余却可以非常精彩，几乎都是单打独斗，甚至可以比职业比赛还好看。

上一节网球课（团课）的钱，我可以打一年的乒乓球，每天7小时。这性价比差距也太大了[阴险]

越看越觉得打网球没什么前途。技术练得再好又能怎样呢？最后还不是打这样的场子，大部分还是双打。而且中国，日本，英国…… 全世界恐怕都是如此。

前段看到国外的网球爱好者在抱怨，说越来越多的网球场被改造成了皮克球场。这是有原因的。

我以为我研究的是网球，
结果发现我研究的是功夫。

我以为我研究的是球拍，
结果发现我研究的是兵器。

已经没人知道我在做什么。 ​​​

@财联社APP
【证监会主席吴清：持续完善程序化交易监管的机制安排 坚决打击操纵市场、扰乱市场秩序等违法违规行为】财联社6月6日电，证监会官网发布吴清主席在中国证券投资基金业协会第四届会员代表大会上的致辞。吴清表示，近年来，程序化交易已成为包括我国在内的全球各主要资本市场的重要交易方式。除了大家熟知的量化私募外，外资、公募及其他专业机构投资者，甚至一些个人投资者，都不同程度采用程序化交易的方式。充分考虑个人投资者占大多数的国情市情，先后出台了一系列程序化交易监管规则制度，建立交易报告机制，强化针对性监测监控，从严监管异常交易行为，引导降频降速，强化交易业务单元管理等。在此基础上，我们还将深入调研，持续完善程序化交易监管的机制安排，更突出公平和规范，加强针对性监管，切实防范滥用技术优势，坚决打击操纵市场、扰乱市场秩序等违法违规行为。

祝愿所有考生发挥出最佳水平，考入自己满意的学校和专业。虽然现在高考对于整个人生的影响相比过去已经大幅下降了，但它也是对自己十几年持续努力的一个交代，和对最宝贵青春岁月的告别。加油吧，少年！ ​​​

房价和纳斯达克指数比很奇怪，但同期用我们的市场去比也不必了，大周末的何必找不痛快。然后查了下同期日本东京房价的涨幅，不同口径数据有些差异，但大体上涨幅在110-120%左右，竟然快不虚同期北京房价的涨幅了[流汗]

但也说明，足够便宜+真正稀缺难复制的好资产，时间确实是朋友，即便在几十年永远崩溃的小日子。


https://postimg.cc/WDs7y8fd

快速的判断一个人从本质上来看是不是靠谱，是成年人的核心竞争力之一。不见得能由此获得多大助力，但对于保住人生底线至关重要。对于人这一辈子主动或者被动接触到的人里，大致可以分为几类：

第一类，可以一起玩，但最好别一起做事和生活
第二类，没事儿的时候没什么存在感，但真碰到事儿时是可以信任和依赖的
第三类，在某项能力有突出优点，同时在人品某个方面有致命缺点，可用不可信
第四类，也许没什么突出的能力，但善良温暖，真诚可靠，越到人生的后面阶段这种人越珍贵
第五类，无论从任何方面来讲都是个大坑，光速认清光速远离