Chorus以共享N-gram表缩减87%表参数并改善语言建模
Chorus 提出一种跨层共享的 N-gram 嵌入方案:全网共用一组短 Token 序列向量表,各层再依据当前隐藏状态缩放向量分量,并通过独立投影生成层特定表示。arXiv v1…
智客 ZICQ 每日整理大模型、开源基础设施与开发者现场的 AI 新闻与深度文章。
投稿技术文章当前筛选: 标签: #Code 2 Flash 清除筛选
Chorus 提出一种跨层共享的 N-gram 嵌入方案:全网共用一组短 Token 序列向量表,各层再依据当前隐藏状态缩放向量分量,并通过独立投影生成层特定表示。arXiv v1…
前沿论文· 2026-11-19
一项针对已部署“CV Priority Sorter”的审计揭示三类常见失真:合成语料可被文档长度直接排序,使精度指标失真;四级一致性分数只是固定阈值切分,不能代表排序质量;不确定…
大模型· 2026-11-19
Amazon SageMaker AI 无服务器模型定制新增全参数微调(FFT),用户无需预置GPU或配置集群即可训练并评测完整模型权重。AWS以Qwen3-4B和11万条代码指令…
前沿论文· 2026-11-18
针对搜索增强语言模型在终局奖励下无法区分有效与无效检索的问题,论文提出证据信用分配(ECA)。训练阶段,ECA冻结当前策略快照,以“问题+去重检索文档”构造证据专用提示,用参考答案…
算力架构· 2026-11-18
CriticNPU把NPU架构搜索从“只按延迟排序”改造成带机制诊断的闭环:Roofline式硬件上限在仿真前筛除低潜力配置,仿真后把算子耗时归并为prefill与decode瓶颈…
前沿论文· 2026-11-18
Chiron把一个大语言模型联合微调为行为测量与预测基础模型,同时优化心理构念表征、个体行为预测和群体响应分布对齐。训练与评测覆盖36个行为域、78项社会科学实验,包含288,30…
前沿论文· 2026-11-18
Jeveration把“System One”式的并行决策范式用于整体图像生成:基于冻结视觉语言模型,在一次前向中同时预测全部图像位置,并以共享随机状态协调构图和风格。它先学习离散…
智能体· 2026-11-18
Game2Player提出环境—玩家共进化框架:Builder改造网页游戏、暴露内部状态并定义带进度度量和成功检查的任务,Coding Player与VLM Player试玩、报错…
前沿论文· 2026-11-18
PACT(Piecewise Adaptation via Chart Transport)面向时序基础模型在工况持续变化下的域增量适配,将冻结嵌入空间划分为局部图表,仅为受影响区…
智能体· 2026-11-18
IDEA针对开放权重GUI智能体“验收测试通过、遇视觉触发器才作恶”的问题,提出逐步、免触发器且免攻击样本的后门检测框架。其核心不是识别固定恶意图案,而是检测指令主导性反转:ICP…
算力架构· 2026-11-18
Exa披露,其面向数百亿至数千亿网页文档的异步嵌入流水线,在AWS Inferentia2与Trainium2上结合Neuron SDK、NKI预置内核与自定义算子,将相对朴素FP…
算力架构· 2026-11-18
Amazon SageMaker HyperPod 新增三项集群韧性能力:EKS 集群可运行 MultiNodeTrainingValidation,以固定 Megatron-LM…