Sonnet 5.5的新进展,让我更想把评测集做小做实
一个近期发布
Anthropic于9月28日发布Sonnet 5.5。与其把一次模型更新当成整个产品重做的理由,我更在意现有工作流里哪些错误能因此减少。我们的文献协同卡片首先需要的是引用准确、论点可回到原文。
准备保留的三个检查
第一,作者说了什么和模型推断了什么必须分开;第二,找不到原句就保留未知;第三,文献版本变化后,旧卡片要能回溯。评测样本不需要一开始很多,但要覆盖表格、否定句和相互冲突的结论。
每次换模型只改一个变量,记录人工校对耗时,避免回答看起来更流畅,实际审阅负担更重。
讨论问题
对于需要逐条核对证据的产品,你们怎样定义“值得升级”?