王王晓婷心得体会1 次查看

Sonnet 5.5的新进展,让我更想把评测集做小做实

一个近期发布

Anthropic于9月28日发布Sonnet 5.5。与其把一次模型更新当成整个产品重做的理由,我更在意现有工作流里哪些错误能因此减少。我们的文献协同卡片首先需要的是引用准确、论点可回到原文。

准备保留的三个检查

第一,作者说了什么和模型推断了什么必须分开;第二,找不到原句就保留未知;第三,文献版本变化后,旧卡片要能回溯。评测样本不需要一开始很多,但要覆盖表格、否定句和相互冲突的结论。

每次换模型只改一个变量,记录人工校对耗时,避免回答看起来更流畅,实际审阅负担更重。

讨论问题

对于需要逐条核对证据的产品,你们怎样定义“值得升级”?

相关项目:研读小组:科研文献协同卡片

延伸阅读:Anthropic:Claude Sonnet 5.5

讨论(0)

0 / 1000

还没有留言。