Evaluating Large Language Models for Stance Detection on Financial Targets from SEC Filing Report...

一、文章主要内容总结本文聚焦金融领域特定目标（债务、每股收益EPS、销售额）的句子级立场检测任务，核心围绕“利用大型语言模型（LLMs）解决金融文本立场分析中数据标注成本高、文本复杂的问题”展开研究：数据构建：从美国SEC的10-K年报（聚焦MDA章节）和季度 earnings call transcripts（ECT）中提取句子，筛选出与债务、EPS、销售额相关的内容，通过ChatGPT-o3-pro标注立场（积极/消极/中性）并经人类验证（一致性超97%），构建了 sentence-level 语料库（含训练集和测试集，覆盖两家不同市值同行业公司2020-2024年数据）。模型与实验设计：选取4个LLMs（开源的Llama3.3、Gemma3-27B、Mistral3 Small，以及闭源的GPT-4.1-Mini），设计零样本、少样本（含随机采样和语义相似采样）、思维链（CoT）三种提示策略，并结合“无上下文、完整上下文、摘要上下文”三种语境设置，系统评估模型在SEC和ECT两个数据集上的表现。核心发现：少样本结合CoT提示策略表现最优，显著优于有监督基线和无CoT的提示方式；选择与测试样本语义相似的少样本示例，比随机选择能提升模型准确率（平均提升2%-2.24%）；上下文（完整或摘要形式）对部分模型（如GPT-4.1-Mini、Gemma3-27B）的零样本表现有正向影响，但少样本场景下上下文作用减弱；模型在ECT数