「大規模言語モデルにおける幻覚緩和のための単語確率の外挿」と題する発表を行い（発表者 何昀臻），リクルート賞を受賞しました．大規模言語モデルのニューラルネットで用いられるトランスフォーマーには多数の層があり，入力層から出力層にむけて単語の情報表現が変換されていきます．これを時系列と解釈して外挿し仮想的に層を追加したときの出力層を予測するアプローチを本研究で提案しました．素朴なアイデアですが言語モデルの性能が向上することを実験的に示しています．
大規模言語モデルにおける幻覚緩和のための単語確率の外挿
何昀臻, 高瀬侑亮, 石橋陽一 (京大), 下平英寿 (京大/理研)
言語処理学会のサイト https://www.anlp.jp/nlp2024/award.html