最近工作中需要prompt调优,在疯狂学习怎么写prompt。调优经历太让人痛苦了,简单讲讲最近的学习和尝试。
仔细读还是挺有意思的,比如角色为什么起作用,是因为角色内部预设了一些隐含语义。也就意味着,如果这个角色在LLM的训练集中出现频率不高,提升可能就不大。
又比如,那个对prompt框架的评价,挺契合我的想法的。我一直觉得prompt的核心就像讲话,把事情讲清楚是重点。
但是很多人讲不清楚事情,所以prompt框架的意义在于,提供预设的角度,帮人梳理怎么去结构化表达一件事情。
以及,他说的,在把prompt写复杂后,尽可能压缩的路子,感觉也有道理。
最近在做的是让LLM给文本打分。
发现指标不好,可能是行业专家的脑子里的 和 prompt相差太大。所以我让行业专家重新整理出一份中间产物。
【行业专家脑海知识】→【行业专家给出的纸面打分标准】→【Prompt】。