我随便说点有的没的吧,上周我为了恰米,参加了好几个实验被试,其中有两个是AI辅助创作类的。第一个是AI辅助工业设计任务,这个没啥好说的。第二个是AI辅助写作任务,这是一个做交互设计的博士的论文项目,他自己做了一个软件,可以以思维导图的形式排列文本,并且根据AI的参与度将文本块设成不同的颜色,所以你可以很清楚地看到整个思考以及行文过程中AI的占比。我需要根据他给定的主题写一篇文章,其余任何要求都没有。结束之后他问了我几个问题:1. 你觉得这篇文章你的工作占比是多少?为什么你这样认为?2. 我们有一个LLM-as-judge的机制,如果Gemini给你这篇文章打了S级,你觉得你的功劳占多少?如果Gemini给你打了F级,你觉得你的问题占多少?3. 你觉得在你的写作过程中,AI扮演了什么角色?4. 我们的软件里有一个人格分析,你觉得它每个维度的打分合理吗?(维度包括:思考/措辞/组织等等,打分越高表示人的参与度越高)
还有很多问题我想不起来了,其实这些问题还算蛮常规的,不过我觉得依然是有思考价值的