[一]很多同学上来就想搞大创新带了这么多届学生我发现个共性问题就是一上来就想整什么multi-modal fusion、cross-attention啥的高大上东西。然后我就问他baseline跑出来了吗数据都看过了吗十个里面有九个支支吾吾。所以我现在第一步就是让他们先把经典方法跑通比如做检测就先跑个YOLO或者Faster R-CNN 做分割就ResNetUNet这种。跑通了再说创新的事儿。[二]实验记录这块真的是重灾区还有个通病就是不记实验日志全靠脑子记。然后过两天问之前那个版本用的啥参数自己都说不清楚。我现在强制要求用wandb或者tensorboard每次实验必须记录超参、loss曲线、验证集结果。而且要写markdown文档记录每个版本改了啥、为啥改、结果怎么样。说实话这个习惯刚开始挺烦的但后面写论文的时候就知道香了。[三]调参要有章法不能瞎试碰到结果不好就开始疯狂调learning rate、batch size、weight decay改一个参数跑一次完全没有规划。我一般会让他们先固定住大部分参数只调一两个关键的比如先确定learning rate schedule再去动其他的。而且要做对比实验不是说涨点了就行得搞明白为啥涨点。[四]别憋着有问题及时说最怕那种卡住了自己闷头搞一周的学生。debug这种事情有时候旁观者清可能你看半天看不出来的bug别人一眼就发现了。我现在会要求每周至少meeting一次聊聊进度、遇到啥问题。有时候就是讨论的过程中学生自己就把问题想明白了。还有就是学会用github issue和stack overflow很多坑别人都踩过了。我记得有个学生为了一个CUDA 版本兼容问题搞了三天其实官方repo的issue里早就有解决方案了。所以遇到报错先搜一搜不要自己硬刚。想快速写初稿也可以适当去使用IA工具辅助[五]小论文重在完整性不在novelty我一般跟学生说你这个项目能讲一个完整的故事就够了。不需要非得搞什么全新的架构在现有方法上做点改进、解决个具体问题就行。比如针对某个特定场景优化了loss function或者改进了data augmentation策略只要实验证明有效就是好工作。关键是把motivation、method、experiment这条线理顺了让人看完觉得你这个工作make sense。我带过好几个学生就是做了个相对简单的工作但因为故事讲得清楚、实验做得扎实照样发出去了。
