“九姓渔民”又称“九姓渔户”，其九姓为陈、钱、林、李、袁、孙、叶、许、何。关于他们的来历，在当地流传较广的有三种说法。一说他们的祖先是陈友谅的部属，明初抗师，后来朱元璋做了皇帝，把他们贬为渔户，不准其上岸居住，不准与岸上居民通婚，不准读书应试，不准穿鞋上岸，还要应召服役。范宗《越谚》云：“相传陈友谅部曲共九姓，明太祖锢元，不齿诸民，故其子孙无寸土，惟船于家，男作船户，女多流娼……”《南浦秋录》又说：“又有所谓江山船者，其户皆隶于建德，亦曰建德船，世言陈友谅既败于鄱阳湖，其党九人，逃之睦、杭间，操舟为业，其裔乃流落为妓，今九姓自为族类”。梅城耆宿倪孜耕先生曾在船民中收集到一首渔歌：“老子严江七十翁，年年江上住船篷，早年打败朱洪武，五百年前真威风”。可见他们自己也承认是陈友谅部属的后代。第二种传说是陈友谅兵败鄱阳湖后，其溃散兵丁，多数散落在湖区定居，其中部分骨干携带眷属东逃，翻山越岭，沿赣东北的“茶叶之路”，即九江——景德镇——浮梁县——祁县之古驿道，再往北经黟县、休宁至屯溪，来到新安江边。这些多数为渔民出身的逃难者，见到清澈的江水，遂为之所吸引，便顺江而下，在渔货最丰的严州“三江口”定居下来。后来官府查明了这些人的来历，上报朝廷，朱元璋恐其反明，即下旨将他们逐入渔舟，贬为贱民，所禁则与第一种传说相同。第三种传说，则谓他们为宋亡国大夫遗族，因爱严陵山水，带着眷属避世而来。他们不肯舍舟就陆，犹是学着伯夷叔齐薇蕨首阳的故事，以明不践元土。因之专以捕鱼度日，两桨一舟，自成眷属，不与当地居民通婚。然因他们原来都是世家后裔，平日娇生惯养，所以除了浅吟低唱以外，就没有其他的擅长了，日久天长，谋生乏术，只好靠着歌喉，卖唱度日。故俗称“九姓渔户”，亦曰“交白船”，谓其只能艳歌一曲，清谈娓娓，助人兴味而已。康熙皇帝南巡到严州，曾吟过这样两首诗：“岸芳春色晓，松影夕阳微，寥寥深烟里，渔舟夜不归”；“绿江深见底，高浪直翻空，惯是江边住，舟轻不畏风”。年长日久，度日维艰，便由卖唱变为卖身。

　　此外还有一种传说，见于1934年6月由上海时代图书公司出版，周天放、叶浅予先生所著的《富春江游览志》，其所载为：“相传当元主宰割华夏，此九姓助虐压迫汉人，为明太祖所罚，使其世代操此贱业，常泊严子滩头，故名严州九姓渔船。”此种传说，我国已故著名文艺评论家、戏剧史专家戴不凡先生在研究、记述建德地方戏剧的发展时曾有述及。另外，周天放、叶浅予先生所著的《富春江游览志》所载之九姓为孙、陈、叶、许、钱、项、卢、赵、朱，九姓中有四个姓和前述的不同。今特列此存疑，以备来者研究。

　　曾在清代任过严州知府的戴槃在其所著的《严郡九姓渔船考·裁严郡九姓渔课并令改贱为良碑记》中写道：“严郡建德县之渔课，始自明洪武年间，九姓则陈、钱、林、李、袁、孙、叶、许、何。相传陈友谅明初抗师，子孙九族家属贬入舟居，使其身为贱业，几无异于校坊之设也。由明至今数百年来，渔课照完，舟中所居之妇女，名为眷属，实则官妓。近数十年来，船只名为‘江山’，各县购买妇女作眷属，以此营生。船以奉官为名，官吏既征钱粮，即有不能禁止之势。渔课虽征银无多，而胥役之在外浮收需索，曾不知加增几位？今欲禁‘江山’船之妇女，则必裁建德县之渔课，余乃为之请于督宪，将九姓渔户课钞，永远裁革，于国课无损，于人心有益，并准九姓改贱为良”。戴槃在清同治五年（1866）立“裁严郡九姓渔课并令改贱为良碑”于梅城南门外的码头上，距今已有157年。从碑记的内容可知，建德“九姓渔民”的姓氏为陈、钱、林、李、袁、孙、叶、许、何，其“贱民”的身份始自明洪武年间，“改良”于清同治五年，其先祖为明初抗师的陈友谅部属及其子孙家属。因此，笔者认为前述的第一、二种传说是较为可信的。建德旅游局曾有人经过考察，发现今江西鄱阳湖渔区许多渔民的姓氏与建德九姓渔民相同，其习俗也有惊人的相似，似可认为两地渔民有着共同的祖先。