相传秦始皇建立起历史上第一个统一的中央集权的封建王朝后,妄想长生不老,于是诏示各地,谁能取得长生不老之药,即可封侯禄爵,享尽荣华富贵。当时山东方士徐福上书称东南海上有蓬莱、方、瀛州三座神山,山中神仙可炼出长生之药,但需上千童男童女数年供奉精炼。秦始皇即令全国征集童男童女各500名,备足食粮、布匹和其他生活用品,用数十艘楼船运送去神山兑换神药。
徐福一行于公元前219年夏秋季节从山东下海,赴江浙东南沿海岛屿寻找“神山”。当船队进大目洋时遇东北大风,折西向象山半岛靠岸。朝北眺望,忽见一山形如大象伏地,甚是想象中的蓬莱神山。
当时南庄平原还是一片海洋,船队往北航行至塔山登陆,来蓬莱山实地察访。只见此山四面环海(南临南庄洋,北倚象山港,东面的梅溪、雅林溪和西面的大溪蒋、黄溪等还都是海湾海滩),只有西向有一条小径穿陆,正似悬浮在东海上的一个孤岛。蓬莱山上竹木参天,绿树成荫,鸟语花香,清泉叮当。半山腰的天然石屋洞溢出的透碧泉和村北郭涌出的泉水清凉甘甜,更是制药炼丹的绝妙引方,真像是一个神仙居住的神山仙岛。徐福遂令带来的童男童女搭屋造田,植桑耕种,自己则自立为王,摆聪秦皇朝统治。象鼻山巅蓑衣岩留有一行行形如蝌蚪游动的文字,相传为徐福所刻,记录了寻药炼丹历程。
次年,秦始皇见徐福一去不返,就借到各地巡视为名,南下浙东沿海来寻找,直到明州(今宁波)探究徐福下落。徐福闻讯,急忙携人带粮乘船向东南沿海远逃。船队向南航行时,又遇西南飓风阻击,不由自主地向东北方向行进,经月余海上飘零,到了东瀛(日本)靠岸。徐福见此地与秦朝相隔千万里,可安心居住,遂令童男童女们自由成家立业,后成日本人的先祖。