據古老流傳之故事，烏鬼洞往昔曾發生一段黑奴血淚史：由於琉球嶼與呂宋島遙遙相對，來往其間之船隻為避風浪，常於島邊拋錨停泊（該洞北方蛤板外海有錨泊地），該洞之黑奴則於黑夜，潛行海中，以鏢器把船底穿洞，待船員發覺時，船已入水，載重輪船就此沈沒，烏鬼即將船上物件、食品悉數搬運一空。後來由於沈船事件屢次發生，引起航海船隻之注意，經過調查，始悉烏鬼所為，遂另擇地登陸搜查巢窟，乘黑夜之際，將柴草堆積洞外，引火焚燒，烏鬼盡死洞中，屍體骨灰無數，從此沈船事件即鮮有發生。