Ngày xưa, vịnh này gọi là Vũng Găng. Ở đây, có một chàng ngư phủ tên Vĩnh Hy. Trong những đêm trăng thanh gió mát, chàng trông thấy một nàng tiên có đôi cánh trắng đến tắm ở đây. Một hôm, chàng nhẹ nhàng bơi đến bên nàng tiên, hai người kết tóc xe duyên, sống hạnh phúc trên Vũng Găng. Một hôm tối trời, chàng ngư phủ dong thuyền đi đánh cá ở vùng đá vách thì trời nổi cơn thịnh nộ. Giông tố, sóng gió kéo đến. Nàng tiên ở nhà, không thấy chồng về, lên đỉnh Núi Chúa mòn mỏi trông tin chồng. Dòng nước mắt của nàng tuôn xuống thành suối Lồ Ồ, chảy cho đến bây giờ. Cũng từ đó, Vũng Găng được gọi là vịnh Vĩnh Hy.