ที่เกาะสีชังนั้นแต่เดิมมีศาลเทพารักษ์อยู่หลังหนึ่งตั้งอยู่ใต้ต้นมะขามริมถนนหน้าศาลากลาง ศาลแห่งนี้แต่เดิมรกรุงรังดังปรากฏในพระราชนิพนธ์เสด็จประพาสจันทบุรีเมื่อปีพุทธศักราช 2419 ความว่า“มีศาลเจ้าสองห้อง มุงกระดานอยู่หลังหนึ่งแต่ร้างโรเรไป”
     ศาลเทพารักษ์แห่งนี้จะมีงานฉลองเป็นประจำทุกปี มีละคร 3 วัน ประชาชนชาวเกาะพากันมาบวงสรวง มีการกินเลี้ยงกันที่หาดทราย มีการลอยเรือเสียเคราะห์ตามประเพณีชาวเกาะอันเป็นความเชื่อกันมาแต่สมัยโบราณว่าเป็นการป้องกันโรคภัยไข้เจ็บได้