Chí Hòa chỉ có một cửa vào nên người ta gọi đó là "cửa tử". Qua cửa này là hệ thống đường hầm thiết kế theo cung vị, nếu không được hướng dẫn, người đi vào sẽ bị mất phương hướng, giống như lọt vào một mê cung, không thể tự tìm đường ra được. Nhà tù được xây dựng để nhốt những người Việt Nam yêu nước chống lại chính quyền xâm lăng Nhật, Pháp nên có rất nhiều tù nhân đã chết oan ức hay bị nhục hình bỏ mạng khi bị giam giữ ở đây. Thời cộng sản chiếm miền Nam, nó là nơi kinh hoàng, chết chóc cho những người thua cuộc miền Nam. Oán khí ở nơi đây ngất trời trong thời gian này vì người chết quá nhiều, hơn hẳn trong cả hai thời kỳ Pháp, Nhật chiếm nước ta.