Dicen que entre los pasillos y celdas del antiguo vivac de Santiago de Cuba habitan los fantasmas como recuerdo indeleble de las historias de horror que sucedieron en la que fuera la Real Cárcel de Oriente.
Procedente de todo el oriente del país llegaban personas en cordillera, amarrados, y eran lanzados como animales en las diferentes galeras de este lugar; los enfermos mentales, más los esclavos capturados en el cimarronaje, vivían en total hacinamiento; se cuenta, además, que en el antiguo Vivac existieron celdas de castigo, llamadas bartolinas, donde se veían los horrores más innombrables; desde esa edificación también se escuchaban los gritos de espanto cuando ejecutaban a los asesinos en el garrote vil, una especie de silla para estrangular.

En todo el mundo se cuentan historias de fantasmas en edificios y casi siempre dichas anécdotas se asocian a sucesos de horror y espanto, a hechos de violencia y dolor, y muy frecuente también a asesinatos, por eso no es de locos suponer que el Vivac, de Santiago de Cuba –tal y como también pasa con la antigua Casa de Diego Velázquez–, se narren sucesos de avistamientos de espíritus.
Según la tradición oral, por ejemplo, se plantea de personas que han entrado al antiguo Vivac, en el centro histórico de la ciudad, y han sentido vibraciones, energías, que no son de este mundo.

Un día un trabajador de la campaña, un fumigador, entró a un local, antigua celda, y dijo sentir una gran cantidad de gritos de dolor, de muchas personas sufriendo al unísono, llorando, y preguntó que cómo podían las personas trabajar ahí con semejante bulla. Dicho operario, según se cuenta, solicitó trabajar en otra zona de la urbe, y nunca más entró ahí…

También se dice que una custodio, de guardia una noche en la recepción, de pronto vio un hombre vestido de blanco que aparecía por un lateral, saliendo de una escalera, y le decía que quería tener sexo con ella, aunque la palabra que empleó no era precisamente esa, sino la expresión más vulgar de todas.
Ella le respondió, como haría cualquier persona en su caso, con cualquier cantidad de improperios, y cuentan allegados y trabajadores del sitio –cuando era la sede del Archivo Histórico Provincial de Santiago de Cuba–que desde el día siguiente le colocaba velas… nunca más lo vio.
Lo curioso de este caso es que los reclusos, durante los años 20 y 30 del pasado siglo, lo vestían de blanco cuando lo conducían al garrote vil, y según la custodio el señor, blanco en canas, llevaba justamente esa vestimenta.
Una tercera historia cuenta de un trabajador de seguridad que, mandado a custodiar por primera vez los bienes del Vivac, dicen que apenas llegó sintió el dolor y sufrimiento de los fantasmas. Se cuenta que esa noche hizo la guardia entera desde la acera de enfrente, y que nunca más trabajó ahí.

Ubicado en la calle Aguilera, conocida antes como Marina, y sobre el terreno de la Antigua iglesia de Santa Catalina, considerada la primera construida en la ciudad, la Real Cárcel de Oriente se inauguró en 1845.
En cualquier referencia a la historia del Vivac, no se deja de mencionar que que en este recinto penal estuvieron confinados personalidades de la historia y la cultura cubana: Perucho Figueredo, autor del Himno Nacional, Emilio Bacardí Moreau, primer alcalde de la urbe en su período republicano.

Ya en el siglo XX, muchos jóvenes guardaron presidio ahí, algunos como Frank País García, también los asaltantes al Cuartel Moncada, estuvieron en sus calabozos.
Hasta hace muy poco tiempo, el Vivac fue sede del Archivo Histórico Provincial de Santiago de Cuba, y Sede de la Oficina del Historiador de la Ciudad.
Por sus valores históricos y arquitectónicos, fue declarado Monumento Nacional en 1998.