Josef Rabinowitz war einer der externen Schüler, die die Kissinger Realschule besuchten. Er kam am 3. Dezember 1905 in Frankfurt/Main als Sohn von Shmaryahu Schmerl Rabinowitz und dessen Frau Pessel geb. Zweber zur Welt. Seine Eltern waren in Jerusalem geboren worden, das damals zum Osmanischen Reich gehörte, und lebten dort in einem europäisch geprägten Umfeld. Die Familie gehörte zum „Alten Jischuw“, der vielleicht 20.000 Seelen zählenden frühen, vorzionistischen Besiedlung in Palästina, meist orthodoxen Juden, die in den Städten Safed, Tiberias, Hebron und Jerusalem lebten. Josefs Vater, dessen Vorfahren aus Litauen stammten, war Weinhändler und die Mutter stammte aus einer ungarischen Gelehrtenfamilie.  

Um die Jahrhundertwende verließ Familie Rabinowitz Palästina und zog nach Frankfurt/Main, weil Vater Schmerl das Klima nicht vertrug. In Frankfurt betrieb Josefs Vater ein Importgeschäft mit koscheren „Palästina-Weinen“ und „feinen alten Cognacs“.

Josef Rabinowitz zog im April 1918 nach Bad Kissingen und besuchte kurze Zeit die Kissinger Realschule, kehrte aber bereits im November wieder nach Frankfurt zurück. Er wohnte in der Maxstraße 10, wie auch sein Bruder Baruch, der als Lehrer tätig war und sich zur gleichen Zeit in der fränkischen Kurstadt aufhielt. In den Sommermonaten 1919 wohnte dann ihr älterer Bruder Jakob in Bad Kissingen und arbeitete als Hauslehrer im Hotel Ehrenreich in der Theresienstraße.

Josef Rabinowitz lebte später in Hamburg/Altona und wurde wie seine älteren Brüder Baruch und Jakob Lehrer. Er war dort an der Israelitischen Gemeinde- und Religionsschule der "Hochdeutschen Israeliten-Gemeinde zu Altona" als Religionslehrer tätig. Im Februar 1935 emigrierte er nach Palästina und heiratete dort im August 1945 Thea Rosenthal, die 1910 in Berlin geboren war, später in Hamburg lebte und während der NS-Zeit nach England emigrieren konnte.

1963 reiste das Ehepaar nach Brasilien, wohin Theas Eltern und ihr Bruder während der NS-Zeit emigriert waren. In den 1960er Jahren wohnten beide mehrmals zeitweilig in Zürich, kehrten jedoch im April 1971 wieder nach Israel zurück.

Josef Rabinowitz starb in Israel, das Todesdatum ist nicht bekannt.

Sein Bruder Jakob war ebenfalls nach Palästina emigriert und sein Bruder Baruch, der auch kurze Zeit in Bad Kissingen gelebt hatte, war bereits in den 1920er Jahren nach Palästina ausgewandert.