Józef urodził się ok. 1360 r. przypuszczalnie jako naturalny syn przyszłego bułgarskiego cara, Iwana Szyszmana (1365–1393) i bizantyjskiej księżniczki. Od ok. 1393/1394 metropolita Efezu. Święty Synod wybrał go na urząd patriarszy 21 maja 1416 r.
Jako zwierzchnik Kościoła prawosławnego próbował przywrócić jurysdykcję patriarszą nad niegdysiejszymi terytoriami bizantyjskimi, znajdującymi się pod władaniem Wenecjan, zwłaszcza nad Kretą.
Patriarcha wziął udział w soborze we Florencji (przełom 1438 i 1439 r.), na którym została zawarta unia między Kościołem katolickim i prawosławnym. Józef był, podobnie jak ówczesny cesarz bizantyjski, Jan VIII Paleolog, zwolennikiem unii kościelnej, upatrując w niej sposób na uratowanie upadającego cesarstwa. Na soborze we Florencji, krótko przed swoją śmiercią, Józef uznał prymat papieski w świecie chrześcijańskim.
Wypracowany na soborze tekst unii został podpisany przez 31 przedstawicieli Kościoła wschodniego, jak również przez samego cesarza Jana VIII, jednak sama unia miała w cesarstwie wielu przeciwników i m.in. ze względów doktrynalnych nigdy w praktyce nie została urzeczywistniona. Niedługo po powrocie do Konstantynopola dwie trzecie (21) sygnatariuszy unii wyrzekło się jej, odwołując swe podpisy.
Józef zmarł w trakcie soboru we Florencji, 10 czerwca 1439 r. Jego grób znajduje się w ówczesnym kościele soborowym (bazylika Santa Maria Novella).
