W 1942 roku małżeństwo przyjęło pod swój dach ośmioro Żydów – rodzinę Goldmanów z Łańcuta i Markowej. Wiosną 1944 roku zostali zadenuncjowani przez granatowego policjanta. Niemcy rozstrzelali Józefa Ulmę, a także jego żonę, będącą w zaawansowanej ciąży, i szóstkę ich dzieci: 8-letnią Stanisławę, 6-letnią Barbarę, 5-letniego Władysława, 4-letniego Franciszka, 3-letniego Antoniego i 1,5-roczną Marię. Razem z nimi zginęli wszyscy ukrywani przez nich Żydzi.
W 1995 roku małżeństwo Ulmów zostało uhonorowane pośmiertnie tytułem Sprawiedliwy wśród Narodów Świata. W 2003 roku rozpoczął się proces beatyfikacyjny rodziny. Z inicjatywy dr. Mateusza Szpytmy, ówczesnego pracownika Oddziału IPN w Krakowie, w 2004 roku odsłonięto w Markowej pomnik, a w latach 2008-2016 zbudowano Muzeum Polaków Ratujących Żydów im. Rodziny Ulmów. Beatyfikacja rodziny ma odbyć się we wrześniu tego roku.
