Nie była jednak częścią Generalnego Gubernatorstwa, jedynie miastem peryferyjnym III Rzeszy podlegającym pod utworzoną po klęsce wrześniowej jednostkę administracyjną o nazwie Rejencja ciechanowska wchodzącą w skład Prus Wschodnich. Niemcy rozpoczęli konfiskatę żywności, mebli, futer i metali. Ustalono rygorystyczne i poniżające wobec Polaków zasady. Żydom zamieszkującym Ostrołękę rozkazano opuścić ją w ciągu 2 godzin. Po przyjęciu delegacji żydowskiej przez landrata (starostę) termin przedłużono o 2 dni. Dzięki temu Żydzi opuścili Ostrołękę bezkrwawo.
Większość z nich zginęła jednak później w Treblince i innych obozach koncentracyjnych. Jednak część z nich przetrwała, założyła nawet organizację (Organisation of Imigrants from Ostroleka in Israel).
Kościoły i szkoły polskie były zamieniane na magazyny, warsztaty i fabryki. Wkrótce też część powstawały grupy konspiracyjne. Największą z nich była komórka Komendy Obrońców Polski, na której czele stał dr Adam Kukliński.
Reżim hitlerowski w Ostrołęce skończył się 6 września 1944 r. Po dwudniowych walkach Niemcy opuścili miasto. Do Ostrołęki wkroczyła Armia Czerwona pod dowództwem gen. A. Gorbatowa. Niemcy wycofali się na prawy brzeg Narwi i stamtąd przez 5 miesięcy ostrzeliwali miasto. Wobec tej sytuacji ludność cywilna została ewakuowana jeszcze we wrześniu. Wróciła do miasta dopiero w styczniu 1945 r., kiedy front się oddalił. Po II wojnie światowej zniszczenia Ostrołęki były wielkie, ale nie aż tak duże, jak po I wojnie.
19 września Ostrołęka stała się miastem powiatowym w województwie warszawskim.
Zobacz zdjęcia Ostrołęki do 1945 roku