Oddział mławski archiwum powołany został 21 lipca 1950 roku jako oddział powiatowy Archiwum Akt Nowych w Warszawie. Terytorialny zasięg działania objął powiaty ciechanowski, mławski i przasnyski. Na siedzibę przeznaczono poniemiecki barak przy ulicy Narutowicza 1. Rozpoczęcie działalności nastąpiło z dniem 15 listopada roku 1950.

Gromadzone w pierwszym etapie działalności materiały źródłowe pochodziły z XIX i XX wieku, których wytwórcą były urzędy, sądy, banki, organizacje społeczne, polityczne i zawodowe oraz fabryki i przedsiębiorstwa.
W roku 1952 oddział przejęty zostaje przez powołane wówczas Wojewódzkie Archiwum Państwowe w Warszawie pod zmienioną już nazwą Powiatowe Archiwum Państwowe w Mławie.

Pierwsza zmiana terytorialnego zasięgu działania nastąpiła w roku 1956, kiedy przyłączono powołany wtedy powiat żuromiński.

Na początku lat sześćdziesiątych istotnej zmianie uległa sytuacja lokalowa wskutek pozyskania części pomieszczeń w budynku dawnego więzienia na ulicy Narutowicza 3, znajdujących się na jego poddaszu.
Kolejne poszerzenie terenu działania o powiat makowsko-mazowiecki miało miejsce w roku 1966.

Bardzo istotne zmiany organizacyjne i terytorialnego zakresu działania nastąpiły w roku 1976. Przekształcono nazwę oddziału na Archiwum Państwowe m.st. Warszawy Oddział w Mławie. Obszar działania objął południową część utworzonego w 1975 roku b. województwa ciechanowskiego, tzn. b. powiaty ciechanowski, mławski, płoński, pułtuski poza miastem i gminą Pułtusk oraz miasto Mława. Przekazano do oddziałów APW w Działdowie i Pułtusku około 50% zasobu.