Oddział mławski archiwum powołany został 21 lipca 1950 roku jako oddział powiatowy Archiwum Akt Nowych w Warszawie. Terytorialny zasięg działania objął powiaty ciechanowski, mławski i przasnyski. Na siedzibę przeznaczono poniemiecki barak przy ulicy Narutowicza 1. Rozpoczęcie działalności nastąpiło z dniem 15 listopada roku 1950. Gromadzone w pierwszym etapie działalności materiały źródłowe pochodziły z XIX i XX wieku, których wytwórcą były urzędy, sądy, banki, organizacje społeczne, polityczne i zawodowe oraz fabryki i przedsiębiorstwa.
W roku 1952 oddział przejęty zostaje przez powołane wówczas Wojewódzkie Archiwum Państwowe w Warszawie pod zmienioną już nazwą Powiatowe Archiwum Państwowe w Mławie.
Pierwsza zmiana terytorialnego zasięgu działania nastąpiła w roku 1956, kiedy przyłączono powołany wtedy powiat żuromiński.
Na początku lat sześćdziesiątych istotnej zmianie uległa sytuacja lokalowa wskutek pozyskania części pomieszczeń w budynku dawnego więzienia na ulicy Narutowicza 3, znajdujących się na jego poddaszu.
Kolejne poszerzenie terenu działania o powiat makowsko-mazowiecki miało miejsce w roku 1966.
Bardzo istotne zmiany organizacyjne i terytorialnego zakresu działania nastąpiły w roku 1976. Przekształcono nazwę oddziału na Archiwum Państwowe m.st. Warszawy Oddział w Mławie. Obszar działania objął południową część utworzonego w 1975 roku b. województwa ciechanowskiego, tzn. b. powiaty ciechanowski, mławski, płoński, pułtuski poza miastem i gminą Pułtusk oraz miasto Mława. Przekazano do oddziałów APW w Działdowie i Pułtusku około 50% zasobu.
Ogromne znaczenie dla sytuacji lokalowej miało przekazanie w roku 1991 decyzją Rady Miasta Mławy całego budynku powięziennego dla archiwum. Stworzyło bowiem możliwości podjęcia dziesięć lat później remontu kapitalnego i adaptacji do potrzeb placówki archiwalnej.
Likwidacja w roku 1997 oddziału działdowskiego APW, spowodowała przekazanie do Mławy zarówno zasobu jak również terenu działania. Ukształtował się wówczas obowiązujący dotąd zasięg terytorialnego działania na obszar całego b. województwa ciechanowskiego z wyjątkiem miasta i gminy Pułtusk. Po likwidacji województwa i przywróceniu powiatów z dniem 1 stycznia 1999 roku są to powiaty: ciechanowski, działdowski, mławski, płoński i żuromiński.
Aktualny zasięg działania Oddziału w Mławie to miasta: Ciechanów, Działdowo, Lidzbark, Mława, Płońsk, Raciąż oraz gminy: Baboszewo, Bieżuń, Ciechanów, Czernice Borowe, Działdowo, Dzierzążnia, Dzierzgowo, Glinojeck, Gołymin-Ośrodek, Grudusk, Iłowo-Osada, Joniec, Krasne, Kuczbork-Osada, Lidzbark, Lipowiec Kościelny, Lubowidz, Lutocin, Naruszewo, Nowe Miasto, Ojrzeń, Opinogóra Górna, Płońsk, Płośnica, Raciąż, Radzanów, Regimin, Rybno, Siemiątkowo Koziebrodzkie, Sochocin, Sońsk, Strzegowo, Stupsk, Szreńsk, Szydłowo, Wieczfnia Kościelna, Załuski, Wiśniewo, Żuromin.