Dzieje warszawskiego Archiwum nieodłącznie związane są z dziejami miasta i władz miejskich. Najnowsze badania wykazują, że zapewne na przełomie XIII i XIV wieku w sąsiedztwie książęcej rezydencji w Jazdowie założono miasto Warszawę. Nie zachował się dokument lokacyjny miasta, jednak istniał on niewątpliwie i to on właśnie był zaczątkiem archiwum stolicy. Najstarszym oryginalnym dokumentem istniejącym do dzisiaj jest przywilej księcia mazowieckiego Janusza Starszego na wybudowanie łaźni w Warszawie wystawiony 26 VII 1376 roku.
Można przypuszczać, że początkowo, zgodnie ze średniowiecznym zwyczajem, najcenniejsze dokumenty warszawskie przechowywane były w solidnie okutych skrzyniach lub skórzanych puzdrach.
Najstarszy znany opis pomieszczeń archiwum miejskiego pochodzi z pierwszego, wydanego w 1643 roku, wierszowanego przewodnika po Warszawie zatytułowanego „Gościniec abo krotkie opisanie Warszawy”. Jego autor, Adam Jarzębski, opisując budynek ratusza wspomina również archiwum, nazywając je zgodnie z ówczesnym zwyczajem skarbnicą.

Przełomową rolę w dziejach Warszawy i jej archiwum odegrało – wniesione do Konstytucji 3 Maja – prawo o miastach („Miasta nasze królewskie wolne w państwach Rzeczypospolitej”) z kwietnia 1791 roku. W kwietniu 1792 roku powołano Archiwum Generalne miasta Warszawy. Nowoutworzona instytucja miała gromadzić wszystkie akta jednostek administracyjnych wchodzących w skład wielkiej Warszawy. Na czele Archiwum stanął archiwista generalny, Hipolit Lemański.
Akcja gromadzenia akt przebiegała szybko, lecz została przerwana po zwycięstwie konfederacji targowickiej. Już w połowie września 1792 roku jurydyki odbierały swą dokumentację. Zatem jedynie przez kilka miesięcy istniało Archiwum Generalne miasta Warszawy i urząd archiwisty generalnego.

Przełomowy był rok 1935, w którym na „kierownika organizacji archiwów miejskich” powołano pracownika Wojskowego Biura Historycznego, majora Adama W. Englerta. Nowy dyrektor, dzięki życzliwemu poparciu ówczesnego prezydenta Warszawy, Stefana Starzyńskiego, przejął i adaptował na cele archiwalne budynek dawnego Arsenału, przy ul. Długiej 52. Uroczyste otwarcie nowej siedziby odbyło się 29 listopada 1938 roku a Archiwum Miejskie uzyskało wreszcie godny swej rangi budynek, w którym miały być scalone wszystkie historyczne akta Warszawy.
Niestety, zamierzeniom tym przeszkodził wybuch wojny. Zasób archiwalny przetrwał oblężenie miasta i okres okupacji. Jednak najcięższe chwile przyszły podczas Powstania Warszawskiego. Pomimo bardzo zaciętych walk, zdołano ogromną część zasobu uratować. Niestety nie na długo. Już po ustaniu walk, 4 listopada 1944 roku, specjalne niemieckie oddziały niszczycielskie, z premedytacją i metodycznie spaliły doszczętnie materiały archiwalne przechowywane w Arsenale.

Ulica Krzywe Kolo 3-11, 1:500

Po wyzwoleniu Warszawy, już w kwietniu 1945 roku, decyzją prezydenta Warszawy reaktywowano Archiwum Miejskie. Początkowo mieściło się ono w kilku pokojach przy Marszałkowskiej 8. W roku 1955 Archiwum otrzymało odbudowane ze zniszczeń wojennych trzy staromiejskie kamienice (Krzywe Koło 7 i 9, Nowomiejska 12), które już przez ponad pół wieku stanowią jego główną siedzibę. W czerwcu 1951 roku, na mocy rozporządzenia premiera, Archiwum Miejskie zostało włączone w ogólną strukturę archiwów państwowych i otrzymało nazwę Wojewódzkego Archiwum Państwowego. Zmienił się także znacznie zakres działania, bo oprócz Warszawy, pod jego nadzorem znalazło się całe województwo stołeczne. W 1975 r. doszło do kolejnej zmiany nazwy archiwum na: Archiwum Państwowe m.st. Warszawy, związanej z nowym podziałem administracyjnym kraju.

Od 7 października 2013 r. Archiwum Państwowe m.st. Warszawy nosi nazwę Archiwum Państwowe w Warszawie. W jego skład wchodzą oddziały zamiejscowe w: Grodzisku Mazowieckim, Łowiczu, Mławie, Otwocku, Pułtusku i Oddział Dokumentacji Osobowej i Płacowej w Milanówku oraz ekspozytura w Nidzicy. W roku 2017 ekspozytura w Nidzicy została zlikwidowana.

Obecnie swoim zakresem działania Archiwum obejmuje część województwa mazowieckiego, łódzkiego i warmińsko-mazurskiego, a w zakresie realizacji zadań wynikających z art. 51 u ust. 3 Ustawy z dnia 14 lipca 1983 r. o narodowym zasobie archiwalnym i archiwach, obszar całego Państwa.