В соответствии с распоряжением Совета Министров Казахской ССР № 442-р от 2 октября 1981 года, приказом Главного архивного управления Казахской ССР от 3 декабря 1981 года № 95 и решением Алма-Атинского горисполкома № 3/51 от 29 января 1982 года был образован Центральный государственный архив (ЦГА) города Алма-Ата, которому выделено помещение 188 кв.м. в жилом доме по улице Комсомольской, 134.
Структура архива на момент создания состояла из следующих подразделений: руководство, группа контроля над ведомственными архивами, группа обеспечения сохранности и учета документов, группа использования и научно-справочного аппарата, справочный стол, бухгалтерия.
166 документальных фондов организаций городского значения, переданных в ЦГА из архива Алма-Атинской области насчитывали 100248 единиц хранения.
Для проведения единой государственной политики в области документирования, управления документацией и организации сохранности документов на ведомственном хранении, был создан отдел комплектования и контроля над ведомственными архивами. 2 августа 1982 года в архиве была создана Экспертно-проверочная комиссия (ЭПК).
По решению Главы Алма-Атинской городской администрации №335 от 11 августа 1992 года были образованы и вошли в состав ЦГА Ауэзовский Ленинский, Фрунзенский районные архивы. 1 июля 1994 года образованы Калининский и Алатауский районные архивы. Алатауский был упразднен в 1997 году в связи с реорганизацией района.
Совместным решением VIII сессии Алматинского городского Маслихата и Акима г.Алматы от 12 декабря 1995 года Калининский район переименован в Бостандыкский, Фрунзенский в Медеуский, Ленинский в Жетысусский, Октябрьский в Турксибский. Соответственно произошли изменения в наименовании районных архивов.
В 1998 году Центральный государственный архив города был передислоцирован в здание бывшего детского сада общей площадью 2230 кв.м. и стеллажной протяженностью 4458, 04 погонных метров. На первое полугодие 1999 года в архиве насчитывалось 279 фондов с 177862 единицами хранения.
С момента образования архив неоднократно претерпевал структурные изменения. Менялась и ведомственная подчиненность. 11 марта 2002 года постановлением Акимата г.Алматы № 2/150 было создано Управление архивов и документации г.Алматы, осуществляющее в пределах своей компетенции исполнительные и контрольные функции в области архивного дела на территории города.
В 2002 году были открыты еще два районных архива: Алмалинский и Турксибский.
За время деятельности архивохранилища Центрального государственного архива города Алматы и шести районных архивов заполнились на 120% , здания архивов, входящих в структуру ЦГА были приспособлены под архивохранилища, не выдерживался оптимальный температурно-влажностный режим хранения документов.
С целью разрешения этих проблем специалистами архивной службы города была разработана отраслевая региональная программа «Развитие архивного дела Алматы на 2006-2010 годы», которая была утверждена решением Маслихата г. Алматы. В числе приоритета программы было предусмотрено строительство в селитебной зоне города специализированного здания архива.
В декабре 2011 года городская архивная служба была переведена в ведение Управления по развитию языков, архивов и документации г.Алматы. В это же время сдано в эксплуатацию новое здание Центрального государственного архива города Алматы, хранилища которого рассчитаны на 5000000 единиц хранения. Общая площадь архивохранилищ – 7564 кв.м., протяженность стеллажных полок 23916 погонных метров.
Здание оснащено новейшим оборудованием, современными мобильными стеллажами, системами: охранной и пожарной сигнализации, видеонаблюдения, климат-контроля, электронными ключами. Кабинеты работников компьютеризированы и объединены в локальную сеть.
24 мая 2012 года приказом Управления по развитию языков, архивов и документации г.Алматы было осуществлено объединение районных архивов в единую систему Коммунального государственного учреждения «Центральный государственный архив г.Алматы» в целях повышения эффективности, доступности и качества исполнения государственных услуг.
В 2016 году вновь меняется ведомственная подчиненность архива. Согласно Решению Акима города Алматы от 19 июля 2016 года № 3/331, архив стал именоваться КГУ «Центральный государственный архив г.Алматы» Управления культуры и архивов г.Алматы.
Решением Акима г.Алматы № 3/384 от 13 августа 2018 года Центральный государственный архив переименован в КГУ «Государственный архив г.Алматы» Управления культуры и архивов г.Алматы, а на основании решения Акима г.Алматы № 1/141 от 28 февраля 2019 года — КГУ « Государственный архив г.Алматы» Управления культуры города Алматы.
В настоящее время архив представляет собой современно оборудованный комплекс, выполняющий основные задачи в сфере информационно-архивного обеспечения органов исполнительной власти и общества. Архив обеспечивает не только сохранность, но и использование архивных документов Национального Архивного Фонда Республики Казахстан в городе Алматы. На государственное хранение принято 1844 фонда, 1185857единиц хранения. Пополнение Национального архивного фонда по г.Алматы идет из 339 источников комплектования Государственного архива.