Он родился 10 февраля 1782 года в слободе Васильевская Тамбовской губернии, в семье крепостного крестьянина, принадлежавшего генерал-майору Н. В. Кретову, и до 22 лет находился в крепостной зависимости. Освободившись, Григорьев поехал в Москву и, выучившись архитектуре, в 1808 году стал служить в Воспитательном доме помощником у Жилярди.

В 1832 году, когда Жилярди уехал в Швейцарию, Григорьев стал архитектором в ведомстве Воспитательного дома, заняв место своего учителя и руководителя. В истории архитектуры Москвы Григорьеву принадлежит особое место мастера, создавшего стилевое единство города при его застройке после пожара 1812 года.

 До наших дней сохранились такие шедевры, созданные А. Г. Григорьевым, как дом Хрущевых-Селезневых (ныне музей А. С. Пушкина на Кропоткинской улице, 122), построенный в 1814 году; дом Лопухина-Станицкой (ныне музей Л. Н. Толстого на той же улице, дом 11), строившийся в течение пяти лет – с 1817 по 1822 год. Уже шестидесятилетним построил Григорьев и собственный дом (ныне ул. Мархлевского, в то время Милютинский переулок, 8), который тоже стал выдающимся памятником русского зодчества. 

В 20-е годы Григорьевым построена церковь Большого Вознесения у Никитских ворот, где в феврале 1831 года произошло венчание А. С. Пушкина и Н. Н. Гончаровой. Среди подмосковных усадеб достойно упоминания имение графов Олсуфьевых – Ершово, расположенное в трех километрах от Одинцова, где Григорьев построил двухэтажный барский дом, а в селе – церковь в классическом стиле. Афанасий Григорьевич Григорьев прожил 64 года и умер в Москве 1 мая 1868 года. Похоронен он был на Калитниковском кладбище.