В 1763 г. был направлен Екатериной II на уральские заводы с целью «улаживания отношений» между бунтующими крестьянами и владельцами заводов, а так же для изучения положения горных заводов с экономической стороны.

   Он пользовался в обществе репутацией честного человека и главным образом по этой причине был в 1764 г. назначен на должность генерал-прокурора вместо бравшего взятки А. И. Глебова. Первоначально он вел наблюдение за соблюдением Сенатом законов и деятельностью сенатской канцелярии, а также за продажей соли и вина. Затем, с 1780-х гг., его власть расширилась, и он фактически руководил финансами, юстицией и внутренними делами. В виду важности занимаемой должности императрица собственноручно написала ему инструкцию, в которой заметила, что генерал-прокурор должен пользоваться доверием государыни. Императрица при этом указала ему круг его обязанностей. Благодаря внушенному им доверию он пробыл в назначенной должности почти до самой смерти, не смотря на враждебное отношение к нему со стороны приближенных к императрице лиц.

Деятельность князя была весьма разнообразна и обширна.  Им была введена строгая отчетность в финансовых делах, и он первый стал составлять отчеты о доходах и расходах за год. Автор проекта выпуска бумажных денег (ассигнаций) в России. К концу царствования Екатерины II количество ассигнаций дошло до 157 млн. рублей. Именно они служили источником покрытия государственных расходов. Князь Александр Алексеевич Вяземский иногда подавал голос против увеличения количества ассигнаций, но к его голосу не всегда прислушивались.

     Помимо непосредственной деятельности в финансовом управлении на князя Вяземского возлагались другие обязанности. Так в 1767 г.он  председательствовал в Комиссии по составлению нового Уложения, а в 1775 году в комиссии по учреждению о губерниях.

В сфере судебной деятельности генерал-прокурор был начальником всей канцелярии при шести департаментах сената. Если в общем собрании сената не было единогласия то генерал-прокурор представлял дело государыне и объявлял сенату высочайшую резолюцию. В его канцелярии служили выдающиеся люди того времени: Храповицкий, Васильев, Державин и др.

   В 1789 г. был разбит параличом, не смог принимать участия в делах и в связи с этим был уволен в отставку в 1792 году, за 1 год до смерти, пробыв в должности генерал-прокурора 29 лет.