Архитектурная идея Росси при подготовке проекта строительства нового библиотечного здания состояла в сохранении корпуса Соколова и включении его в общую композицию. При этом сохранялось членение по горизонтали, полуциркульные и прямоугольные окна, использованы тот же ордер и основные декоративные элементы. Такое решение обеспечивало органическое единство обоих строений. В решение фасада и других частей первого библиотечного здания (Соколова) Росси внес некоторые изменения, касающиеся главным образом отдельных деталей. Основной объем был сохранен.
"Этот пример архитектурного такта и дисциплинированности остается непревзойденным в истории архитектуры", — писала исследовательница творчества Росси М. 3. Тарановская.
Новым и характерным для архитектуры 1820-х — 1830-х гг. стало органическое сочетание архитектурного и скульптурного убранства, что придавало зданию особую выразительность. Основой композиционного решения фасада Росси служила колоннада ионического ордера, приподнятая, как и у Соколова, на массивный рустованный нижний этаж. Окна и ниши верхнего этажа были заделаны, а на их месте помещен скульптурный фриз. В дворовом фасаде вместо колонн в центральной части использованы пилястры. Фасад, обращенный к площади, завершает единый аттик. Дворовый фасад Соколова сохранен полностью.
В своем решении библиотечного здания Росси учел не только эстетические, но и — в какой-то мере — функциональные требования, предъявляемые к такого рода учреждениям. Для этого необходимы были прежде всего обширные, не загроможденные колоннами или пилонами залы и удобные проходы к шкафам. Архитектор поместил на втором этаже два двусветных зала; деревянные винтовые лестницы вели на галерею верхнего этажа.
Ф. Н. Пащенко, специально занимавшийся отечественной библиотечной архитектурой, чрезвычайно высоко оценил решение внутренних помещений как с художественной стороны, так и с точки зрения возможной для того времени функциональности. Он писал, что они "составляют один из лучших в мире образцов библиотечных зал. Высокие, светлые, просторные, с легкими галереями вдоль уставленных шкафами стен эти залы производят чарующее впечатление, тем более, что корешки книг, стоящих в открытых шкафах, превосходно использованы как элемент художественного оформления ... Росси создал образцовый тип здания для помещения в нем библиотеки-музея, библиотеки, предназначенной не только для чтения, но и для обозрения книжных сокровищ, прогулки по Библиотеке, ознакомления с ее богатствами". По предложению А. Ф. Щедрина в отопительной системе Библиотеки были смонтированы духовые печи, водопровод и канализация — новшество для того времени. Так осуществлялось требование директора Библиотеки Оленина создать "надлежащую теплоту и чистый ровный воздух как для лучшего сбережения драгоценных рукописей и печатных книг, так и для самого здоровья служащих в Библиотеке чиновников и занимающихся в оной посетителей".Это требование — свидетельство, что уже на том этапе истории Библиотеки думали о "микроэкологии", о нуждах тех, кто находится там многие часы по долгу службы или приходит в нее как в "храм науки".
Залы