Шварц родился в Курске в семье генерала.
Семья эта заслуживает самого почтительного внимания. Ее глава, Григорий Ефимович Шварц, происходил из скандинавского рода. Военный, участник войны 1812 года, он оказался большим любителем искусства и собрал коллекцию очень хороших произведений. Коллекционерами были и двоюродный брат, и сыновья, Вячеслав (старший) и Евгений. Кстати, именно как владелец крупных коллекций Евгений Григорьевич был избран действительным членом императорской Академии художеств, в то время как Вячеслав Григорьевич, признанный живописец, довольствовался в ней званием почетного вольного общника.
Шварцы владели имением в селе Белый Колодезь Щигровского уезда (теперь это Колпнинский район Орловской области) и фамильным домом в Курске. Дом, в котором в 1838 году родился будущий художник, предполагается, стоял на месте нынешней 18-й школы.
Шварц был образованнейшим человеком. Он окончил Царскосельский лицей, учился в Петербургском университете на факультете восточных языков и одновременно посещал Академию художеств. Он служил чиновником кавказского комитета и как достойный представитель своего рода занимался общественной деятельностью: был комиссаром на выставке в Париже, избирался предводителем уездного дворянства.

Как художник, Шварц стал первооткрывателем многих тем и сюжетов в русской исторической живописи. Он обладатель Большой и Малой серебряных медалей Академии художеств, его произведения находятся в постоянных экспозициях Третьяковской галереи, Русского музея, провинциальных собраниях. Другое дело, что наследие художника не очень велико, Вячеслав Григорьевич прожил всего 31 год и успел написать немного.
В собрании Курской картинной галереи хранится самый большой пласт его наследия. Правда, здесь нет ни одной известной картины Шварца. Курское собрание – это как бы домашний архив этюдов, написанных художником с натуры.
Давно нет ни дома, где родился будущий живописец, ни Флоровской церкви, в которой его крестили. Неузнаваемо перестроен дом курского губернатора Жедринского – в нем Шварц умер в 1869 году.
Художник похоронен в Белом Колодезе в усыпальнице церкви, выстроенной его братом. После 1917 года церковь превратили в клуб и столовую, саркофаги с останками усопших убрали, и неизвестно, где нашли они последний приют. Но с недавних пор, по счастью, появилась возможность поклониться памяти художника: на месте его предполагаемого захоронения меценат Виктор Истомин установил поклонный крест. Единственный музей Шварца в Курске открыт стараниями преподавателей и учеников Православной гимназии.