Following Labour's defeat in the 1951 election, Stewart was a rising figure on the shadow front bench, serving as Shadow Minister of Education (1955–59) and then as Shadow Minister of Housing and Local Government (1959–64).
Efter Labours nederlag i valet 1951 var Stewart en stigande stjärna på skuggbänken, med plats som skuggutbildningsminister (1955-1959) och sedan som skuggminister för bostäder och lokalsamhälle (1959-1964).