Родился 19 декабря 1922 года в городе Имане (сегодня город Дальнереченск Приморского края РФ), позже семья переехала в Киргизскую ССР. В августе 1940-го после окончания десяти классов школы и Фрунзенского аэроклуба был призван в армию.

В 1942 году окончил Чкаловское военное авиационное училище по специальности "летчик-бомбардировщик", с июня воевал на фронте. К осени 1944-го лейтенант Рудь был летчиком 745-го авиаполка 221-й бомбардировочной авиадивизии 6-го смешанного авиакорпуса 16-й воздушной армии 1-го Белорусского фронта.

За время войны совершил более 200 вылетов на бомбардировку скоплений боевой техники и живой силы противника, нанеся ему большие потери. В сражениях четыре раза был сбит.

26 октября 1944 года указом Президиума Верховного Совета СССР за мужество и героизм, проявленные в боях, Николай Рудь удостоился звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда". В разное время также был награжден орденами Красного Знамени, Красной Звезды, Отечественной войны II степени и рядом медалей.

После окончания Великой Отечественной войны участвовал в советско-японской. В мирное время продолжил службу в армии. В январе 1953 года был уволен в запас в звании капитана.

Жил в Москве. Скончался 16 октября 1978 года, похоронен на Ваганьковском кладбище.