Сын маршала артиллерии Н. Д. Яковлева. Окончил Московский институт международных отношений и одновременно, экстерном, Юридический факультет МГУ. Работал в МИД, участвовал в подготовке издания переписки И.В. Сталина с президентами США и премьер-министрами Великобритании в годы Великой Отечественной войны. Подготовил к защите кандидатскую диссертацию.
В начале пятидесятых годов начался новый виток сталинских репрессий. 31 декабря 1951 года отец Николая Николаевича был снят с должности, а в конце февраля 1952 года он был арестован. Маршалу вменялись в вину недостатки 57-мм автоматических зенитных пушек. Следом был арестован и сам Николай Николаевич. Отец и сын были освобождены сразу после смерти Сталина, и Николай Николаевич смог вернуться к работе, и в 1955 году защитил кандидатскую диссертанцию, а в 1968 году — докторскую. В шестидесятые годы Яковлев опубликовал серию работ по истории США.
Не смотря на своё освобождение и закрытие дела, Н.Н. Яковлев не был полностью реабилитирован и оставался «невыездным» — ему не разрешалось покидать СССР. В семидесятые годы ХХ века учёный обратился в КГБ СССР с просьбой разрешить ему поездки в США, что было связано с его специальностью. В результате своего визита в КГБ Яковлев был завербован КГБ для проведения «идеологических операций», чему способствовал его страх перед КГБ связанный с тяжёлым опытом тюремного заключения и допросов в 1952 году[1]. Согласно свидетельству самого Яковлева, беседовал с ним лично председатель КГБ Ю.В. Андропов, а позже необходимыми материалами для написания книг, в том числе и явно сфальсифицированными[2], его снабжал начальник 5-го управления КГБ генерал Ф.Д. Бобков. Андропов убедил Яковлева участвовать в идеологических операциях, сообщив ему, что в прежние времена с разведкой сотрудничали Иван Тургенев, Виссарион Белинский и Фёдор Достоевский[3].
Председатель, посверкивая очками, в ослепительно-белоснежной рубашке, щёгольских подтяжках много и со смаком говорил об идеологии. Он настаивал, что нужно остановить сползание к анархии в делах духовных, ибо за ним неизбежны раздоры в делах государственных. Причём делать это должны конкретные люди, а не путём публикации анонимных редакционных статей. Им не верят. Нужны книги, и книги достойного содержания, написанные достойными людьми[3].
Самыми известными книгами, которые автор написал по просьбе КГБ были «1 августа 1914 года» и «ЦРУ против СССР». В первой книге содержатся намёки на то, что вину за проблемы СССР следует возложить на массонский заговор, а вторая книга винит во всём советских диссидентов и американскую разведку. Во второе издание книги о ЦРУ Яковлев добавил сведения о личной жизни жены академика Сахарова, Елены Боннер, которые по оценкам «порядочные люди сочли гнусными»[4] и являлись «клеветой самого низкопробного содержания, рассчитанной на низменные инстинкты читателей»[5]. Наиболее непристойные[6] отрывки из этого издания книги, включая раздел о Елене Боннер, были также опубликованы в журнале Смена и Человек и Закон с многомиллионными читательскими аудиториями.
14 июля 1983 года Н.Н. Яковлев приехал в Горький и пришёл в квартиру, где Сахаров находился в ссылке, объяснив это желанием взять у академика интервью для третьего издания книги[7], хотя на самом деле имел намерение позлить Сахарова[6]. Сахаров вначале долго и терпеливо пытался переубедить Яковлева, но когда тот стал повторять оскорбления в адрес жены академика, Сахаров дал ему пощёчину и выгнал из квартиры[7][6]. Через несколько дней Сахаров попытался подать судебный иск, обвиняя Яковлева в клевете, но местный суд отказался принять у него документы[7][6].
Яковлев работал в институтах Академии наук — Институте истории, Институте США и Канады, Институте социально-политических исследований. Любопытно, что Ю.В. Андропов так и не разрешил Яковлеву покидать СССР, не смотря на все его старания, и полностью реабилитирован Яковлев был только в 1989 году. Леонид Млечин объясняет этот поступок Андропова тем, что «с людьми, которые висят на крючке, проще работать»[4].
Яковлев похоронен на Новодевичьем кладбище[8].