Говорят, Яков Брюс возглавил «Нептуново общество» после смерти Лефорта. Кроме того, на Сухаревой башне он занимался астрономическими наблюдениями. Репутация «звездочета» и глубокие научные познания Брюса порождали среди обывателей фантастические легенды.

Как рассказывал П.И. Богатырев в книге «Московская старина», москвичи уверились, «будто у Брюса была такая книга, которая открывала ему все тайны, и он мог посредством этой книги узнать, что находится на любом месте в земле, мог сказать, у кого что где спрятано»…

Основой для подобных преданий могли послужить реальные факты. Чиновники, составлявшие опись кабинета Брюса, нашли там немало необычных книг, например: «Философия мистика на немецком языке», «Небо новое на русском языке» – так обозначено в описи.

Была и вовсе загадочная книга, состоявшая из семи деревянных дощечек с вырезанным на них непонятным текстом. Народная молва утверждала, будто магическая Брюсова книга принадлежала некогда премудрому царю Соломону. И Брюс, не желая, чтобы она после его смерти попала в чужие руки, замуровал ее в стене Сухаревой башни. А после того как башня была разрушена, стали поговаривать, что случилось это неспроста и виной всему – могучие и опасные чары, заключавшиеся в Брюсовой книге.

Даже саму смерть Брюса порой приписывали его магическим экспериментам.

В частности, крестьяне из села Чернышино Калужской губернии, принадлежавшего когда-то Брюсу, рассказывали, что хозяин был царским «арихметчиком», знал, сколько звезд на небе и сколько раз колесо повернется, пока до Киева повозка доедет. Взглянув на рассыпанный перед ним горох, он мог сразу назвать точное количество горошин: «Да мало ль еще, что знал этот Брюс: он знал все травы этакие тайные и камни чудные, составы разные из них делал, воду даже живую произвел…»

Решив испробовать чудо оживления и омоложения на себе самом, Брюс будто бы повелел верному слуге разрубить себя на части мечом и потом поливать «живой водой». Но для этого нужен был долгий срок, а тут царь некстати хватился своего «арихметчика». Пришлось слуге во всем сознаться и показать тело господина.

«Глядят – тело Брюсово уж совсем срослось и ран не видно; он раскинул руки, как сонный, уже дышит, и румянец играет в лице». Однако возмутился православный царь, сказал с гневом: «Это нечистое дело!» И повелел похоронить чародея в земле на веки вечные.