Le cheikh Muhammad Bakdâch, historien contemporain qui vit à Médine, relate dans son livre Fadâ`il al-Hadjar al-Aswad (Mérites de la Pierre Noire) l'histoire bien connue des Qarmates qu'il reprît dans les livres d'histoire et vérifia. Il dit : « Le lundi, 8 Dhoul-Hidja, jour de la Tarwiyya, les gens de La Mecque furent surpris de voir l'ennemi d'Allah, Abû Tâhir al-Qaramatî, accompagné de neuf cents de ses suppôts, pénétrer dans la Maison Sacrée et tuer les pèlerins à l'intérieur du Harâm. Puis il remblaya le puits de Zamzam et tua quelques 30 000 personnes qui circulaient sur les routes de La Mecque et dans les alentours. Il commit d'autres actes abominables. Puis il se dirigea vers la Pierre Noire, la brisa en la frappant violement avec un marteau pointu, l'arracha après la prière de l'Asr, le lundi 14 Dhoul-Hidja et partit à Hadjar (dans la zone orientale de l'Arabie Saoudite actuellement). Il emporta la Pierre Noire avec lui. On dit que 40 bêtes périrent en transportant la Pierre Noire. Al-Qaramatî voulait détourner le pèlerinage de La Mecque pour le diriger vers chez lui, mais il a échoué tout comme Abraha al-Achram avait échoué avant lui. Les Qarmates ont gardé la Pierre Noire pendant 22 ans, après qu'ils eurent construit une nouvelle Ka'ba. Ils refusèrent de la rendre à La Mecque et on leur offrit 50 000 dinars pour la rendre mais ils refusèrent. L'emplacement de la Pierre Noire dans la Ka'ba resta vacant. Les pèlerins et les fidèles accomplissant la 'Umra passaient la main à l'endroit vide en pleuraient et en imploraient Allah, exalté soit-Il, pour que le Rukn redevienne comme il était. Après la mort d'Abû Tâhir al-Qaramatî en 332 de l'hégire, les musulmans furent surpris, le jour du Sacrifice ('Îd al-Adha), un mardi en 339 de l'Hégire, de voir le chef des Qarmates, Sunbur ibn al-Hasan al-Qaramatî, rendre la Pierre Noire à La Mecque. On raconte que la Pierre a été transportée sur le dos d'une bête frêle. Celle-ci aurait grossi pendant qu'elle transportait la pierre. Sunbur al-Qaramatî exposa la Pierre dans la cour de la Ka'ba accompagné du prince de La Mecque. La Pierre était munie d'un cerclage en argent fixé avec des clous et qui la traversaient de long en large. Ce cerclage fixait les fragments qui s'étaient détachés de la pierre lorsqu'elle fut arrachée. Sunbur al-Qaramatî apporta du plâtre avec lui pour installer la pierre et l'encastrer dans la Ka'ba. Il la mit à son emplacement avec ses propres mains et un artisan la fixa avec le plâtre. Sunbur dit lorsqu'il la rendit à sa place : « Nous l'avions prise avec la volonté d'Allah et nous l'avons rendue avec la volonté d'Allah ». Les gens regardèrent la Pierre Noire, cherchèrent à la reconnaître, l'embrassèrent et louèrent Allah, exalté soit-Il. On dit que les Qarmates essayèrent de duper les musulmans et apportèrent une pierre semblable à la Pierre Noire. Ils furent surpris lorsque le chef de la délégation de La Mecque demanda à tester la substance de la Pierre. Il demanda que l'on apporte de l'eau car il est connu que la Pierre Noire, qui est d'une nature différente de toutes les autres pierres connues, flotte sur l'eau. Le chef des Qarmates se montra très étonné suite à ce test et répéta : «La dette est réglée de manière juste ».
L'incident des Qarmates ne fut pas le seul, car d'autres incidents se rapportant à la Pierre Noire eurent lieu avant et après l'avènement de l'Islam. Ces incidents laissèrent des traces sur la Pierre Noire sous forme de fissures ou de fractures. La Maison Sacrée fut frappée par deux incendies, le premier à l'époque de la tribu de Quraych. L'incendie brûla la Pierre Noire et accentua sa noirceur. Le second incendie eut lieu à l'époque islamique, à l’époque de 'Abdallah ibn al-Zubayr, qu'Allah soit satisfait de lui, lorsqu'al-Hasîn ibn Numayr al-Kindî, assiégea la Maison Sacrée et que la Ka'ba fut brûlée. La Pierre Noire se fissura en trois morceaux. Par la suite, Chu'ba ibn al-Zubayr, refixa les parties fissurées avec des cerclages en argent et il fut le premier à refixer les parties fissurées de la Pierre Noire.
Sous le commandement du prince des croyants Hârûn al-Rachîd, le cerclage en argent de la pierre Noire faiblit et se détacha et on eut peur que le Rukn ne se démantèle. Lorsque Hârûn fit sa 'Umra en 188 de l'Hégire, il donna l'ordre de réparer la Pierre Noire. Il ordonna que les pierres entourant la Pierre Noire soient percées avec du diamant par le haut et par le bas, et qu'on y verse de l'argent.
Il y eut également l'incident survenu en 363 de l'Hégire. Ibn Fahd al-Makkî évoqua dans son livre Ithâf al-wara bi-akhbâr Umm al-Qurâ l'histoire d'un homme byzantin à qui l’on donna une importante somme d'argent. En contrepartie, il devait aller au Rukn et le frapper très violemment. Il donna un violent coup au Rukn et lorsqu'il envisagea de répéter ce coup encore une fois, un homme, originaire du Yémen, le poignarda et l'acheva.
Ibn Fahd al-Makkî mentionne un autre incident qui eut lieu en 413 de l'Hégire. Il dit qu'un groupe de dix cavaliers, attirés par une offre alléchante du gouverneur d'Egypte 'Ubaydi et commandés par un homme grand et corpulent et tenant à la main une épée dégainée et un marteau pointu dans l'autre firent irruption dans la Maison sacrée. « Après la prière du vendredi le premier jour du Nafr (déferlement des pèlerins) et avant le retour des pèlerins de Mina, cet homme se dirigea vers la Pierre Noire et il semblait qu'il voulait l'embrasser. Tout d'un coup, il y donna trois coups successifs avec son marteau pointu tout en répétant : 'Jusqu'à quand cette pierre sera-t-elle adorée ? Ni Muhammad () ni 'Alî, qu'Allah soit satisfait de lui, ne m'empêcheront de faire ce que je fais car je veux détruire cette Maison et l'enlever '. Les dix cavaliers se trouvaient à la porte de la Mosquée Sacrée dans le but de protéger cet homme. Mais un homme, cherchant la récompense d'Allah, exalté soit-Il, s'indigna et poignarda ce mécréant. Les gens se regroupèrent autour de ce criminel, le coupèrent en morceaux et brûlèrent son corps. La Pierre Noire resta deux jours dans cet état. Elle était égratignée à la surface, vers le milieu, et des fissures sont apparues à droite et à gauche de la Pierre. Des éclats et des petits fragments de la taille d'un ongle se sont détachés de la pierre sous l'effet de ces coups. Certaines personnes des Banû Chayba rassemblèrent ces fragments, les pétrirent avec du musc et du teint rouge et s'en servirent pour combler les fissures.

L'imam Ibn 'illân dit dans son Livre Fadl al-Hadjar al-Aswad (Mérites de la Pierre Noire) qu'en 990 de l'Hégire, un homme iraquien non arabe, visiblement aliéné, frappa la Pierre Noire avec un marteau pointu. A ce moment-là, le prince Nâsir Gawich se trouvait à la Maison Sacrée. Il poignarda cet homme et le tua.

Le dernier incident dont témoigna la Pierre Noire eut lieu en 1351 de l'Hégire. Le cheikh Husayn Ba Salama cita cet incident dans son livre Tarîkh al-Ka'ba al-Mucharrafa (Histoire de la noble Ka'ba). Il dit : « Vers la fin du mois de Muharram en 1315 de l'Hégire, un homme persan, venu du pays des Afghans, arracha un fragment de la Pierre Noire et vola un morceau du rideau de la Ka'ba ainsi qu'une pièce en argent qui se trouvait dans le sentier de la Ka'ba situé entre le puits de Zamzam et la porte des Banû Chayba. Les gardiens se rendirent compte de sa présence et l'arrêtèrent. Il fut par la suite exécuté en guise de châtiment », écrit le cheikh Ba Salama. Et d'ajouter : « Le 28 Rabî' Athâni, le roi 'Abd al-Azîz ibn 'Abd al-Rahmân Âl Sa'ûd, qu'Allah lui fasse miséricorde, retourna de sa résidence d'été de Tâ`if et vint à La Mecque avant de se diriger vers Riyâd. Certains notables se rassemblèrent pour trouver une solution au problème de la pièce arrachée. Des spécialistes firent une préparation chimique à quoi ils ajoutèrent du musc et de l'ambre et s'en servirent pour fixer la pièce arrachée et ils la remirent à sa place ».

Sâ'i Bakdach dit dans son livre que plusieurs anneaux furent fixés autour de la Pierre Noire durant les époques précédentes. Le dernier de ces anneaux fut fixé autour de la Pierre Noire le 22 Cha'bân en 1375 de l'Hégire, peu avant la prière du Maghreb. C'était un anneau en argent pur. C'est le roi Sa'ûd ibn 'Abd al-Azîz Âl Sa'ûd, qu'Allah lui fasse miséricorde, qui plaça ce nouvel anneau. Le cheikh Muhammad Tâhir al-Kurdî se tenait à coté du roi et tenait l'anneau à la main et le fixa autour du Rukn Noir après qu'il eut arraché l'ancien anneau que le sultan Muhammad Rachâd Khân avait placé en 1331 de l'Hégire.

Les objets se rapportant à la Ka'ba Sacrée et au Noble Harâm de La Mecque sont sauvegardés au Musée des Deux Nobles Harâm-s, situé tout près de la fabrique qui confectionne le drap de la Noble Ka'ba sur l'ancienne route de Djedda. Les habitants de La Mecque ont tendance à nommer la Pierre Noire al-Hadjar al-As'ad (la Pierre bienheureuse), car ils détestent que la couleur noire - qui est de mauvaise augure à leurs yeux - soit la source de leur fierté dans l'Antique Maison.

Dans la culture traditionnelle, les habitants de La Mecque manifestent le désir de faire don de parfums et de musc pour les mettre sur la Pierre Noire et se rapprocher d'Allah, exalté soit-Il.

Des scènes d'altruisme et d'abnégation se produisent parmi les fidèles accomplissant le Tawâf. Certains d'eux reculent pour faire place aux personnes infirmes, aux personnes âgées, aux femmes et aux enfants pour leur donner l'occasion d'embrasser la Pierre Noire.

On rapporte dans la tradition prophétique que c'est auprès de la Pierre Noire que l'on verse les larmes du repentir, que les regrets sont dissipés (les péchés sont effacés) et que les invocations sont exaucées. Selon Ibn 'Umar, qu'Allah soit satisfait de lui, dit : « Le Messager () embrassa la Pierre Noire, puis il posa ses lèvres sur elle et se mit à pleurer longuement, puis il s'est tourné et trouva 'Umar ibn al-Khattâb en train de pleurer. Il lui dit alors : 'Ô 'Umar, c'est ici que l'on verse les larmes' ».

C'est l'endroit où les invocations sont exaucées; ibn 'Abbâs dit dans un hadith marfû' : « Le Rukn est la Main Droite d'Allah, exalté soit-Il, sur la terre, avec laquelle il salue Ses créatures. Par Celui Qui détient l'âme d'Ibn 'Abbâs dans Sa Main, il n'est pas un homme musulman qui demande à Allah quelque chose auprès de cette pierre, sans qu'Allah ne le lui accorde ».