在《婺源县志》中专门对“虹关长人”有所记载，“县志说‘虹关长人’身高八尺。 ”不过，县志记载的“虹关长人”却是詹世钗的父亲詹真重。“当地的《虹溪詹氏族谱》对他们都有记载的”，“族谱记载，詹真重有四个儿子，老四就是詹世钗。 ”由于詹真重自己身高很高，他的二儿子身高也有八尺，而詹世钗更是青出于蓝。

詹世钗在一两岁时，他母亲带他去看正月元宵庙会。当时詹世钗饿了，想吃奶，就站在母亲身前吃，旁边好多看戏的村民看到了，觉得奇怪，就指责长人，你都站着有母亲高了，还好意思要吃奶，不怕羞!他母亲听到之后对村民说，孩子还没有满两岁，不要吓着他。

詹世钗长大后，和其三哥詹世钿在上海一家徽州玉映堂墨号为制墨工人，英国人看到长人詹世钗太高才花钱把他买下。詹世钗被带到英国，并入了英国籍，还娶了个英国女子做老婆。长人詹世钗与英国女子结婚后，生有一子名叫詹泽纯。据说长人之子詹泽纯并没有遗传到他父亲的身高，詹泽纯在英国驻沪领事馆工作，其父亲詹世钗告诉过他老家在江西婺源县浙源乡虹关村。

詹世钗在异国他乡的生活应该说并不轻松。据安徽省天长人宣鼎的著作《夜雨秋灯录》的记载，在上海时，洋人只是将詹世钗视为赚钱工具，四处带领着供人观看欣赏。而到了国外，情况也没有得到好转。清末多位出访欧洲的使臣在各类日记、笔记中记载了詹世钗在国外的生活。1879年，一位名叫张德彝使者在俄国时曾见到了詹世钗。当时，詹世钗自称，多年前就来到英法，靠卖艺生活，以身高的奇特之处吸引人而赚钱生活。