曹雪芹的家族被考证为三国时代汉朝相国、曹魏武帝曹操的后代。
明朝天启元年（1618年），努尔哈赤攻占沈阳、辽阳，曹雪芹的太高祖曹锡远、高祖曹振彦等被后金军俘虏，后来编隶佐领于正白旗包衣之中，成为了贝勒多尔衮的门人。曹振彦颇受多尔衮赏识，授为佐领之职，曾参与平定姜镶起义。入关后，改任文官，历任山西吉州知州、大同府知府、两浙都转运盐使等官职。
顺治八年（1651年），顺治帝将多尔衮的正白旗收为己管，曹家成为内务府包衣，负责打理宫廷杂务。这时曹雪芹的曾祖父曹玺，也由王府护卫升任为内廷二等侍卫。
据悉，当年康熙出生时，需要一个有特别身份的奶娘来照顾，正好曹雪芹的曾祖母孙氏当时刚生完孩子，条件很符合，就幸运的得到了这份差事，她的儿子曹寅也和康熙建立起深厚的感情。
康熙即位，曹寅做了御前侍卫，同时也帮曹雪芹的曾祖父曹玺安排了一个官职。康熙二年（1663年），曹玺被任命为江宁织造，负责主管采办皇室江南地区的丝绸，并监视南方各级官吏。康熙对曹玺极为重视，曾赏蟒袍，并亲手写“敬慎”的匾额赐给他，曹玺死后追赠工部尚书，并在约半年后南巡时，亲自慰问曹氏家属。
纵观康熙后期，曹寅长期历任苏州织造、后又继任江宁织造和两淮巡盐御史等职。江宁织造这个职位虽然只是替皇室采购日常物品，并不是多大的官，但却可以得到不少的利益，几十年来，江宁织造一直属于曹家，可见康熙对曹家是相当信任的。
曹氏家族最为显赫之时，康熙六次南巡，有四次由曹寅负责接驾。曹寅二女均被选为王妃。就因这层关系，曹寅晚年负债累累，亏空公家白银数万两，几次被朝臣弹劾都被康熙压了下来。
康熙五十一年（1712年）曹寅病故，康熙命其儿子曹颙接替江宁织造职务。
康熙六十一年（1722年）康熙帝驾崩后，雍正帝即位。受政治斗争牵连，曹家逐渐失宠没落，几次由江宁织造贡入的织物不合格，受到雍正帝训斥。
曹寅不像一个贪官，而是一个藏书家、刻书家、美食家，且精通诗词、戏曲和书法。他广交名士，养戏班，造园林，刻精本书，挥霍过度，奢靡成习，再加上官场应酬，王族亲贵的需索，四次接待皇帝的花费，财务上才屡次出现亏空。
康熙五十年，两淮盐运就被查出亏空一百三十六万两。经协商，由商人补赔六十七万两，曹寅、李喣分赔七十万两。此时江宁织造也被查出亏空七万两，上供的织物又不合格。而此时曹家已经“无货可赔，无产可变”，康熙知道曹寅苦衷，谕令李喣以及新任的两淮巡盐御史李陈常代曹家偿还亏空，保全了曹家的官职、财产与性命。
康熙死后，雍正即位，朝廷开始整饬吏治，稽查亏空，曹家也因巨额亏空被抄家，曹家从此一蹶不振，日渐衰微。虽然乾隆即位后宽免其欠银，但曹家已然彻底没落。
曹家的挥霍以致败落的情节，与红楼梦中的贾家均有相似之处。尤其是四次接驾，曹雪芹更是直接在红楼梦中写了出来。
红楼梦第十六回：“如今还有江南的甄家，唉哟，好势派！独他们家接驾四次。要不是我们亲眼看见，告诉谁也不信的。别讲银子成了粪土，凭是世上有的，没有堆山积海的。”第十六回的脂批也写道：“借省亲事南巡，说出心中多少忆昔感今！”书中的四次接驾与元妃省亲，就是暗指曹家的四次接驾。而红楼梦中常提的“树倒猢狲散”，更是曹寅生前常说的话。
