褐矮星是质量介于最重的气态巨行星和最轻的恒星之间的一种次恒星，具体而言，质量介于13至75或80倍木星质量 ，或大约7028249999999999999♠2.5×1028 kg 至大约7029150000000000000♠1.5×1029 kg。低于这个范围的是次褐矮星（有时被称为流浪行星），质量在这之上的是最轻的恒星红矮星（光谱类型M9V）。褐矮星可能只有对流，而没有分层或化学分化深度。
不同于主序带上的恒星，褐矮星的质量不足以维持核心中氢（1H）融合成氦的核聚变反应。然而，它们介于13 J和65 J之间的质量，被认为可以进行氘（2H）和锂（7Li）的核聚变。人们还在争议能否不以核聚变反应来定义，而以形成的过程更好的定义褐矮星。
恒星都按照光谱来分类，褐矮星的光谱分类为M、L、T和Y型 。尽管它们都被称为褐矮星，但仍然有着不同的颜色。以人眼能看见的许多褐矮星，它们可能是橙色或红色。在可见光的波长范围内，褐矮星都很黯淡。
已知有行星环绕的褐矮星有2M1207b、MOA-2007-BLG-192Lb、和J044144b。
距离地球最近的褐矮星是在2013年发现的卢曼16，这是距离6.5光年的一对联星。截至2017年12月，在NASA的档案中质量最大的系外行星是HR 2562 b，估计质量在7001300000000000000♠30±15 J，已经超过行星和褐矮星质量分界（13 J）的两倍多。
在1960年代，从理论上就已经推测出褐矮星的存在。
在希夫·库马尔于1960年代建立理论时，现在所谓的"褐矮星"被称为黑矮星 ；在对太空中自由漂流的次恒星天体的分类，这是一种不足以维持氢融合反应的天体。然而，（a）黑矮星这个名词已被用来标示冷却后的白矮星；（b）红矮星可以燃烧氢；（c）这些天体在其生命的早期可能会发出可见光。正因为如此，这种天体曾经被提出的替代名词包括子星和 次恒星 。在1975年，吉儿·塔特以其颜色接近棕色，提出了褐矮星这个名词。
"黑矮星"这个名词现在是指已经冷却到不再发出可见光程度的白矮星。然而经过计算，即使是质量最低的白矮星，其冷却到这样的温度所需要的时间也比目前的宇宙年龄还要长许多，因此预期这种天体尚不存在。
早期的理论认为质量最低的恒星和氢燃烧的极限在第一星族星是0.07太阳质量（☉），在第二星族星是0.09☉，而且不会经历正常的恒星演化历程，就成为一颗致密星 。第一次自一致性的氢燃烧最低质量计算，证实第一星族星的质量在0.07至0.08☉ 。
在1980年代后期，受到氘燃烧将质量下限缩减为0.012太阳质量，还有在褐矮星外层低温的大气层有尘埃形成的影响，引发对这些理论的质疑。然而，因为它们几乎不发出可见光，所以很难找到这样的天体。这些天体辐射最强的光谱主要在红外线上，而地面上观测红外线的仪器当时还不够精良，无法轻易地分辨出任何褐矮星。
从那时以来，通过各种方法进行的多次搜索都在寻找这种天体。这些方法包括环绕着星场的多色成像调查、调查主序星中矮星和白矮星的微弱伴星、年轻星团的调查、和监测径向速度以寻找紧邻的伴星。
多年来，发现褐矮星的努力毫无结果。然而在1988年，在以红外线搜索发搜寻白矮星的工作中发现一颗被称为"GD 165的恒星有黯淡的伴侣。GD 165B的光谱是非常的红且神秘，但没有显示预期的低质量红矮星特征。很显然的GD 165B需要归类在比当时已知的小矮星更冷的物体。GD 165B在将近10年的期间都是独一无二的，直到2微米全天巡天（2MASS）的调查展开，才发现更多具有这一类色彩和光谱特征的天体。
如今，GD 165B被认为是"L矮星"这一类型天体的原型。
尽管当时发现最低温矮星的意义重大，但争论的是GD 165B是该归类为褐矮星，还仅仅是一颗质量很低的恒星。因为从外观上来讲，很难区分这两种天体。
在发现GD 165B之后，其它的褐矮星候选者报告很快的就被提出。但是，大多数的候选者因为缺乏锂，表明它们只是一颗恒星，因而丧失了后者的资格。真正的恒星在一亿年不到的时间就会燃烧掉锂，但褐矮星不会；而令人困惑的是褐矮星的亮度和温度都类似于真正的恒星。因此，在年龄超过一亿岁的天体大气中检测到锂，才能确认它是一颗褐矮星。
在1995年，褐矮星的研究有了极大的突破，发现了两个无可置疑的次恒星天体（泰德 1和葛利泽229B），并且以670.8奈米的谱线确认了锂的存在。其中最著名的是后者，它被发现温度和亮度都远低于恒星的范围。引人注目的是，其红外线光谱清楚的呈现2微米的甲烷吸收带，这种特征以前只在巨行星和土星的卫星泰坦的光谱中观测到。甲烷的吸收不会在主序星的温度下出现，此一发现协助建立了另一类温度比L矮星更低的"T矮星"，葛利泽229B就是此一类型的原型。
第一次确认的褐矮星是由西班牙天文物理学家Rafael Rebolo（领导者）、玛丽亚·罗莎·萨派特罗·奥索里奥和爱德华多·马丁在1994年发现的。他们发现的这个天体被称为泰德 1，位于疏散星团昴宿星团内。发现的本文袃1995年春天提交给自然杂志，该杂志在1995年9月14日发表。在头版头条，很显目的标示"褐矮星的发现，正式版"。
发现泰德1的影像是IAC的团队在1994年1月6日使用泰德峰天文台口径80公分的望远镜（IAC 80）搜集影像，而根据纪载，它的光谱是在1994年12月使用穆查丘斯罗克天文台（拉帕尔马岛）4.2米的威廉·赫歇耳望远镜采集的。因为泰德1是昴宿星团的成员，它的距离、化学组成、和年龄，才能被估计出来。使用最先进的恒星演化模型，团队估计泰德1的质量是55木星质量，这显然低于恒星质量的下限。这个天体随后成为年轻褐矮星工作相关引用的参考。
在理论上，质量低于65木星质量的褐矮星，在其演化过程中的任何时间点上都不会引燃锂燃烧的过程。事实上，检测锂的原则是调查低光度和低表面温度天体的本质之一。
由凯克I望远镜所获得的高品质光谱资料，显示泰德1一直保持形成昴宿星团的分子云原本的组成分，也证实在核心始终未进行锂燃烧的核聚变反应。这些观测确认泰德1是一颗褐矮星，也验证了锂光谱测试的成效。
有一段时间，泰德1是太阳系之外，经由直接观测能见到的最小的天体。迄今，确认的褐矮星已经超过1,800颗，甚至有一些非常靠近地球，像是被引力束缚在一起，距离太阳大约12光年的一对褐矮星印地安座εBa和Bb，还有距离仅有6.5光年的褐矮星联星Luhman 16。
恒星诞生的标准机制是通过冷星际云的气体和尘埃形成引力坍缩。当云气收缩时，因为释放出重力位能而使它的温度升高。在进行收缩的早期，气体会迅速的放热，将多余的能量辐射出去，使坍缩继续进行。最后，中心区域会变得足够致密而陷阱辐射。因此，坍缩的云气中心温度和密度随着时间的推移而急遽增加，这使得收缩减缓，直到原恒星核心的温度和压力大到足以引发热核反应。大多数的恒星，经由热核聚变成的气体和辐射压力将支撑它阻止任何进一步的引力收缩。达到流体静力平衡的恒星，会花费绝大部分的生命期在氢融合成氦的主序星时期。
然而，如果原恒星的质量大约低于0.08太阳质量，在核心不会点燃正常的核聚变反应。重力收缩不足以让这么小的原恒星产生足够的热，而在核心的温度达到可以引发核聚变反应之前，密度已经达到使原子密集到足以创建量子状态的电子简并压力。依据褐矮星内部的模型，典型的核心温度、压力和密度将如下式预期所示：
这意味着这颗原恒星是质量不够和密度不足以达到维持氢融合所需要的条件。由电子简并压力所达到的密度和压力，阻止了物质继续向核心掉落。
进一步阻止引力收缩的结果是"失败的恒星"，或是褐矮星只是经由冷却释放掉其内部的热能。
褐矮星另一个显著的特性是它们的半径大约都与木星的半径相同。在它们质量的上限范围（60-90木星质量），褐矮星的体积主要由电子简并压力维持，如同白矮星。在质量的下限范围（10木星质量），其体积是由库伦压力维持，如同行星。由此，褐矮星的半径随着质量变化的范围仅有10-15%，这使得它们很难与行星区别开来。
此外，有许多的褐矮星没有经历过核聚变：在质量的下限范围（低于13木星质量），它们的核心从未热到可以进行融合氘，甚至在质量的上限范围（超过60木星质量），快速的冷却使它们不能持续进行核聚变，能进行核聚变的时间大约只在1,000万年以内。
X射线和红外线光谱的分析也有些迹象。有些褐矮星能发出X射线；并且所有较温暖的褐矮星持续地在红光和红外线的光谱中发出引人注目的光辉，直到它们的温度低到像行星那样（低于1,000K）。
气体巨星有一些褐矮星的特性。例如，木星和土星两者的主要成分都像太阳一样，是氢和氦。而土星的质量只是木星的30%，但却几乎和木星一样大。太阳系中的三颗巨大行星（木星、土星、和海王星）排放出来的热量比从太阳收到的更多。而且4颗巨大的行星都有自己的"行星系统"—它们的卫星。褐矮星像恒星一样，是单独形成的，只是缺乏足够的质量，不能像恒星一样的燃烧。像所有的恒星一样，它们可以是单独的天体，也可以很靠近其他的恒星。有些轨道也像行星一样，是椭圆的轨道。
目前，国际天文学联合会考虑质量在可以燃烧氘的质量下限（目前以太阳系的金属量计算是13木星质量）以上的天体是褐矮星，而在此质量下限以下（并且环绕其他恒星或恒星残骸的），则被考虑是一颗行星。
以13木星质量做分界只是一个经验法则，而不具有精确的物理意义。较大的天体会烧掉较多的氘，而较小的只会烧掉一些，13木星质量大约在它们中间点的位置。氘的数量在某种程度上也取决于天体本身的一些组成分，特别是氦和氘相较于其他重元素的比例，这些决定了大气透明度、进而影响到该天体冷却的速率。
太阳系外行星百科包含质量高达25木星质量的系外行星，系外行星资料浏览器也收录24木星质量的行星。
次褐矮星或“行星质量褐矮星”是在与恒星和褐矮星相同模式下形成的另一种天体（也就是说，它们经由气体云的坍缩，但是质量低于氘燃烧（大约13木星质量）的热融合所需要的质量）。一些研究人员称它们是自由漂浮行星，而另一些人则称它们是行星质量褐矮星。
次褐矮星的形成方式与恒星相同，经由气体云的坍缩（或许有光侵蚀的协助），但是对于此过程是否会形成行星，以及在分类上则尚未取得共识自由漂浮次褐矮星在观测上与最初在恒星形成，然后被逐出轨道的流浪行星没有什么区别；另一方面，在星团中形成的次褐矮星也可能被捕获，进入环绕恒星的轨道。国际天文学联合会的太阳系外行星工作小组（WGESP）提出了"次褐矮星"这个名词，定义为：在年轻星团中发现，质量在褐矮星质量下限之下的自由漂浮天体。
气体云坍缩可以形成的次褐矮星质量下限大约是1 MJ。这是因为气体的重力塌缩需要辐射能量，但受到透明度的限制会加热天体。在一篇论文中描述了3 MJ的候选者。
这些恒星的伴星是次褐矮星还是行星，还没有获得共识。
这些恒星的伴星是次褐矮星还是行星，还没有获得共识。
光谱类型在M6.5与之后的恒星是褐矮星，它们也称为后M矮星。
长期以来，M是古典的恒星光谱类型中温度最低的一类。光谱以一氧化钛（TiO）和钒氧化物（VO）分子的可见光吸收谱线为主。然而，GD 165B，白矮星GD 165的伴星，没有标示M矮星的TiO吸收谱线特征。随着越来越多如同GD 165B的天体现身，最终导致柯克派翠克和其他人定义新的光谱类型，L矮星：在红光区不是微弱的金属氧带（TiO、VO），而是强烈的金属氢化物带（FeH、CrH、MgH、CaH）和显著的碱金属线（NaI、Kl、CsI、RbI）。截至2013年 (2013-Missing required parameter 1=!)，已经确认的谱线超过900条，多数都是由广域巡天：2微米全天巡天（2MASS）、近红外南天深度巡天（DENIS）、和斯隆数字化巡天（SDSS）等的成果。
如同GD 165B是L矮星的原型，葛利泽229B是第二种光谱类型T矮星的原型。而近红外线（NIR）光谱的L矮星显示强烈的水（H2O）和一氧化碳（CO）的吸收线，葛利泽229B的近红外线光谱主要的吸收线则来自甲烷（CH4），这种特征只曾在太阳系巨大的土星和它的卫星泰坦发现过。CH4、H2O、和氢分子的碰撞诱导吸收（CIA，collision-induced absorption），使得葛利泽229B的近红外影像呈现蓝色。它陡峭的红色光谱也缺乏L矮星的FeH和CrH吸收带，反而有异常宽广的碱金属钠和钾的吸收特征。这些差异导致柯克·派翠克提出有H-和K-波段与CH4吸收特征的T矮星光谱类型。截至2013年 (2013-Missing required parameter 1=!)，已经知道的T矮星有355颗。最近，亚当和汤姆·格巴尔研拟了T矮星近红外光谱分类的新方案。理论认为L矮星是混和了质量非常低的恒星和次恒星天体（褐矮星），而T矮星完全都由褐矮星组成。因为钠和钾的吸收在T矮星光谱中绿色的部分，在人类视觉感知的T矮星真实颜色应该是煤焦油染料的洋红色，而不是棕色。光谱类型T的褐矮星，像是WISE 0316+4307，已经检测出其距离太阳超过100光年。
还有一些人怀疑，如果还有的话，应该属于Y型矮星，并预期它们将比T型矮星冷得多。虽然没有明确定义的谱序，也尚未有原型，但它们已经有了模型。
在2009年，已知最冷的褐矮星温度估计在500-600k之间，并已分配光谱为T9。有三颗褐矮星的例子，分别是CFBDS J005910.90-011401.3、ULAS J133553.45+113005.2、和ULAS J003402.77−005206.7。这些天体的光谱显示在1.55微米附近的吸收谱。Delorme等人认为这些是氨的吸收谱线，应该被看作是T-Y的过渡，这些天体应该标志为Y0。但是，这项特征很难区分是否是水和甲烷的吸收，因此其它的作者认为归类为Y0尚言之过早。
在2010年4月，发现了两颗超级冷的次褐矮星（UGPS 0722-05和SDWFS 1433+35），被提出来做为光谱分类Y0的原型。
在2011年2月，Luhman等人报告在一颗白矮星发现了邻近的伴星，是温度大约300K，7木星质量的褐矮星。尽管这是行星的质量，但罗德里格斯等人认为它不可能像行星那样的方法形成。
不久后，刘等人出版了一份（〜370K）的环绕着非常低质量褐矮星的褐矮星报表，并且注明。
在2011年8月，科学家使用NASA的WISE资料发现6颗Y型矮星－有着像恒星的身体，但温度与人体一样冷。
从WISE的资料已经发现了上百颗新的褐矮星，其中有14颗归类为极冷的Y型矮星。一颗被称为WISE 1828+2650的Y型矮星是在2011年8月发现的，是纪录中温度最低的褐矮星－完全没有发射可见光。这种天体被认为像是自由漂浮行星，更胜于是恒星。最初估计WISE 1828+2650有温度大约低于300K的大气层—将它和室温的上限298K（25 °C，80 °F）比较，它的温度已经修正和更新为范围在250至400K（−23–127 °C，−10–260 °F）。
在2014年4月，WISE 0855–0714被宣布其温度轮廓估计在225至260K，质量在3-10木星质量，也很不寻常地观测到它的视差，意味着它距离太阳系很近，只有7.2±0.7光年的距离。
L型和T型矮星的排放通量多数是在1至2.5微米的近红外线范围内。从后期M型、L型、T型序列的低温和递减的温度，结果是在近红外有着丰富的谱线和种类繁多的特点。从中性原子到广泛的分子带，所有的一切都在温度、重力和金属量上具有不同的依赖性和相对较窄的谱线。此外，在这些低温条件下，有利于冷凝气体的状态和晶粒的形成。
褐矮星大气的典型温度范围从2,200下降至750K。相较于恒星，内部稳定的核聚变使自身暖起来，棕矮很快就结束并变得冰冷。质量大的褐矮星冷却得比质量小的缓慢。
日冕仪最近被用于检测环绕着明亮恒星的暗弱天体，包括葛利泽229B。
配备了灵敏的电子耦合装置（CCD）的望远镜已经用来寻遥远星团中暗弱的天体，包括泰德1。
广视野搜寻也已经确认一些独立的黯淡天体，像是距离30光年远的克鲁1。
在搜寻系外行星的巡天调查中，经常会发现褐矮星。系外行星侦测法对褐矮星也一样适用，而且还更为容易。
自从1999年检测到褐矮星的X射线闪焰，就建议改变有磁场的天体，将类似的低质量恒星也纳入其中。。
中心没有强大核能来源，褐矮星的内部是在快速沸腾，或对流的状态。当结合了大多数的褐矮星都展现出快速的自转，为对流建立了强而有力的发展条件，在表面附近纠结磁场。钱卓X射线天文台观测到来自LP 944-20的闪焰有可能起源自褐矮星表面下的湍流磁化热材料。部分表面的闪焰可以传导热进入大气层，使电流流动，产生X射线闪焰，就像发生闪电。在非燃烧期间缺乏来自LP 944-20的X射线也是一个值得注意的结果。它设置了最低能量以观测褐矮星产生的稳定X闪焰能量，并显示当褐矮星的表面温度低于2800K时，日冕不再出现，并成为电中性。
使用NASA的钱卓X射线天文台，科学家已经在一个多星系统中发现来自低质量褐矮星的X射线。这是第一次在靠近母恒星（类似太阳的恒星TWA 5A）的褐矮星解析出X射线来自日东京中央大学的坪井（Yohko tsuboi）说："我们的钱卓资料显示，X射线起源于褐矮星日面的等离子体，它们的温度高达300万℃"，"这颗褐矮星的X射线亮得如同今天的太阳，但是它比太阳小了50倍"。"因此，这种观测提高了巨大行星可能会在它们的青春期发出X射线的可能性！"
位于蝘蜓座，距离地球500光年的褐矮星蝘蜓座110913-773444，可能是一个形成过程中的微型行星系统。来自宾夕法尼亚州立大学的天文学家相信他们检测到类似于太阳系形成假说的气体和尘埃盘面。Cha 110913-773444是迄今为止发现最小的褐矮星（8倍木星质量），如果它形成行星系统，它将是已知系统中最小的一个。他们的研究结果发表在2005年12月10日的天文物理杂志。
目前观测已知的褐矮星候选者已经揭露一种模式，红外线辐射的闪耀和模糊不清，显示相对较低的温度，还有不透明的云遮蔽内部的热，激起极端的风。在这些天体上的天气是极端剧烈的，可以媲美并远远超过木星上著名的大红斑。
在2013年1月8日，天文学家使用NASA的哈勃空间望远镜和斯皮策空间望远镜探测被命名为2MASS J22282889-431026的褐矮星，绘制出迄今最详细的褐矮星天气图，它显示风力驱动着行星大小的云。新的研究不仅是对褐矮星有更进一步的理解，也是研究太阳系外行星大气的踏脚石。
NASA的WISE任务已经检测到200颗新的褐矮星。实际上，在宇宙中邻近我们的褐矮星比过去认知的要少。并非每有一颗褐矮星就有一颗恒星，而是每有一颗褐矮星，可能就有6颗恒星。
从相对较大的质量与大轨道推断，环绕着褐矮星的行星质量天体2M1207b、豺狼座GQ b和2MASS J044144，可能是由环绕着褐矮星的云气塌缩而成，而不是吸积形成的，所以可能是次褐矮星而不是行星。然而，在2013年，发现第一颗在一个相对较小的轨道上环绕着褐矮星的低质量伴星（OGLE-2012-BLG-0358L b）。
环绕着褐矮星的盘面已经发现有许多特征与恒星相同；因此预期会有吸积形成的行星环绕着褐矮星。有鉴于褐矮星盘面的低质量，大多数的行星将会是类地行星，而不是气体巨星。如果有一颗环绕褐矮星的气态巨行星横越过我们的视线，然后，因为它们有着大约相似的直径，会产生很明显的凌日的讯号。行星的吸积区很接近褐矮星本身时，潮汐力就会有很大的影响。
环绕着褐矮星的行星很可能是耗尽水的碳行星。
