En el contexto de los átomos, es el cuerpo central de un átomo, que contiene la gran mayoría de la masa del átomo.
Consisten en, como mínimo, un protón (un barión cargado positivamente), pero la mayoría también contiene neutrones (bariones no cargados) y más protones.
Los núcleos de hidrógeno son más a menudo solo un protón (protio), pero también pueden tener 1 o 2 neutrones (deuterio y tritio). Los núcleos más pesados conocidos contienen 118 protones y 176 neutrones, y pertenece a Oganesson.
Wikipedia tiene una muy buena página sobre núcleos atómicos: núcleo atómico – Wikipedia
También hay antimateria, que tendría antiprotones y antneutrones en el núcleo, pero de otro modo funcionaría de manera similar.
Luego también hay estructuras mucho más exóticas como el Muonio, que no tendría protones o neutrones, sino un Muón como núcleo. Sin embargo, Jess H. Brewer sabe mucho más sobre esto que yo, así que mejor pregúntaselo.