Abstract Fragment size, isolation, and matrix properties have received considerable attention as predictors of species richness, abundance, and composition in habitat patches. However, measurements of habitat attributes or habitat quality are more directly related to the proximate effects of habitat fragmentation and may be more determinant of assemblages than traditional explanatory variables at local scales. We determine how habitat structure in fragments—a measure of habitat quality—compares to fragment size, isolation, and matrix properties as determinants of richness, abundance, and composition of non-volant small mammals in a fragmented landscape of Atlantic Forest. Small mammals were surveyed once in 25 fragments in the Macacu River watershed, Rio de Janeiro, Brazil, from 1999 to 2001 and 2005 to 2009. A total of 83 candidate models were formulated and compared by Akaike Information Criteria. Habitat structure was one of the main determinants of small mammal assemblages in fragments, as important as fragment isolation for species composition and climatic season for species richness. Rodents were more abundant in fragments with increased overstory and understory vegetation density and more fallen logs. The contrary pattern was found for overall species richness and for species of terrestrial habit, which were more abundant in fragments with more open forest: decreased overstory and understory vegetation density and less fallen logs. Habitat quality in fragments may be a more important determinant of assemblages of small mammals and other vertebrates than previously considered in landscape and land use studies. O tamanho e isolamento dos fragmentos e as propriedades da matriz têm recebido considerável atenção como preditores da riqueza, abundância e composição de espécies em manchas de habitat. Entretanto, medidas dos atributos do habitat ou da qualidade do habitat são mais diretamente relacionadas aos efeitos imediatos da fragmentação de habitat, e seriam mais determinantes das comunidades do que as variáveis explicativas tradicionais. Determinamos como a estrutura do habitat nos fragmentos—uma medida da qualidade do habitat—se compara ao tamanho e isolamento dos fragmentos, e às propriedades da matriz como determinantes da riqueza, abundância e composição de espécies de pequenos mamíferos não-voadores em uma paisagem fragmentada de Mata Atlântica. Os pequenos mamíferos foram amostrados uma vez em 25 fragmentos na Bacia do Rio Macacu, Rio de Janeiro, Brasil, de 1999 a 2001 e de 2005 a 2009. Um total de 83 modelos foram formulados e comparados utilizando o Critério de Informação de Akaike. A estrutura do habitat foi um dos principais determinantes das comunidades de pequenos mamíferos nos fragmentos de mata, tão importante quanto o isolamento entre fragmentos para a composição de espécies e os efeitos das estações climáticas sobre a riqueza de espécies. Os roedores foram mais abundantes nos fragmentos com estratificação vertical e sub-bosque mais densos e com maior presença de troncos caídos. O padrão contrário foi encontrado para a riqueza total de espécies e para espécies de hábito terrestre, que foram mais abundantes em fragmentos com estratificação vertical e sub-bosque menos densos e menor presença de troncos caídos. A qualidade do habitat em fragmentos pode ser determinante das comunidades de pequenos mamíferos e outros vertebrados, mais importante do que considerado previamente em estudos de paisagens e uso da terra.