Po roce 1514 získal Úsilov Jindřich Švihovský z Rýzmberka, který prodal tvrz, dvůr a ves Úsilov celou a pusté vsi Vílov, Libkov (vypálené Bavory) a část Smržovic Zdeborovi z Příchovic. K potvrzení převodu a zapsání do desek zemských dochází však až roku 1545, kdy je statek převeden na Zdeborova syna Jindřicha. Jindřich umírá již v roce 1559 a Úsilov přechází na syna Jana z Příchovic, který se oženil s Annou z Vidršperka. Janovo manželství bylo bezdětné, proto odkázal v závěti, sepsané na den svatého Matěje roku 1571, svůj majetek manželce a jejím příbuzným. Přímo na Annu byla napsána tvrz a ves Úsilov, dále ves pustá Lhotka a vsi Vílov a Slavíkovice. Jan umírá v roce 1574 a zanedlouho jej následuje i Anna. Úsilov získávají synové Annina bratra Bohuslava Vidršpergára. Tak se Úsilov dostává do držení rodu, který užíval znak s vlkem, který nese beránka. Právě tato heraldická figura byla použita do znaku, který obec obdržela v roce 2004. Roku 1577 je tu uváděn Balcar Vidršpergár z Vidršperka a po něm syn Jan. Oba Vidršpergárové sloužili jako žoldnéři ve vojsku. Nepokojnou povahu měli oba, především Jan, jehož prohřešky se často řešily u zemského soudu. V době protihabsburské rebelie se Jan postavil na stranu odbojných stavů, když měl být v roce 1628 pokutován; osmerým svědectvím prokázal, že se na stranu odbojných stavů dal pouze z donucení. Komise přihlédla také k tomu, že byl katolík, a protože i svůj zadlužený statek Úsilov prodal již roku 1624 za 32 500 kop míšeňských a peníze promrhal, byl od pokuty osvobozen.
Úsilovský statek, který se skládal z nové a staré tvrze, ze dvora vystavěného při tvrzi, vsi Úsilova, Vílova a tří mlýnů, koupil císařský velitel Filip Krac ze Šarfenštejna (Kratz ze Scharpfensteina). Krac vlastnil též rozlehlé panství blízkého hradu Rýzmberka. Rychle nabytého majetku si však neužil. Obrátil se proti císaři a v roce 1635 umírá jako zrádce na popravišti.
Zkonfiskovaný Úsilov přechází na Jana Oldřicha Burghausera, radu kurfiřta bavorského. Skrze jeho dceru, Marii Jakobu, jej poté vyženil Jan Filip Šic z Drahenic.