به نوع پیاده سازی set که استفاده می کنید بستگی داره. برای مثال TreeSet اشیاء را دز یک درخت Red-Black ذخیره می کنه و از ساختار درختی برای پیدا کردن عناصر تکراری استفاده می کند ولی HashSet از HashMap برای این کار استفاده می کنه.
مدل های مختلف set از متد های equals و hashcode کلاس Object برای قرار دادن اشیاء در ساختار خود استفاده می کنند.