Er war der Sohn von Johannes Nepomuk Schweitzer, Zollbeamter in Raibl, und Franziska Kuhdorffer. Er hatte neun jüngere Geschwister und war bis in die Zeit 1790/1800 Beamter in Zahlstellen in Villach und Klagenfurt. Dann zog er nach Spittal in die Dienste der Porcia als deren Salzversilberer. Er war Vater von fünf Töchtern, von denen die drei überlebenden in der Geschichte der Rizzi große Spuren hinterließen.