英虞湾に浮かぶ島で最大の面積があり、本州との間は10m未満である。近鉄志摩線が本州から島内に入り込み、島中央部に終点賢島駅がある。

江戸時代の指出帳には「かしこ山」とある^[4]。当時の農民が干潮の時、本州から徒歩（古語では「かち」と言った）で島に渡れたため「かちこえ島」と呼ばれたものが、訛って「かしこ山」→「かしこ島」となったとされる^[4]。

現在の漢字表記「賢島」に改められたのは、鉄道開通の時である^[5]。「かしこ島」というかな書きでは関係者が困るという理由から漢字が充てられたのであった^[6]。

賢島に人が住み始めたのは讃岐岩製の石鏃（せきぞく、矢じり）が発見されたことから、縄文時代と考えられている^[3]。島内からは、古代の製塩跡も発見されている^[3]。

しかし、後に無人島となり、1929年（昭和4年）に志摩電気鉄道（現在の近鉄志摩線）が開通するまで、島内は松林と水田が見られる程度だった^[4]。島内には主に旅客を扱う賢島駅と貨物専用駅の真珠港駅がおかれた^[7]。鉄道開通と共に開発が行われたが、当時は宿が1軒と商店が数軒だけという状態だった^[8]。鉄道開通により、賢島は真珠養殖資材の発散基地としての性格を持った^[8]。

1946年（昭和21年）の伊勢志摩国立公園指定^[9]、1951年（昭和26年）の志摩観光ホテルの開業を期に、近鉄による資本を中心として観光地化が進んだ^[8]。特に1964年（昭和39年）6月、近鉄は社内に「伊勢志摩開発委員会」を設置し「伊勢志摩総合開発計画」を策定、鳥羽地区と志摩地区での開発を企画し、特に志摩を重視した^[10]。そして1970年（昭和45年）の日本万国博覧会（大阪万博）に合わせて名古屋・大阪方面から志摩線へ近鉄特急の直通運転を実施することとなり、志摩線の軌間を1067mmから1435mmに改めることにした^[11]。その影響で1969年（昭和44年）に真珠港駅が廃止となった^[12]。一方、地元では密殖による病気の発生、水質汚染、世界的な真珠価格の暴落を背景に基幹産業であった真珠養殖業の斜陽化が見られ、島民の中には観光業に転じる者が出現した^[13]。さらに1968年（昭和48年）には志摩用水の整備で水不足問題が解消され、観光地発展の素地が整った^[8]。こうして近鉄系列の宿泊施設や志摩マリンランド、住民らが経営する旅館・民宿の立ち並ぶ観光地・賢島が形成された^[8]。

1987年（昭和62年）には『男はつらいよ 寅次郎物語』のロケ地に選ばれ、多くのファンが賢島を訪れた^[14]。現在では志摩地域の観光拠点として定着し、年間1260万人（『1992離島統計年報』による）の観光客が訪れている^[3]。

2015年（平成27年）6月5日、2016先進国首脳会議（伊勢志摩サミット）の会場になる事が決定した^[15][16][17]。これを受け、賢島駅前に臨時警備派出所が2016年（平成28年）2月16日に設置された^[18][19]。同年5月21日から5月28日まで入島規制が敷かれ、IDカードと車両証を持つ関係者以外は入島できなくなった^[20][21]。サミットからちょうど1年となる2017年（平成29年）5月26日には伊勢志摩サミット記念館「サミエール」が賢島駅2階に開館した^[22][23]。

賢島港（かしこじまこう）は、三重県志摩市阿児町神明賢島にある地方港湾。志摩電気鉄道（現・近鉄志摩線）の開業に合わせて1929年（昭和4年）に個人が私財を投げ打って開港した^[24]。1953年（昭和28年）9月22日に地方港湾指定^[24]。港湾は賢島周辺の横山島・多徳島を含む海域200haで円形をしている^[24]。現在は定期船や観光船の就航する志摩市の海の玄関口である。（Wikipediaより、一部）