AWS S3的節費
資訊時代的來臨，導致現在組織的電子資料呈現爆炸性增長。然而地端機房的固定資源大小讓我們必須對資料量的存大小作出限制。雖然雲端時代可以讓我們資料量無限成長，前提是公司很有錢，並且資訊人員是懶惰管理法。
所以在雲端時代，我們必須"有智慧"的管理我們的資料儲存。這樣儲存資料的能力比地端機房還要大，並且其成本是比地端機房還要低的。特別是現在AI的時代中，我們需要在大量的資料中進行分析。
Object storage的優化
S3是AWS的Object storage服務，大多數的企業在用此項服務時一開始是用在備份與歸檔，或是存放大檔案(例如影音與圖片)。降低 S3 成本可歸結為三個議題：
- 資料要存放在S3的哪個位置?
- 該資料存取的頻率如何?
- 要將資料移動到哪裡?
這些議題要視我們的系統而定。例如如果是歸檔/備分資料，哪存取的頻率就會很少。如果是影音資料，哪在一開始一定經常被存取，但隨著時間推移存取的頻率可能會開始下降。也就是說，我們需辨識(搞清楚)組織業務邏輯對其資料的使用模式。
針對上面的三個議題，我們也提出三種方式來對應:
- 資料的乾淨度(Data Hygiene)
- S3不同的儲存等級(達到最大程度的省錢)
- 管理資料是成指數型成長，也能管理其成本
資料的乾淨度(Data Hygiene)
第一件事就是針對資料進行管理。如果是懶惰管理法，通通把資料丟到同一個地點(也就是同一個Bucket)，而沒做分類管理，哪我們甚麼優化也做不到。
在S3 Bucket中，我們需要針對Prefix進行管理，這個Prefix我們可以把它當作是在file server中的folder/sub-forder名稱，只是其底層架構跟file server(block storage)長得不一樣。其Prefix的不同決定了資料時記得的存放位置。
而在Bukcet中的object(也可以把它當作file server裡的每一個單獨檔案，只是object本身附加了metadata)也可以對其下標籤(tag，增加medata的屬性數量)。這個對我們針對資料不同屬性進而進行成本管理非常重要，通常我們無法針對直接針對檔案名稱一眼辨識出是誰在用的。特別是這個資料是多個單位會用到，費用也可能需要拆帳。另外tag也很方便讓我們針對該檔案做自動化的lifecycle management。
運用S3 storage classes進行儲存優化
我們在選擇較便宜的S3 storage classes時，其實是犧牲了資料在耐久性(durability)、可用性(availability)與效能這幾個面向的其中之一或部分。
也就是說根據資料的存取模式來決定資料應該儲存在哪一個層級，類似我們在傳統地端機房時代將歸檔資料交付磁帶保管廠商。只是在雲端時代，AWS再細分了多種不同的服務等級。重點在於:
我們要去理解組織各類資料的使用模式(根據業務邏輯)，並尋找最合適的S3 storage classes
目前(2024年3月)AWS S3提供了八種不同等級的Storage Class，關於這八種等級的各種特徵與比較，請參閱AWS文件庫。當然了，AWS還是提供了懶人管理法 — Intelligent-Tiering。這個跟筆者有相同地端機房經歷的人就會知道，在賣硬體的Storage廠商也提供類似的技術，就是根據資料使用的歷史存取紀錄自動地搬移到不同的儲存等級。
但是還是強烈建議理解資料的存取模式來設定資料的生命週期進行管理，這樣比較有效率也比較省錢(如下圖所示)。
AWS S3 Lifecycle Transition requests是有費用的，也就是說資料的移動有價錢的(雖然可以能很小)。但如果經常把資料移來移去產生的費用也很可觀，也代表我們沒有了解資料的使用模式，哪還不如使用Intelligent-Tiering就不會有這樣的費用，但還是會讓其他可能的費用產生。
另外不論是個別的Object or Prefixes(也是folder)都可以下tag後來用Lifecycle進行規則管理(根據業務規則)。
在S3中管理大量的資料
上述的S3管理都是基於單一個Bucket的作法。但是如果我們是一個大企業，有數百個Bucket甚至上千個需要進行管理呢?首先，如果組織已經有CCoE(Cloud Center of Excellence)，哪麼組織應該已經設立了良好的治理/管理規則與實踐。這幫助我們在一開始管理在S3中管理大量資料奠定的良好基礎。
同樣的AWS也提供這一類的管理工具 — Storage Len，來協助我們管理S3中大量的資料。Storage Lens可以幫助整個組織中Object storage的使用狀況。 Storage Lens 為組織內所有帳號的Buckets提供使用情況和活動指標以及報告儀表板。 使用Storage Lens metrics來查看物件的存取模式，以便我們可以根據呈現的資訊選擇要選擇的儲存類別。 下圖是一個範例：
