browser uploads to s3 using html post forms

Browser Uploads to S3 using HTML POST Forms

@suz_lab

Saturday, December 17, 11

AWSで負荷分散が容易に！


(Upload)ファイル分散問題

•nfs?

•SPOF対策が面倒...

•s3fs?

•Heavyに利用すると嫌な思い出が...

•...


As-Is と To-Be


シーケンス


<form action="http://www.suz-lab.com.s3.amazonaws.com/" method="post" enctype="multipart/form-data"> <input type="hidden" name="key" value="${filename}"/> <input type="hidden" name="AWSAccessKeyId" value="AAAAAAAAAAAAAAAAAAAA"/> <input type="hidden" name="acl" value="private"/> <input type="hidden" name="success_action_redirect" value="http://www.suz-lab.com/"/> <input type="hidden" name="policy" value="pppppppppppppppppppppppppppp"/> <input type="hidden" name="signature" value="ssssssssssssssssssssssssssss"/> <input type="hidden" name="Content-Type" value="text/plain"/> <input type="file" name="file"/> <input type="submit" name="button" value="Upload"/> </form>


http://www.suz-lab.com.s3.amazonaws.com


http://www.suz-lab.com


action

•バケット名.s3.amazonaws.comを指定

•http/httpsが指定可能

•www.suz-lab.comのようなドット区切りのバケット名は証明書エラー

•証明書が*.s3.amazonaws.comだから




key

•S3にアップロードされるオブジェクト(ファイル)名を指定

•${filename}にするとアップロードするファイル名が利用される


acl

•private

•public-read

•public-read-write

•authenticated-read

•bucket-owner-read

•bucket-owner-full-control


success_action_redirect

•アップロード完了後のリダイレクト先

•http://www.suz-lab.com/

?bucket=www.suz-lab.com

&key=upload.txt

&etag=%22...%22


http://www.suz-lab.com/?bucket=www.suz-lab.com&key=upload.txt&etag=%225df03f95b4ff4f4b5dabe53a5a1e15d7%22








policy

•JSONで記述されたポリシーをBase64でエンコードしたもの

•ポリシーには有効期限やフォームのinputタグに記載された内容の条件などを記述


require 'base64'

json = <<"EOS"{ "expiration": "2012-01-01T00:00:00Z", "conditions": [ {"bucket": "www.suz-lab.com"}, ["starts-with", "$key", ""], {"acl": "private"}, {"success_action_redirect": "http://www.suz-lab.com/"}, ["starts-with", "$Content-Type", ""], ["content-length-range", 0, 1048576] ]}EOS

policy = Base64.encode64(json).gsub("\n","")






signature

•Base64でエンコードされたポリシーをHMAC/SHA-1を使ってシークレットキーでサインして、さらにBase64でエンコードしたもの


require 'base64'require 'openssl'require 'digest/sha1'

...

signature = Base64.encode64(OpenSSL::HMAC.digest( OpenSSL::Digest::Digest.new('sha1'), "SECRET_KEY", policy)).gsub("\n","")


まとめ

•負荷分散によるアップロードファイル分散問題

•直接S3にファイルアップロードすることで解決

•S3の耐久性と可用性をダイレクトに利用できるので負荷や障害にも強いシステムに！


参考資料

• Browser-Based Uploads Using POST

http://docs.amazonwebservices.com/AmazonS3/2006-03-01/dev/UsingHTTPPOST.html

• Browser Uploads to S3 using HTML POST Forms

http://aws.amazon.com/articles/1434

• Amazon Simple Storage Service: Browser-Based Uploads using POST Proposal

http://doc.s3.amazonaws.com/proposals/post.html










cloudpack


browser uploads to s3 using html post forms

Technology