Compression TechniquesImages & Video

Compressing Images

● GIF (Graphic Interchange Format) Codec– employs LZW method for lossless compression

● TIFF (Tagged Image File Format) Codec– lossless syntactic method

● JPEG (Joint Photographics Experts Group) Codec– umbrella term covering several lossy and lossless

methods– baseline method is most commonly used one -- lossy

method based on a hybrid method

Compression:Coping with Large Files

● Compression is an encoding process that filters the original file in several successive stages

Other Methods for Reducing Demands

● Frame rate adjustment– adjusts for with slower CPUs– helps keep video and audio synchronized

● Lower resolution on individual frames– sometimes used in conjunction with smaller display window

Image Format - TIFF

● Tagged image file format● bit-mapped images● Publishing purpose● Incompatible between PC and MAC -> “jumbled picture”● Have built-in compression

Image Format - GIF

● Graphics interchanged format● Suitable for transferring between networks● “indexed color” -> 256 colours● GIF stores image using 1 channel (8 bits)● full-colors (JPEG) = 24 bit RGB color images using 3 bytes data = 8 bit for

each channel● Two types:

– transparent GIF (background is rendered invisible by an operation called masking) – interlaced GIF -> transmitted in progressive mode = at first image appears quickly

but in a coarse or low resolution, in successive steps, its pixels are replaced by better resolution until the image is displayed at full resolution

Image Format - JPEG

● Joint Photographic Expert Groups● a set of standard for compression image -> JPEG file● Popular format using 24-bit, full color images on web● lossy compression technique--> loss can be controlled

--> not noticeable

JPEG Compression

● Adalah piawai yg digunakan utk pemampatan dan penyahmampatan imej berwarna dan tanpa warna (grayscale)

Digunakan dlm audio-graphical videoconferencing, fax berwarna, imej-imej perubatan dan sebagainya

Idea asas utk menukarkan satu blok imej dlm domain masa kepada domain frekuensi.

Proses Pemampatan JPEG

Proses Pemampatan JPEG

Imej dibahagikan kepada beberapa blok dan setiap blok mengandungi kump. 8 X 8 pixels

● Dari domain spatial, blok di transformasikan kepada domain frekuensi menggunakan FDCT (Forward Discrete Cosine Transform)

● Pemampatan Lossy: Pengkuantitian/Quantization Jadual Pengkuantitian

● Kemudian pekali 2 dimensi DCT dikuantitikan menggunakan matriks pengkuantiti, dlm kes ini melibatkan matriks 8 X 8

Selepas proess pengkuantiti selesai, nilai asal imej tidak boleh dikembalikan, dirujuk sbg proses yg ‘lossy’

Pekali DCT yg berfrekuensi tinggi mempunyai nilai yg lebih kecil berbanding dgn yg berfrekuensi rendah

Oleh yang demikian, proses mengkuantiti pekali frekuensi tinggi adalah lebih ‘coarser’/kasar.

● Proses ini menghasilkan beberapa bilangan sifar dlm bahagian frekuensi tinggi pekali 2D DCT.

● Kemudian, pekali-pekali 2D DCT yg telah dikuantitikanakan ditukar kepada matriks 1 dimensi menggunakan Imbas Zig-zag.

● Imbas Zig-zag menghasilkan bilangan-bilangan sifar yg berdekatan antara satu sama lain.

● Pemampatan Lossless: Pengkodan Huffman Jadual Huffman Matriks 1D ini kemudian akan dikodkan menggunakan Jadual Pengkodan

Huffman Proses Pengkodan Huffman merupakan proses pemampatan yg lossless’ Akhirnya Penjana Syntak JPEG akan menjana syntax JPEG iaitu

Aliran Data Yg Telah Dikod yg boleh difahami oleh proses penyahmampatan JPEG

Penyahmampatan JPEG

● Aliran Data Yg Telah Dikod dgn syntax JPEG dinyahkodkan menggunakan Penyahkod/Decorder Syntak JPEG

● Kemudian proses Penyahkodan Huffman akan dilaksanakan menggunakan Jadual Huffman dan matriks 1D dijana bg setiap blok.

● Imbasan Zig-zag akan menukarkan matriks 1D kepada matriks 2D.

● Proses penyahkuantitian akan menggunakan Jadual Pengkuantitian utk menjana pekali 2D DCT

● Dengan menggunakan Inverse DCT (IDCT ), pekali 2D DCT ditransformasi kembali kPada domain spatial (8 X 8 blok pixels), utk membina semula blok-blok.

DCT● Imej yg terdiri drp blok-blok ditukar dari domain ruang ke domain

frekuensi menggunakan DCT. Fungsi ini menukar nilai dlm julat 8-bit setiap pixel blok data (8 X 8

pixels) kepada nilaian pekali 2D perwakilan frekuensi Output proses adalah peta frekuensi yg beri maklumat tentang

maklumat dgn frekuensi tinggi atau rendah dlm segmen blok. ● “Smooth and continuous tones” ditandakan dgn frekuensi rendah. ● Perubahan yg tajam dan dgn tiba-tiba / mendadak dlm keterikan pixel

ditandakan dgn frekuensi tinggi

Perumpukan Nilaian Spatial Perwakilan Keterikan

Warna Dalam Blok

Peta Frekuensi Setelah Fungsi DCT Dilasksanakan Ke Atas Blok

Laksanakan FDCT

DCT

Maklumat peta frekuensi diperlukan fasa Quantization● Dalam proses penyahmampatan JPEG, “Inverse DCT”

akan menukarkan pekali-pekali yg mewakili imej dlm domain frekuensi kembali kepada nilai-nilai pixels dalam domain spatial

Pengkuantitian

● Berdasarkan kepada matriks pengkuantitian Tujuan matriks ini adalah utk kuantitikan pekali-pekali

hasilan DCT Di mana setiap kemasukan pekali-pekali DCT dlm peta

frekuensi dibahagikan dgn kemasukan nilai kuantiti yg sepadan dari matriks kuantum

Hasil akan dibulatkan kepada nilai integer yg paling hampir.

Matriks Kuantiti / Kuantum (MK)

Peta Frekuensi / MK =

Peta Frekuensi

Matriks Hasil

Pengkuantitian (Cth)

Katakanlah nilai pekali DC adalah –80 dan nilai kuantiti matriks yg sepadan dgnnya adalah 16. Pembahagian antara 2 nilai akan menghasilkan nilai –5.

● Ulangi proses utk kesemua kemasukan pekali dalam blok 8 X 8

● Di dapati bahawa bahagian yg berfrekuensi tinggi dlm blok akan diwakili dgn unsur/hasilan sifar dan sebaliknya, selepas selesai prosen pengkuantitian.

● Merupakan proses yg lossy di mana nilai integer yg dibulatkan tidak boleh dibina semula menjadi yg asal oleh pengkodan

Teknik Mengimbas

● Selepas proses pengkuantitian, cuma bahagian yg berfrekuensi rendah dlm blok mengandungi pekali yg tidak sifar.

Utk mengurangkan bil. bits yg diperlukan utk storan dan komunikasi, pekali-pekali sifar dapat diletakkan bersama melalui perwakilan imbas zig zag

Proses imbasan zig zag atas pekali-pekali akan menghasilkan satu jujukan nombor seperti 0,2,1,-1,0,0,1,0,1,1,0,0,…

Imbas Zig-zag

Teknik Mengimbas

Kemudian pengkodan Run-Length boleh digunakan utk mengurangkan bil. bits yg diperlukan utk mewakilkan unsur sifar

● Iaitu, selepas proses mengimbas selesai, pengkodan jenis Run-Length dan Huffman dilaksanakan ke atas bit tersebut (perwakilan 1D Matriks) utk memperolehi bilangan bits yg optima

Jenis / Mod Pemprosesan JPEG

● Mod Berjujukan● Mod Progresif● Mod Hierarki● Mod Lossless

Mod Berjujukan

Imej dikod dlm tertib imbas raster dr. kiri ke kanan dan dr atas ke bawah

Mudah dan sesuai utk kebanyakan sistem Menggunakan satu laluan tunggal melalui data utk

mengkod imej dan menggunakan 8 bit resolusi bg setiap input

Mod Progresif● Imej dikod dlm multi-imbas sama ada dr imej pudar (frekuensi

rendah) ke imej yg tajam (frekuensi tinggi) atau dr bits bererti yg paling penting ke bits bererti yg paling rendah

Imej ditukarkan kPada domain frekuensi menggunakan DCT. Mod ini berguna bg penghantaran imej melalui saluran dgn

bandwidth/kelebaran yg terhad di mana pengguna boleh dipersembahkan dgn keseluruhan gambar secara kasar dahulu sebelum memperolehi gambar yg jelas dan terang jimat masa drPada menanti kejelasan bg gambar yg tidak dikehendaki.

Proses penyahmampatan pula dibina dr imej pudar ke imej yg jelas Mod ini meningkatkan keupayaan mod sebelumnya dlm memenuhi

keperluan aplikasi yg memerlukan resolusi yg lebih tinggi

Mod Hierarki

● Imej dikod menggunakan imej resolusi yg rendah sbg asas utk mengkod imej yg sama dgn resolusi yg lebih tinggi

● Mod ini beri lebih kemudahlenturan utk beberapa jenis peralatan dgn resolusi yg berbeza

Mod ‘Lossless’

Pembinaan semula imej asal secara tepat● Digunakan bg imej yg memerlukan pemampatan

‘lossless’ sbg cth bg imej perubatan yg kritikal

Digital Video The Entire Process Illustrated

Compressing Video

● Video compression employs both spatial and temporal compression– spatial techniques compress individual frames– temporal methods compress data in frames over time

● QuickTime and AVI (Audio Video Interleaved) are two popular (and incompatible with each other) formats

Compressing VideoSome Additional Methods

● DVI (Digital Video Interactive)

● Motion-JPEG

● MPEG (Motion Pictures Experts Group)

● The px64 Standard

Temporal Compression in Video

● Lossy strategies for eliminating redundancy of information between frames employ temporal compression -- referred to as interframe compression

● Sequence of frames are considered together– key frames– difference frames

● Used in QuickTime and DVI

Temporal Compression in Video (cont’d)

● MPEG and related codecs employ a more complex frame-referencing method– intrapictures (I pictures)– predicted pictures (P pictures)– bidirectional pictures (B pictures)

Compressing Audio

● Widely used method is ADPCM (Adaptive Differential Pulse Code Modulation)

● ADPCM– lossy method– employs a differencing technique related to those

used in video compression– used in DVI

Summary

● Compressing data means reducing the effective size of a data file for storage or transmission

● Particular paired compression/decompression methods are called codecs

● Codecs that cannot reproduce the original file exactly are called lossy methods; those that reproduce the original exactly are called lossless methods

● Text and numbers usually require lossless methods● Images, video, and sound codecs are usually lossy

Summary

● Syntactic methods attempt to reduce the redundancy of symbolic patterns in a file without any regard to the type of information represented

● Semantic methods exploit characteristics inherent in the type of information being represented

● The use of codecs is not an exact science -- the effectiveness and suitability of any method will depend on the exact nature of the original file and the intended use for the compressed file