Artificial Artificial IntelligenceIntelligence

Seyed Hashem DavarpanahSeyed Hashem DavarpanahDavarpanah@usc.ac.ir

University of Science and University of Science and CultureCulture

Text BookText Book

Illuminated Artificial Intelligence, Illuminated Artificial Intelligence, Ben Coppin, Jones and Barlett 2004Ben Coppin, Jones and Barlett 2004

, داورپناه هاشم سید ترجمه مصنوعی , هوش داورپناه هاشم سید ترجمه مصنوعی هوشمیرزایی میرزایی عبدالرضا عبدالرضا

Artificial Intelligence: A Modern Artificial Intelligence: A Modern Approach 3rd edition By Stuart Approach 3rd edition By Stuart Russel, Peter NorvigRussel, Peter Norvig

GradingGrading

Midterm Exam 25%25%

Project or Presentation 15%15%

Homework 10%10%

Conference Paper (Extra)Conference Paper (Extra) 10%10%

Journal Paper (Extra)Journal Paper (Extra) 15%15%

Class Activities (Extra)Class Activities (Extra) 10%10%

Final Exam 50%50%

ContentsContentsIntroduction

Agents

Knowledge Representation

Problems and Search Blind Search , Heuristic Search Constraint satisfaction, Optimization Problems

Games Game Tree, Games of chance

Advanced Topics Logic, Uncertainty and Imprecision Planning, Machine Learning

What is intelligence?What is intelligence?

Intelligence of Creatures Intelligence of Creatures Intelligence of Non-Creatures Intelligence of Non-Creatures Intelligence of Human Intelligence of Human

Intelligence of CreaturesIntelligence of Creatures Ape can Ape can ……

Use tool to get bananaUse tool to get banana Buy coke from vending machineBuy coke from vending machine

Dophin canDophin can…… Understand Understand ““languagelanguage”” & communicate with & communicate with

humanhuman Dog can Dog can ……

Recognize its master and his voiceRecognize its master and his voice Do a few jobsDo a few jobs

Parrot can Parrot can …… Do arithmeticDo arithmetic

Intelligence of CreaturesIntelligence of Creatures

Ants can Ants can …… Find their way homeFind their way home Communicate with one otherCommunicate with one other Manage their societyManage their society

Tree can Tree can …… Grow and do not collapseGrow and do not collapse Adapt itself to the environment (cactus)Adapt itself to the environment (cactus)

Migrant birds can Migrant birds can …… Identify their directionIdentify their direction

Intelligence of Non-Intelligence of Non-CreaturesCreatures

BloodBlood HeartbeatHeartbeat VirusVirus NeuronNeuron RainRain Do not seem to come from thinking Do not seem to come from thinking

with knowledge or information with knowledge or information consciously consciously ……

Intelligence of HumanIntelligence of Human

Problem-SolvingProblem-Solving ReasoningReasoning LearningLearning PlanningPlanning CommunicatingCommunicating PerceivingPerceiving ActingActing

What is AI?What is AI?

IntelligenceIntelligence: “ability to learn, : “ability to learn, understand and think” (Oxford understand and think” (Oxford dictionary)dictionary)

AI is the study of how to make AI is the study of how to make computers make things which at computers make things which at the moment people do better.the moment people do better.

Examples: Speech recognition, Examples: Speech recognition, Smell, Face, Object, Intuition, Smell, Face, Object, Intuition, Inferencing, Learning new skills, Inferencing, Learning new skills, Decision making, Abstract Decision making, Abstract thinkingthinking

Strong AI vs. Weak AIStrong AI vs. Weak AI قوی مصنوعی قوی هوش مصنوعی هوش

يك اعمال با كه عقيدهاند اين بر قوي مصنوعي هوش يك مريدان اعمال با كه عقيدهاند اين بر قوي مصنوعي هوش مريدانكافي هوش تأمين با و باال محاسباتي قدرت با كامپيوتري كافي برنامه هوش تأمين با و باال محاسباتي قدرت با كامپيوتري برنامه

ظاهر در كه ساخت كامپيوتري ميتوان آن، ظاهر براي در كه ساخت كامپيوتري ميتوان آن، ميكند براي ميكند فكر و و فكراست، هوشيار انسان يك كه گونه است، همان هوشيار انسان يك كه گونه ..ميباشد ميباشد هوشيارهوشيارهمان

ضعیف مصنوعی ضعیف هوش مصنوعی هوش مدل ميتواند هوشمند رفتار ضعيف، مصنوعي هوش ديد مدل از ميتواند هوشمند رفتار ضعيف، مصنوعي هوش ديد از

گيرد قرار استفاده مورد پيچيده مسائل حل جهت و گيرد شود قرار استفاده مورد پيچيده مسائل حل جهت و شود it is not necessary to mimic human (e.g. it is not necessary to mimic human (e.g. arithmetic)arithmetic)

it is not necessary to imitating birds in order it is not necessary to imitating birds in order to flyto fly

نميتوان دارند هوشمندانه رفتار كامپيوترها كه دليل اين به نميتوان تنها دارند هوشمندانه رفتار كامپيوترها كه دليل اين به تنهاهستند هوشمند انسان همانند كه كرد هستند استناد هوشمند انسان همانند كه كرد استناد

Definition of AIDefinition of AI

Weak AIWeak AI Artificial intelligence is the study of Artificial intelligence is the study of

systems that systems that act act in a way that to any in a way that to any observer would observer would appear to be intelligentappear to be intelligent..

Strong AIStrong AI Artificial intelligence involves using Artificial intelligence involves using

methods based on methods based on the intelligence the intelligence behavior of humans and other animalsbehavior of humans and other animals to solve complex problems.to solve complex problems.

چيني چيني اتاق اتاق سيرل سيرل جان ك جان مطرح قوي مصنوعي هوش با فلسفي مخالفت در را چيني ك اتاق مطرح قوي مصنوعي هوش با فلسفي مخالفت در را چيني ..ردرداتاق . دارد قرار اتاق يك در زبان انگليسي مرد . يك دارد قرار اتاق يك در زبان انگليسي مرد كند، او او يك صحبت چييني زبان با ميتواند كند، نه صحبت چييني زبان با ميتواند نه

. سري يك آنها روي بر دارد، وجود كارت يكسري اتاق داخل در بفهمد نه و بخواند . نه سري يك آنها روي بر دارد، وجود كارت يكسري اتاق داخل در بفهمد نه و بخواند نهنوشته انگليسي زبان به دستورالعمل و راهنمايي يكسري همراه به چيني نوشته عالمتهاي انگليسي زبان به دستورالعمل و راهنمايي يكسري همراه به چيني عالمتهاي . . ميشود داده اتاق داخل به درب شكاف از چيني، زبان به داستان، يك است . شده . ميشود داده اتاق داخل به درب شكاف از چيني، زبان به داستان، يك است شده . مرد كه راهنماييهاي كردن دنبال با ميشود پرسيده نيز آن درباره سؤاالت . يكسري مرد كه راهنماييهاي كردن دنبال با ميشود پرسيده نيز آن درباره سؤاالت يكسريبه كه كارتها روي سمبولهاي از استفاده با را جوابهايي ميتواند او دارد دست به در كه كارتها روي سمبولهاي از استفاده با را جوابهايي ميتواند او دارد دست در

. دهد پس سؤالكننده به درب شكاف از را آنها و بسازد ميباشند چيني . زبان دهد پس سؤالكننده به درب شكاف از را آنها و بسازد ميباشند چيني زبان

. . كارتها قطعه نميفهمد چيني اتاق، در مرد است ساده استدالل يك سيرل . استدالل . كارتها قطعه نميفهمد چيني اتاق، در مرد است ساده استدالل يك سيرل استدالل . . ميتواند مجموع در سيستم اما نميفهمد چيني خودش اتاق نميفهمند . چيني . ميتواند مجموع در سيستم اما نميفهمد چيني خودش اتاق نميفهمند چيني

قسمتي ) يا سيستم كه كند باور مجموعه شاهد يك كه دهد نشان خود از قسمتي ) خصوصياتي يا سيستم كه كند باور مجموعه شاهد يك كه دهد نشان خود از خصوصياتي . ) ميفهمند چيني آن . از ) ميفهمند چيني آن از

نمايد رفتار هوشمند روش به كه كامپيوتري برنامه يك راهاندازي ديگر، عبارت نمايد به رفتار هوشمند روش به كه كامپيوتري برنامه يك راهاندازي ديگر، عبارت به . ندارد واقعي هوشمندي يا هوشياري فهم، توليد به . نيازي ندارد واقعي هوشمندي يا هوشياري فهم، توليد به نيازي

. هوشمند ماشيني تورينگ ديدگاه براساس دارد مغايرت تورينگ ديدگاه با استدالل . اين هوشمند ماشيني تورينگ ديدگاه براساس دارد مغايرت تورينگ ديدگاه با استدالل اينانسان يك نيز آن كه كند فكر انسان كه طوري به بزند گول را انسان بتواند كه انسان است يك نيز آن كه كند فكر انسان كه طوري به بزند گول را انسان بتواند كه است

است. است.

StronStrong Methodg Method vs. Weak vs. Weak MethodMethod

قوی قوی روندهای روندهای با ارتباط در موجود دانش از كه هستند آنهايي قوي با روندهاي ارتباط در موجود دانش از كه هستند آنهايي قوي روندهاي

استفاده است شدن حل حال در كه مسئلهاي خود و استفاده محيط است شدن حل حال در كه مسئلهاي خود و محيطبا. دنيا پيچيده مسائل از بسياري حل جهت با. مينمايند دنيا پيچيده مسائل از بسياري حل جهت مينمايند

روندهاي از استفاده به احتياج مصنوعي هوش از روندهاي استفاده از استفاده به احتياج مصنوعي هوش از استفاده. ميباشد .قوي ميباشد قوي

ضعیف ضعیف روندهای روندهای و دانش به وابسته كه هستند آنهايي ضعيف و روندهاي دانش به وابسته كه هستند آنهايي ضعيف روندهاي

دارند، را آنها حل قصد كه مسائلي و محيط از دارند، يافتههايي را آنها حل قصد كه مسائلي و محيط از يافتههاييك. اين در شده مطرح تكنيكهاي اغلب ك. نميباشند اين در شده مطرح تكنيكهاي اغلب اين السالسنميباشند اين از از

نوعند.نوعند.

AI HistoryAI HistoryAristotle 384-322 B.C. : SyllogismAristotle 384-322 B.C. : Syllogism: رسطو رسطو اا ميشود تعريف چنين كه نهاد بنا را قياس : نظريه ميشود تعريف چنين كه نهاد بنا را قياس نظريه

ساير و دارند وجود بالذاته معيني چيزهاي آن، براساس كه ساير بحثي و دارند وجود بالذاته معيني چيزهاي آن، براساس كه بحثي. ميكنند پيدا وجود ضرورت موجود، اصول اين براساس .چيزها ميكنند پيدا وجود ضرورت موجود، اصول اين براساس چيزها

All men are mortal. Socratis is a man. All men are mortal. Socratis is a man. Socrais is mortalSocrais is mortal

Gottfried Leibniz, late 17th centuryGottfried Leibniz, late 17th centuryDeveloping a formal mathematical language for Developing a formal mathematical language for

reasoningreasoningGeorge Boole, 1815-1864George Boole, 1815-1864

Boolean algebraBoolean algebraGottlob Frege, 1879,1884Gottlob Frege, 1879,1884

First-Order Predicate CalculusFirst-Order Predicate CalculusCharles Babbage, 1950sCharles Babbage, 1950s

Analytic engine Analytic engine –– first computer first computer

Turing TestTuring Test Alan Turing, Alan Turing, Computing Machinery & Computing Machinery &

IntelligenceIntelligence, 1950, 1950 An Interrogator An Interrogator

Is given access to two individuals Is given access to two individuals –– a human a human and a computerand a computer

Can ask the two individuals any questions in Can ask the two individuals any questions in text modetext mode

Is requested to distinguish the computer from Is requested to distinguish the computer from the human the human

If the interrogator cannot distinguish the If the interrogator cannot distinguish the computer from the human, then the computer from the human, then the computer may be assumed to be computer may be assumed to be intelligentintelligent..

Turing TestTuring Test

Turing TestTuring Test Giving an objective notion of intelligenceGiving an objective notion of intelligence

The behavior of a known intelligent being in The behavior of a known intelligent being in response to a particular set of questionsresponse to a particular set of questions

Preventing from being sidetracked by Preventing from being sidetracked by confusing & unanswered questionsconfusing & unanswered questions whether the computer whether the computer usesuses internal internal

processesprocesses whether the machine is whether the machine is consciousconscious of its of its

actionsactions Eliminating bias in favor of living Eliminating bias in favor of living

organisms over machine intelligence organisms over machine intelligence

Influences of Turing TestInfluences of Turing Test No program has passed the Turing test No program has passed the Turing test

yetyet Providing a basis for many schemes Providing a basis for many schemes

used to evaluate modern AI programsused to evaluate modern AI programs Human behaviors could be as indications of Human behaviors could be as indications of

““intelligentintelligent”” or or ““goodgood”” ExamplesExamples

Expert systemExpert system Information retrievalInformation retrieval Speech synthesisSpeech synthesis Spoken dialogue (wizard of Oz)Spoken dialogue (wizard of Oz)

AI HistoryAI History Artificial IntelligenceArtificial Intelligence was first used by was first used by

John McCarthy at a conference in John McCarthy at a conference in Dartmouth College, in Hanover, New Dartmouth College, in Hanover, New Hampshire.Hampshire. John McCarthy invented LISP programming John McCarthy invented LISP programming

language in 1958language in 1958 Newell and Simon (1957)invented the Newell and Simon (1957)invented the

idea of the General Problem Solver idea of the General Problem Solver (GPS)(GPS) To solve almost any logical problemTo solve almost any logical problem Means-ends analysisMeans-ends analysis

AI HistoryAI History

1960~19901960~1990 Optimism Optimism Realism Realism No longer to create a robot as No longer to create a robot as

intelligent as a human, but rather to use intelligent as a human, but rather to use algorithms, heuristics, and algorithms, heuristics, and methodologiesmethodologies based on the ways in based on the ways in which the human brains solves which the human brains solves problems.problems.

PhilosophyPhilosophy(( فلسفه و فلسفه حكمت و ((حكمت Socratis and PlatoSocratis and Plato

كه است پرهيزگار انسان يك در خصوصيتي چه اين كه بدانم كه ميخواهم است پرهيزگار انسان يك در خصوصيتي چه اين كه بدانم ميخواهم ... را آن بتوانم هم من شايد تا شوند مقدس عملهايش ميشود ... باعث را آن بتوانم هم من شايد تا شوند مقدس عملهايش ميشود باعث

كنم استفاده آن از استاندارد الگوي يك عنوان به و باشم كنم داشته استفاده آن از استاندارد الگوي يك عنوان به و باشم وسيله ووداشته وسيله به به. شود حاصل برايم انسانها ديگر و خود اعمال از برآوردي و نگرش .آن شود حاصل برايم انسانها ديگر و خود اعمال از برآوردي و نگرش آن

،يا دارد؟ وجود ساده نرونهاي از مجموعهاي از بيشتري چيز ما مغز در يا، آيا دارد؟ وجود ساده نرونهاي از مجموعهاي از بيشتري چيز ما مغز در آيادستگاه يك وسيله به انسان مغز از نرون هر اگر ديگر، عبارت دستگاه به يك وسيله به انسان مغز از نرون هر اگر ديگر، عبارت به

دست مشابه شخصي به است ممكن شود جايگزين معادل دست محاسباتي مشابه شخصي به است ممكن شود جايگزين معادل محاسباتيباشد؟ هوشمند ميتواند حاصل مغز آيا و باشد؟ يابيم؟ هوشمند ميتواند حاصل مغز آيا و يابيم؟

An algorithm could be defined that described the An algorithm could be defined that described the behavior of humans determines whether a personbehavior of humans determines whether a person ’’s s behavior was behavior was good or badgood or bad..

Rene Descartes (17th century)Rene Descartes (17th century) دو از دو جهان از . مادهمادهجهان : از h كامال خرد خرد و جسم است شده تشكيل جدا h . كامال : از h كامال خرد خرد و جسم است شده تشكيل جدا h كامال

. آن از است نشده محدود آن جانب از وجه هيچ به و جداست فيزيكي . بدن آن از است نشده محدود آن جانب از وجه هيچ به و جداست فيزيكي بدن. نيست صادق حيوانات درباره دوگانگي اين كه بود معتقد ديسكارتز .مهمتر نيست صادق حيوانات درباره دوگانگي اين كه بود معتقد ديسكارتز مهمتر

LinguisticsLinguistics((زبانشناسيزبانشناسي))

Noam Chomsky 1950sNoam Chomsky 1950s Syntactic Structure: a formal theory of Syntactic Structure: a formal theory of

the structure of human languagethe structure of human language A structure of human knowledgeA structure of human knowledge

PsychologyPsychology (( روانشناسي روانشناسي ((انسانيانساني

Cognitive psychologyCognitive psychology(( ادراکی ادراکی روانشناسی ((روانشناسی Human brain uses Human brain uses knowledge or knowledge or

informationinformation that it is capable of processing that it is capable of processing in order to solve problems, make decisions, in order to solve problems, make decisions, draw conclusions, and carry out other draw conclusions, and carry out other intelligent acts.intelligent acts.

BehaviorismBehaviorism((رفتارگراييرفتارگرايي)) stimuli stimuli behavior behavior

انگيزه هاي به مستقيما� را رفتار انگيزه هاي رفتارگرايي، به مستقيما� را رفتار رفتارگرايي،دانش و اطالعات اينكه بدون مي دهد، ارتباط دانش آن و اطالعات اينكه بدون مي دهد، ارتباط آن

. دهد قرار مدنظر آن مورد در را مغز در .موجود دهد قرار مدنظر آن مورد در را مغز در موجود

BiologyBiology(( حیات حیات علم ((علم

Neural NetworkNeural Network Learning capabilityLearning capability

Genetic AlgorithmGenetic Algorithm Gene, chromosomeGene, chromosome EvolutionEvolution

Speech RecognitionSpeech Recognition Computer VisionComputer Vision

Four Approaches of AIFour Approaches of AILogic

Turing testKnowledge rep.NL processingMachine learningAutomatic reasoningrobotics

Cognitive Science

Rational Agent

AI Programming AI Programming LanguageLanguage

C++, Java, PROLOG, LISP (List C++, Java, PROLOG, LISP (List Programming)Programming)

PROLOG PROLOG (Programming in Logic)(Programming in Logic) Facts : made_from(cheese, milk).contains(milk, Facts : made_from(cheese, milk).contains(milk,

calcium). calcium). Rules : contains(X, Y):- made_from(X, Z), Rules : contains(X, Y):- made_from(X, Z),

contains(Z, Y).contains(Z, Y). QueriesQueries

contains(cheese, calcium). contains(cheese, calcium). yes yes

contains(X, calcium) contains(X, calcium) X=milk. X=cheese. X=milk. X=cheese.

AI Application AreaAI Application Area Game PlayingGame Playing Automatic Reasoning & Theorem ProvingAutomatic Reasoning & Theorem Proving Expert SystemsExpert Systems Natural Language Understanding and Natural Language Understanding and

Semantic ModelingSemantic Modeling Planning and RoboticsPlanning and Robotics SchedulingScheduling Machine LearningMachine Learning Neural NetworksNeural Networks

List of AI PublicationsList of AI Publications General AI conferences: IJCAI, AAAI, ECAIGeneral AI conferences: IJCAI, AAAI, ECAI Reasoning under uncertainty: UAIReasoning under uncertainty: UAI Machine learning: ICML, NIPSMachine learning: ICML, NIPS Multi-agent systems: AAMASMulti-agent systems: AAMAS Vision: ICCV, CVPRVision: ICCV, CVPR

Some journals: Artificial Intelligence, Journal Some journals: Artificial Intelligence, Journal of AI Research, Machine Learning, Journal of of AI Research, Machine Learning, Journal of ML Research, Journal of Autonomous Agents ML Research, Journal of Autonomous Agents and Multi Agent Systemsand Multi Agent Systems

AI MagazineAI Magazine

Some AI videosSome AI videos Note: there is a lot of AI that is not quite this Note: there is a lot of AI that is not quite this

“sexy” but still very valuable!“sexy” but still very valuable! E.g. logistics planning – DARPA claims that savings E.g. logistics planning – DARPA claims that savings

from a single AI planning application during 1991 from a single AI planning application during 1991 Persian Gulf crisis more than paid back for all of Persian Gulf crisis more than paid back for all of DARPA’s investment in AI, ever. DARPA’s investment in AI, ever. [Russell and Norvig][Russell and Norvig]

http://www.youtube.com/watch?http://www.youtube.com/watch?v=1JJsBFiXGl0&feature=relatedv=1JJsBFiXGl0&feature=related

http://www.youtube.com/watch?http://www.youtube.com/watch?v=ICgL1OWsn58&feature=relatedv=ICgL1OWsn58&feature=related

http://www.cs.utexas.edu/~kdresner/aim/video/fcfs-http://www.cs.utexas.edu/~kdresner/aim/video/fcfs-insanity.movinsanity.mov

http://www.youtube.com/watch?http://www.youtube.com/watch?v=HacG_FWWPOw&feature=relatedv=HacG_FWWPOw&feature=related

http://videolectures.net/aaai07_littman_ai/http://videolectures.net/aaai07_littman_ai/ http://www.ai.sri.com/~nysmith/videos/SRI_AR-http://www.ai.sri.com/~nysmith/videos/SRI_AR-

PA_AAAI08.aviPA_AAAI08.avi http://www.youtube.com/watch?v=ScXX2bndGJchttp://www.youtube.com/watch?v=ScXX2bndGJc