new business made simple building radar: generating · 23 »2 ner - example “haßloch.nach der...
TRANSCRIPT
![Page 1: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/1.jpg)
1
Building Radar: Generating new business made simple
![Page 2: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/2.jpg)
2
Agenda
● What we do & use case
● NLP @ Building Radar
● Next Challenges
● Q&A Session
![Page 3: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/3.jpg)
3
What we doBuilding Radar generates a measurable sales pipeline for companies in the construction industry by providing customers with business opportunities.
We deliver leads for their target market and support them through the sales process.
3
![Page 4: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/4.jpg)
© Building Radar GmbH 2019 4
● Other industries had success
● New Applications
● Early adopters and visionaries
● Pandemic
4
Growth of AI
![Page 5: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/5.jpg)
5
Use Case
● Find construction projects early
● Spend more time selling and not researching
● Getting in contact
![Page 6: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/6.jpg)
66
How do we identify relevant construction leads?
Every hour, we are searching through 50.000+ global sources to find signs of construction projects.
Neural networks are evaluating more than 1.000.000 articles daily and
identify over 5.000 brand-new construction projects worldwide.
Based on your criteria, we are providing you with highly relevant
construction leads in real-time.
![Page 7: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/7.jpg)
7
Building Radar: Generating new business made simpleNLP @ Building Radar
![Page 8: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/8.jpg)
88
Scraping of news websites: Not all articles are related to construction industry⇒ Filtering
Customers are interested in enriched data⇒ Labeling, Tagging
Customer’s expectations & BR techniques
Phases● Under construction● Planned● Finished
Categories● Agriculture● Industrial● Residential● ...
Entities● Construction’s location● Construction’s value● ...
![Page 9: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/9.jpg)
9
Why use NLP?
Tenders
News Articles
Architect Websites
Images
1
2
3
4
Different sources more or less (un)structured:
![Page 10: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/10.jpg)
1010
News articlesDifferent sources more or less (un)structured:
![Page 11: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/11.jpg)
1111
TendersDifferent sources more or less (un)structured:
![Page 12: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/12.jpg)
1212
Architect WebsitesDifferent sources more or less (un)structured:
![Page 13: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/13.jpg)
1313
ImagesDifferent sources more or less (un)structured:
![Page 14: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/14.jpg)
14
How do we deliver structured data?
Classification
NER (Named Entity Recognition)
Q&A (Question & Answering)
1
2
3
Various NLP tasks
![Page 15: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/15.jpg)
15
1 Classification
15
» “Jetzt haben es Stadtverwaltung und Rat schriftlich: Der Misserfolg in der Beethovenhalle hat viele Mütter und Väter. Nachdem die städtischen Rechnungsprüfer das millionenschwere Desaster gewohnt nüchtern analysiert haben, formt sich ein Bild.”
● Infrastructure● Office● Sport● Agriculture● Etc...
Multi-Class Multi-Label classification
![Page 16: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/16.jpg)
1616
BERT model: bert-base-german-cased with FARM 1 Classification - Solution
![Page 17: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/17.jpg)
17
Building Radar: Generating new business made simpleExcursus BERT
![Page 18: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/18.jpg)
1818
Released by Google end of 2018
Application of Transformer (attention model) in order to create a language model.⇒ Outperforms existing language models in contextual understanding of language
BERT (Bidirectional Encoder Representations for Transformers)
![Page 19: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/19.jpg)
1919
Transformer, an attention mechanism that learns contextual relations between words.
Transformer has two mechanisms:
● Encoder reading the text input ● Decoder producing a prediction for the task (not used to create the language
model)
BERT - Transformer
![Page 20: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/20.jpg)
2020
In pre-processing 15% of the words are replaced with a [MASK] token. The model tries to predict the original token.
BERT - Transformer Encoder
![Page 21: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/21.jpg)
2121
Ease of implementation and use of a BERT language model:
● Text classification: Add a classification layer
● NER: Feed the output vector of each token into a classification layer
Frameworks allow us to implement these models easily (FARM, Hugging Face)
BERT - Why use BERT?
![Page 22: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/22.jpg)
2222
Customers are also interested in more than the phases and categories of a construction.
They also need to know:
● Where the construction will happen
● When it will start
● What the size of the construction is
● ...
2 NER
![Page 23: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/23.jpg)
23
2 NER - Example
23
» “Haßloch. Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird auch der Holiday Park ab dem 10. Juni wieder seine Tore öffnen. Das Konzept zur Wiederöffnung des Holiday Parks beinhaltet unter anderem die Beschränkung der maximalen Besucherzahl, die verpflichtende Online Anmeldung für die Besucher und zahlreiche Hygiene- und Sicherheitsmaßnahmen innerhalb des Parks. Mit der Wiederöffnung präsentiert der Holiday Park, mit „DinoSplash“ auch dieses Jahr wieder ein neues Abenteuer für die
ganze Familie.”
Address location
Where will the construction happen?
“Rheinland-Pfalz”
![Page 24: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/24.jpg)
2424
2 NER - Theory
![Page 25: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/25.jpg)
2525
The difference between a location and construction location is small. It is hard for a NER model to make this difference.
Within a text a model can predict more than one construction location. Challenge: The correct entity must be chosen
3 Q&A - Cons of sequence tagging
![Page 26: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/26.jpg)
26
3 Q&A - Theory
26
» “Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary”
Match a question with a text’s span
To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?
"answer_start": 515, "text": "Saint Bernadette Soubirous"
![Page 27: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/27.jpg)
2727
3 Q&A - Theory
![Page 28: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/28.jpg)
28
3 Q&A - Example
28
» “Ampeln an der B1: CDU Dortmund registriert neue Pläne der Stadtverwaltung mit Kopfschütteln - und macht Gegenvorschlag”
Address location
“In welcher Stadt ist das Projekt ?”“Dortmund”
“Wo ist das Projekt ?”“an der B1”
![Page 29: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/29.jpg)
29strictly confidential - please do not share
What is the result?● Relevant construction projects
can be easily found
● Information is readily available, less research time
● Market intelligence
![Page 30: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/30.jpg)
30
Building Radar: Generating new business made simpleNext challenges
![Page 31: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/31.jpg)
3131
NLP Topics● Document Level NER
● Single Model for Classification and NER tasks
● Contextual Document Similarity
● Document summarization / paraphrasing
● Auto ML
»
![Page 32: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/32.jpg)
32
Come and Join the Team!
32
1Working Student, Thesis and Full-time positions
2
3
68+ employees from 13 nations based in Munich
1.000.000+ newspaper articles read. Number of employees manually researching construction projects: 0
![Page 33: new business made simple Building Radar: Generating · 23 »2 NER - Example “Haßloch.Nach der Bekanntgabe der Lockerungen der Corona-Maßnahmen des Landes Rheinland-Pfalz wird](https://reader033.vdocument.in/reader033/viewer/2022060321/5f0d579f7e708231d439dff9/html5/thumbnails/33.jpg)
33
33
Thank you! Building Radar: Generating new business made simple
Aurélien [email protected]
Marco [email protected]