may 2010 - hibernate search
DESCRIPTION
Hibernate Search - Sanne Grinovero 29/05/2010 - Jug Sardegna - JBoss User Group RomaTRANSCRIPT
HIBERNATE SEARCH
Java Users Group Sardegna e JBoss Users group RomaCagliari 29 Maggio 2010
“Gooooglizzare” efficacementeil domain model
Sanne GrinoveroTeam Hibernate per Sourcesense
Example database
Search engine: obiettivi
● Chi cerca non sa cosa sta cercando:● non è in grado di inserire l'ID dell'oggetto che
desidera recuperare● non conosce il contenuto esatto del documento
● Interfaccia tipica:● Form complesse con molti campi● Testo libero!
Idea:
Specifiche “probabili”
● Campo unico● Nome autore e/o nome prodotto● Nome e cognome dell'autore, nomi composti
● Innanzitutto i match principali● prodotti che corrispondono sia per nome che per
nome autore devono venire per primi● Nomi completi di prodotto prima di nomi parziali
– “portatile mac” > “portatile”
SQL è il martello:
String nomeAutore = “Fabrizio De André”String nomeProdotto = “Nuvole barocche”List<Prodotti> list = s.createQuery( “ ...? “ );
SQL è il martello:
String nomeAutore = “Fabrizio De André”String nomeProdotto = “Nuvole barocche”List<Prodotti> list = s.createQuery( “ ...? “ );
String nomeAutore = “DeAndré Fabrizio”String nomeProdotto = “Nuvole barocche”List<Prodotti> list = s.createQuery( “ ...? “ );
SQL è il martello:
String nomeAutore = “Fabrizio De André”String nomeProdotto = “Nuvole barocche”List<Prodotti> list = s.createQuery( “ ...? “ );
String nomeAutore = “DeAndré Fabrizio”String nomeProdotto = “Nuvole barocche”List<Prodotti> list = s.createQuery( “ ...? “ );
String query = “F. de André nuvole barocche”List<Prodotti> list = s.createQuery( “ ...???? “ );
E se poi “precisano” le specifiche?
● Similitudine:● hybernatʻ ʼ
● Prossimità e sinonimi:● 'JPA' o 'Java Persistence API'
● Rilevanza:● Più parole simili, o “più simili”● Un termine nel titolo “vale” di più?
Come sarebbe Google se vi restituisse i siti in ordine alfabetico?
Come sarebbe Google se vi restituisse i siti in ordine alfabetico?
“hibernate”About 8,320,000 results (0.20 seconds)
Lucene
● Progetto open source Apache™,● nella “top 10” dei più scaricati.● Community molto attiva.
● Un'implementazione di indice invertito all'avanguaria, costantemente aggiornato allo stato dell'arte del settore.
● Principalmente in Java ma portato in vari altri linguaggi.● Si trovano innumerevoli estensioni open source, ad
esempio per il supporto ottimale di tutte le lingue occidentali.
Lucene
● Similitudine tra termini e documenti
● Sinonimi
● Stemming
● Stopwords
● TermVectors
● MoreLikeThis
● Faceted Search
● Velocità e scalabilità orizzontale
● ... e naturalmente ricerche full-text.
Similitudine
● N-Grams (distanza di editing)● Fonetico (Soundex™)● Altro... definibile secondo necessità
Cagliari ⁓ càliariCagliari ⁓ cag agl gli lia ari
Cagliari ⁓ CGRI
Lucene: Sinonimi (o quasi)
● Applicabile a “index time”● a “query time”● Necessita di un vocabolario● Integrabile con vari vocabolari (WordNet)
giornale ⁓ periodico ⁓ quotidiano
Lucene: Stemming
Le grammatiche di stemming sono disponibili per un'ampia scelta di lingue, spesso free.
parliamone ⁓ parloVelocemente ⁓ velocità
Lucene: Stopwords
● Rimuovono “rumore di fondo” e termini di disturbo dall'indice: una ricerca per “non e queste al per da” non da indizi su cosa l'utente stia cercando.
Può sembrare facile
● La struttura di un indice è profondamente diversa da un modello relazionale.
● L'indice e il database devono rimanere in coerenza, immediata o eventuale.● Incoerenza: di quale vi fidate?
● Cosa restituiscono le query?
Differenze strutturali dell'informazione
Incoerenze architetturali
Come integrare Hibernate Search
● Aggiungere hibernate-search al classpath e dipendenze<dependency>
<groupId>org.hibernate</groupId>
<artifactId>hibernatesearch</artifactId>
<version>3.2.0.Final</version>
</dependency>
● Il resto è opzionale:
● Dove mettere l'indice● Estensioni● Parametri per le performance● Mapping più sofisticati● Clustering
Come usare Hibernate Search@Entitypublic class Essay { @Id public Long getId() { return id; }
public String getSummary() { return summary; } @Lob public String getText() { return text; } @ManyToOne public Author getAuthor() { return author; }...
Come usare Hibernate Search@Entity @Indexedpublic class Essay { @Id public Long getId() { return id; }
public String getSummary() { return summary; } @Lob public String getText() { return text; } @ManyToOne public Author getAuthor() { return author; }...
Come usare Hibernate Search@Entity @Indexedpublic class Essay { @Id public Long getId() { return id; } @Field public String getSummary() { return summary; } @Lob public String getText() { return text; } @ManyToOne public Author getAuthor() { return author; }...
Come usare Hibernate Search@Entity @Indexedpublic class Essay { @Id public Long getId() { return id; } @Field public String getSummary() { return summary; } @Lob @Field @Boost(0.8) public String getText() { return text; } @ManyToOne public Author getAuthor() { return author; }...
Come usare Hibernate Search@Entity @Indexedpublic class Essay { @Id public Long getId() { return id; } @Field public String getSummary() { return summary; } @Lob @Field @Boost(0.8) public String getText() { return text; } @ManyToOne @IndexedEmbedded public Author getAuthor() { return author; }...
@Entitypublic class Author {
@Id @GeneratedValueprivate Integer id;private String name;@OneToManyprivate Set<Book> books;
}
@Entitypublic class Book { private Integer id; private String title;}
Altro esempio
@Entity @Indexedpublic class Author {
@Id @GeneratedValueprivate Integer id;
@Field(store=Store.YES)private String name;@OneToMany
@IndexedEmbeddedprivate Set<Book> books;
}
@Entitypublic class Book { private Integer id; @Field(store=Store.YES) private String title;}
Struttura dell'indice
String[] productFields = {"summary", "author.name"};
QueryParser parser = new MultiFieldQueryParser(productFields, new StandardAnalyzer() );
Query luceneQuery = parser.parse(searchQuery);
FullTextEntityManager ftEm = Search.getFullTextEntityManager(entityManager);
FullTextQuery query = ftEm.createFullTextQuery(luceneQuery,Product.class );
List<Essay> items = query.setMaxResults(100).getResultList();
int totalNbrOfResults = query.getResultSize();
Codice di Query:
TotalNbrOfResults= 8.320.000(0.20 seconds)
Risultati
● Pojo gestiti!● Paginazione
● .setMaxResults( 20 ).setFirstResult( 100 );
● Restrizioni per tipo● .createQuery( luceneQuery, A.class, B.class, ..);
● Projection● Result mapping
Demo / Testsorg.hibernate.search.test.filter.FilterTest
org.hibernate.search.test.compression.CompressionTest
@Indexed @Entity@FullTextFilterDefs( { @FullTextFilterDef(name = "disponibiliSubito", impl = ProdDisponibileFilter.class, cache = FilterCacheModeType.NONE), @FullTextFilterDef(name = "security", impl = SecurityFilterFactory.class, cache = FilterCacheModeType.INSTANCE_AND_DOCIDSETRESULTS)})public class Prodotto { ...
Filtri
Filtri
FullTextQuery ftQuery = s // s è di tipo FullTextSession
.createFullTextQuery( query, Prodotto.class )
.enableFullTextFilter( "vietatoMinori" )
.enableFullTextFilter( "offerteDelGiorno" )
.setParameter( "giorno", “20100529” )
.enableFullTextFilter( "disponibiliSubito" )
.setParameter( "sede", "Cagliari" );
List<Prodotto> risultati = ftQuery.list();
Analizzatori custom@Entity @Indexed
@AnalyzerDef(name = "italianAnalyzer",tokenizer = @TokenizerDef(factory=StandardTokenizerFactory.class),filters = {
@TokenFilterDef(factory = LowerCaseFilterFactory.class),
@TokenFilterDef(factory = SnowballPorterFilterFactory.class,
params = {@Parameter(name = "language", value = "Italian")})
})
public class Book {
@Field(index=Index.TOKENIZED, store=Store.NO)
@Analyzer(definition = "italianAnalyzer")
private String title;
...
Altro...
● @Boost e @DynamicBoost● @AnalyzerDiscriminator● @DateBridge(resolution=Resolution.MINUTE)● @ClassBridge e @FieldBridge● @Similarity● Automatic Index optimization
Clustering per coda
Clustering per distributed store
Mass (re)indexingfullTextSession.createIndexer() .startAndWait();
Mass (re)indexing
fullTextSession.createIndexer(Hotel.class, Person.class,Car.class) .threadsForSubsequentFetching( 8 ) .threadsToLoadObjects( 4 ) .batchSizeToLoadObjects( 30 ) .startAndWait();
Futuro prossimo
● Astrazione delle query Lucene● Performance migliorate
● NumericField● FieldCache
● Indicizzazione di Pojo non gestiti da Hibernate● Infinispan “automagic” clustering● Ulteriori opzioni sul MassIndexer● Mapping dinamico
Domande?
http://search.hibernate.org● Hibernate Search in Action
http://lucene.apache.org● Lucene In Action (2°ed)
http://in.relation.to
http://forum.hibernate.org
twitter.com/SanneGrinovero
www.sourcesense.com