@rolle @osma @turvanen @jonne
Mitä luokkaa tuo koko indeksi haukkaa levytilaa?

Twitterissä kokoluokka on jotain 500 miljoonaa viestiä per päivä.

@rolle @osma @turvanen @jonne
Onkohan omassa profiilissani discoverable-täppä päällä? Eli päätyvätkö nämä sinne hakuun?

En löytänyt ainakaan nopeasti siihen asetusta, vai onko serverikohtainen?

Edit: Löytyi others-kohdasta "Opt-out of search engine indexing", jossa ei ollut täppää. Eli pitäisi päätyä viestit hakuun.

@osma @rolle @turvanen @jonne @sivusta
Tuo yllelinkattu api-vastaus näyttää siis kertovan että instanssilla on 89 käyttäjää ja se on tietoinen 18457 muusta palvelimesta mutta varsinaisia postauksia se sisältää yhteensä vain 24135.

Ja nuo instances.socialin hieman vanhentuneet luvut kertovat että tuo määrä on:
23834 Statuses
0% of total (885424463)

Eli kokonaisuuden kannalta tekstihaku ei löydä juuri mitään.

@turvanen @rolle @osma @jonne @sivusta
ElasticSearch ja Apache Lucene johon se pohjautuu tarjoavat monipuoliset hakuominaisuudet eli sinänsä sellaisen toteutus ei ole teknisesti palvelimen sisäisesti yleensä ongelma.

Mutta sen skaalaaminen Twitter-luokkaan (jossa uusia viestejä tulee tyyliin tuhansia sekunnissa) olisikin ihan eri juttu, etenkin hajautetusti. Pelkästään ne datamäärät ja palvelinkuorma ei oikein harraste/lahjoitusrahoilla pyörisi.

@rolle @osma @turvanen @jonne @sivusta
99% mistä?

Kattaako se tekstihaku siis myös palvelimen ulkopuolelta tulevan sisällön ja millä rajoitteilla?