Skip to content

GitLab

  • Menu
Projects Groups Snippets
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in
  • cludobigdata cludobigdata
  • Project information
    • Project information
    • Activity
    • Members
  • Analytics
    • Analytics
    • Value stream
  • Wiki
    • Wiki
  • Snippets
    • Snippets
  • Activity
Collapse sidebar
  • ext
  • cludobigdatacludobigdata
  • Wiki
  • Home

Home · Changes

Page history
Update home authored Oct 30, 2019 by Paweł Pierścionek's avatar Paweł Pierścionek
Show whitespace changes
Inline Side-by-side
home.md
View page @ 63a65713
...@@ -77,6 +77,9 @@ Obecnie w Cludo Big Data dostępny są następujące obiekty: ...@@ -77,6 +77,9 @@ Obecnie w Cludo Big Data dostępny są następujące obiekty:
Dokumenty przechowywane są w logicznych tygodniowych grupach / indexach o nazwach odzwierciedlających nazwę klienta oraz datę ISO YEARWEEK Dokumenty przechowywane są w logicznych tygodniowych grupach / indexach o nazwach odzwierciedlających nazwę klienta oraz datę ISO YEARWEEK
Format daty to +{xxxx.ww}. Format daty to +{xxxx.ww}.
**W nowych instancjach BigData indexy dane w grupach miesięcznych.
Nazwa indexu jest wtedy w formacie +{yyyy.MM}**
Domyślny index o nazwie customer_xx, gdzie xx to pierwsze dwie litery głównej instancji klienta, jest aliasem do wszystkich indexów z dokumentami sesji. Domyślny index o nazwie customer_xx, gdzie xx to pierwsze dwie litery głównej instancji klienta, jest aliasem do wszystkich indexów z dokumentami sesji.
Ilość danych (np z ostatnich 5 lat) do przeszukania w przypadku odwołania do tego aliasu może być znacząca. Zapytanie, nawet z ograniczeniem daty, uderza we wszystkie indexy i może się wykonywać powyżej sekundy. Ilość danych (np z ostatnich 5 lat) do przeszukania w przypadku odwołania do tego aliasu może być znacząca. Zapytanie, nawet z ograniczeniem daty, uderza we wszystkie indexy i może się wykonywać powyżej sekundy.
...@@ -86,7 +89,10 @@ Ilość danych (np z ostatnich 5 lat) do przeszukania w przypadku odwołania do ...@@ -86,7 +89,10 @@ Ilość danych (np z ostatnich 5 lat) do przeszukania w przypadku odwołania do
```bash ```bash
curl http://demo:demo@ela.cludo.pl:9200/<customer_demo-{now{xxxx.ww}}>,<customer_demo-{now-7d{xxxx.ww}}>/_search?q=session.DNIS:48600390338 curl http://demo:demo@ela.cludo.pl:9200/<customer_demo-{now{xxxx.ww}}>,<customer_demo-{now-7d{xxxx.ww}}>/_search?q=session.DNIS:48600390338
``` ```
## Streaming zmian / nowych wpisów
Nowe instancje BigData posiadają pole `updatedid` w schemacie jsonsession, które jest monotonicznie rosnące dla każdego nowego dokumentu oraz każdej zmiany już istniejącego dokumentu.
Dokumenty mogą być wzbogacane "wstecznie" np o informację o nagraniach związanych z transferami. Sesja może się już zakończyć ale nagranie i informacja o nim pojawi się dopiero po zakończeniu wytransferowanej rozmowy. W takich przypadkach periodyczne odpytywanie o dokumenty z updatedid > max(updatedid@last) z ostatniego zapytania pozwoli na pobieranie wszystich nowych oraz zmienionych dokumentów od ostatniego zapytania.
## Kibana ## Kibana
......
Clone repository
  • Home
  • ostatnie tygodnie
  • schema:config
  • schema:jsonsession
  • schema:session