Ing. Lucie Svitáková

Článek

10.1080/24751839.2020.1829387

Katedra softwarového inženýrství

Nowadays, open-source graph databases do not include an inherent mechanism for data relocation that would be based on their usage. They often do not offer even appropriate monitoring that could help to make such a decision. Information about data utilization could, however, work as an input to some decision- making process about more suitable data regrouping that could be much more efficient in terms of intra-network communication. Therefore, we created a module for the graph computational framework TinkerPop that logs traffic generated by the user queries. These logged records serve as an input for the algorithm of Adaptive Partitioning that we enhanced with better balancing, avoidance of local optima and the notion of weighted graphs. This approach yields a 70–80% improvement in intra-network communication, which is comparable to other methods, namely Ja-be-Ja, that offers similar results but has higher computational demands.

Stať ve sborníku

10.1007/978-3-030-42058-1_18

Katedra softwarového inženýrství

The problem of data distribution in NoSQL databases is particularly difficult in the case of graph databases since the data often represent a large, highly connected graph. We face this task with monitoring of user queries, for which we created a logging module providing information serving as an input to a redistribution algorithm which bases on a lightweight method of Adaptive Partitioning but incorporates our enhancements overcoming its present drawbacks (local optima, balancing, edge weights). The results of our experiments show 70% – 80% reduction of communication between cluster nodes which is a comparable result to other methods, which, however, are more computationally demanding or suffer from other shortcomings.

Stať ve sborníku

Katedra softwarového inženýrství

Distribuce dat v grafových databázích je dnes zpravidla implementována jako náhodné rozmístění nově příchozích dat na jednotlivé uzly clusteru. Efektivní využití grafové databáze však často vyžaduje přeskupení těchto dat, aby byla komunikace mezi uzly clusteru co nejnižší. Vytvořili jsme modul do frameworku TinkerPop, který získá data o dotazech provedených nad grafovou databází. Tato data slouží jako vstup pro redistribuční algoritmus, který data redistribuuje se snížením potřebné komunikace mezi uzly clusteru (v níže popsaném experimentu o 70–80 %) a s relativně nízkými výpočetními nároky. Do redistribuce chceme dále zahrnout další relevantní informace, stejně tak jako tyto informace využít pro vhodné uložení nově příchozích dat. V příspěvku přiblížíme naše výsledky a představíme oblasti, kterým se chceme v rámci optimalizace dotazů dále věnovat.