добрее... подкарах Logstash да импортира и парсва nginx-логовете в ElasticSearch the result >
http://i.imgur.com/KUx7VRm.png
Nov 10 2015, 10:08
Коментари
nacholibre

А защо elastic search? пробвал ли си sphinxsearch?

Nov 20 2015, 15:10
aviatrix

защото съм запознат с него :) тва изглежда интересно ще го разгледам определено :)

Nov 20 2015, 15:58
nacholibre

Ние защото минахме през elastic search ама е мега зле, ние държим доста редове и търси бързо (ако говорим за fulltext search)

Nov 21 2015, 16:45
aviatrix

колко зле? що ние го тествахме с около 40 милиона записа с parent child връзки и подобни се държеше много добре :) също е важно и как си направиш индексите

Nov 21 2015, 21:19
aviatrix

типовете, дали имаш computed полета, дали пазиш оригиналната стойност след индексация и на каква и колко машина/и имаш

Nov 21 2015, 21:20
nacholibre

Самата информация я държим в mysql с tokudb, а в sphinx-а само нещата, по които се търси и имаме почти 500 милиона реда на един сървър 128GB ram, 32 CPU cores

Nov 23 2015, 21:54
nacholibre

средно време за търсене е около 2 секунди, но някои от редовете са доста големи, сега сигурно ще се опитаме да го разделим на 2 сървъра.

Nov 23 2015, 21:56
DB Queries: 12 (0.006s) | CACHE Queries: 18 (0.0023s) | Script Execution Time: 0.011 | Memory usage: 0.91MB | Server Load Average: 0.29, 0.2, 0.12