<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small">On Fri, Jan 31, 2025 at 6:28 PM Ronald Barnes via kwlug-disc <<a href="mailto:kwlug-disc@kwlug.org">kwlug-disc@kwlug.org</a>> wrote:</div></div><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Khalid Baheyeldin wrote on 2025-01-31 05:11:<br>
<br>
> I agree with Chris: searching and PostgreSQL seem to be the culprits.<br>
<br>
The memory usage I showed earlier did not include PostgreSQL, it was a <br>
gazillion Python interpreters and one shell.<br></blockquote><div><br></div><div style="font-size:small" class="gmail_default">PostgreSQL itself will be using a lot of memory.</div><div style="font-size:small" class="gmail_default"><br></div><div style="font-size:small" class="gmail_default">But my guess here is that it could very well be that processes that issue </div><div style="font-size:small" class="gmail_default">queries to the database do it in an inefficient way.</div><div style="font-size:small" class="gmail_default"><br></div><div style="font-size:small" class="gmail_default">For example, if they do a query that returns a very large dataset, and then</div><div style="font-size:small" class="gmail_default">process it using Python code, in memory to further whittle it down to what</div><div style="font-size:small" class="gmail_default">it is needed. <br></div><div style="font-size:small" class="gmail_default"><br></div><div style="font-size:small" class="gmail_default">This is one of the things that are not obvious to many (most?) developers, <br></div><div style="font-size:small" class="gmail_default">specially if they are using an abstraction layer that masks all this.<br></div><br></div></div>