Hej,

Mam takie rekordy w bazie:

xxxx
xxxx
yyyy

czyli 2 są takie same i 1 inny, w sumie 2 różne.

Potrzebuję zrobić zapytanie w stylu (poglądowo): select x,y from tabela order by data desc limit (ilość różnych rekordów czyli 2*30) i nie bardzo mam pomysł jak takie coś zrobic. Ma ktoś może pomysł?

A mógłbyś wyjaśnić czemu potrzebny jest ten limit?

Akurat w Twoim przypadku przy trzech rekordach limit będzie na 6 rekordów, więc jest kompletnie niepotrzebny.
Oczywiście w innych przypadkach będzie mieć wpływ.

I dlaczego jest tam mnożnik 30?

Przykładowo podałem bazę, rekordów ja tam mam około 100 i teraz jeśli dam limit 30, to pokaże mi w sumie 15 * xxxxx i 15 * yyyyy, a chciałbym, żeby pokazało 30 * xxxxx i 30 * yyyyy, a więc musiałbym dać limit 60, a nie wiem ile będzie różnych rekordów dublujących się, więc jeśli bym je zliczył, wystarczyłoby pomnożyć limit 30 razy ilość różnych rekordów

Wystarczy ze bedziesz mial pod rzad 59 xxxx i 1 yyyy i caly twoj zmyslny algorytm szlag trafi

w sumie masz rację. to jakby to rozwiązać?

chociaż czekaj, 59x i 1y, to 2 różne, a wiec 30*2 rozne = 60, a wiec tyle ile byłoby rekordow, czyli by zadziałało?

jaki to problem ma rozwiązywać? bo wygląda że trzeba do tego zupełnie inaczej podejść, ale musisz powiedzieć jaki problem to ma rozwiązywać, a nie sugerować gotowe (raczej złe) pomysły.

powinno mi pokazać ostatnie 30 rekordow z bazy danych dla każdego rodzaju rekordu, czyli 30 dla xxxx i 30 dla yyyy. Jeśli po prostu wpiszę limit 30, to mi pokaże po 15 (w sumie będzie 30), a chciałbym po 30 dla każdego

No jak zadziala? Wyswietli ci 59xxx i 1 yyyy a chciales miec po 30

fakt chodzi mi generalnie o to, żeby nie tyle po 30, co maksymalnie 30 z każdego, bo nieraz będzie 50 z jednego i 2 z innego czy tego typu

No tego to ja sie domyslilem

Widzę właśnie To jakby to rozwiąząć?

Wpierw pobierasz wszystkie rozne xxxx yyyyy.
SELECT DISTINCT....

potem dla kazdego piszesz zapytanie ktore pobierze ci max 30 rekordow dla kazdego z nich
...where costam=xxxxx limit 30
...where costam=yyyyy limit 30
itd

Mozesz to upchnoc w UNION i miec jedno zapytanie zamiast x malych

a jeśli nie znam xxxxx i yyyy? tzn bedzie tyle roznych, ze caly czas musialbym modyfikowac zapytanie zeby mi pokazywalo dobrze i dodawac kolejne warunki z nowymi rekordami? czy źle zrozumiałem?

zrób correlated subquery

Dlatego napisalem

To zapytanie zwroci ci wszyskie xxxx yyyyy zzzz czy co ty tam masz.

Jednak nie rozumiem :/ mógłbyś podać poglądowy przykład? może niekoniecznie gotowca, ale schemat, bo zbyt ogolnie napisales i nie rozumiem. dajmy na to, że mam już zrobiony select distinct na limit 30 tak? co dalej?

nie słuchaj nospora - zrób correlated subquery tak jak Ci wujek mówi:

[SQL] pobierz, plaintext 
CREATE TABLE test (id int(11) UNSIGNED PRIMARY KEY AUTO_INCREMENT , x varchar(255) NOT NULL);
[SQL] pobierz, plaintext 

potem:

[SQL] pobierz, plaintext 
INSERT INTO test (x) VALUES ('xxx'), ('yyy');
INSERT INTO test (x) VALUES ('xxx'), ('yyy');
INSERT INTO test (x) VALUES ('xxx'), ('yyy');
INSERT INTO test (x) VALUES ('xxx'), ('yyy');
INSERT INTO test (x) VALUES ('xxx'), ('yyy');
INSERT INTO test (x) VALUES ('xxx'), ('xxx');
INSERT INTO test (x) VALUES ('zzz'), ('zzz');
[SQL] pobierz, plaintext 

potem:

[SQL] pobierz, plaintext 
SELECT * FROM test t WHERE (SELECT COUNT(*) FROM test t2 WHERE t.id <= t2.id AND t.x = t2.x) <= 4 ORDER BY t.x;
[SQL] pobierz, plaintext 

działa? ano działa

javafxdev,
nie do końca, bo miały to być rekordy sortowane według daty, a nie po prostu top/last z grupy.

[SQL] pobierz, plaintext 
CREATE TABLE `xy` (
	`id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
	`x` VARCHAR(255) NOT NULL,
	`data` DATE NULL DEFAULT NULL,
	PRIMARY KEY (`id`)
)
 
INSERT INTO `xy` VALUES (1, 'xxx', '2016-01-01');
INSERT INTO `xy` VALUES (2, 'yyy', '2016-01-02');
INSERT INTO `xy` VALUES (3, 'xxx', '2016-01-03');
INSERT INTO `xy` VALUES (4, 'yyy', '2016-01-04');
INSERT INTO `xy` VALUES (5, 'xxx', '2016-01-05');
INSERT INTO `xy` VALUES (6, 'yyy', '2016-01-06');
INSERT INTO `xy` VALUES (7, 'xxx', '2016-01-07');
INSERT INTO `xy` VALUES (8, 'yyy', '2016-01-08');
INSERT INTO `xy` VALUES (9, 'xxx', '2016-01-09');
INSERT INTO `xy` VALUES (10, 'yyy', '2016-01-10');
INSERT INTO `xy` VALUES (11, 'xxx', '2016-01-11');
INSERT INTO `xy` VALUES (12, 'xxx', '2016-01-12');
INSERT INTO `xy` VALUES (13, 'zzz', '2016-01-13');
INSERT INTO `xy` VALUES (14, 'zzz', '2016-01-14');
[SQL] pobierz, plaintext 

5 rekordów z każdej grupy sortowane według daty desc:

[SQL] pobierz, plaintext 
SELECT x3.x,x3.DATA FROM (SELECT x1.*, (SELECT COUNT(*) FROM xy AS x2 WHERE x1.data<=x2.DATA AND x1.x=x2.x) AS wiersz FROM xy AS x1) x3
WHERE wiersz <=5 ORDER BY x, DATA DESC;
[SQL] pobierz, plaintext 

ja bym się pokusił jeszcze w Twoim przykładzie zeby zamiast x1.x=x2.x dać x1.id=x2.id wtedy trochę bardziej zoptymalizowane będzie. ale ogólnie masz rację - w moim przykładzie brakowało sortowania po datach w grupach. Chodziło mi bardziej o pokazanie żeby nie robić jakiś niepotrzebnych UNIONÓW i DISTINCTÓW tylko ładnie machnąć w SQL.

Dziękuje, działa fajnie, tylko jak np pokazuje mi:

xxxx - 30 rekordów
yyyy - 30 rekordów

i teraz dajmy na to dodam 2 kolejne rekordy xxxx i yyyyy, tylko że yyyy z nowszą datą, to yyyy - 30 rekordów, pokaże się najpierw, a chciałbym tego nie zmieniać, czyli jak kolejność jest już:

xxxx - 30 rekordów
yyyy - 30 rekordów

to żeby tylko rekordy się sortowały, a nie xxxx i yyy i kolejność nie zmieniła się na:

yyyy - 30 rekordów
xxxx - 30 rekordów

Jak wygląda ORDER BY w zapytaniu?

@wujek wszystko fajnie pieknie, ale jak wyglada sprawa z wydajnoscia takiego zapytania dla wiekszej ilosci danych? Bo tak na pierwszy rzut oka to nie wyglada to za dobrze

Załóżmy, że różnych (x,y,z.....) mamy 50 po 10 w każdym przypadku - Twoja metoda wykona 1 zapytanie DISTINCT, i 50 zapytań do pobrania rekordów czyli 51 zapytań żeby pobrać 500 rekordów - troche dużo sam roudtrip do bazy będzie mało wydajny i wydajność będzie spadać wraz z większą ilością różnych elementów - słabo skalowalne, natomiast wykonanie subquery skaluje się lepiej, bo za kazdym razem masz 1 zapytanie - niezależnie od ilości różnorodnych elementów.

Dlatego powiedzialem by uzyc union. Wowczas masz dwa zapytania.

A teraz zalozmy ze masz milion rekordow i 50 roznych danych. Te podzapytania ktore tam masz i liczenie dla kazdego wiersza pokolei danych nie wyglada dla mnie zbyt obiecujaco

jak napiszesz kawałek kodu, który robi to Twoją metodą (skleja te wielkie UNIONY itd) to ja załaduje do bazy danych 1mln rekordów z różnymi x,y,z i porównamy, a jak nie zrobisz to załóżmy że moje działa wydajniej

OK, specjalnie dla ciebie odpalilem te wasze cudo.

Liczba rekordow: 200 000
Liczba roznych danych:100

Czas pobrania 30 rekordow dla danego jednego: 0.03s
Union ze 100 takimi zapytaniami: 3 sekundy
DISTINCT by pobrac te 100 roznych danych: 0.2s.
Laczny czas: nie wiecej niz 5 sekund.


A teraz wasze cudo:
czas:1 minuta 52 sekundy

Tyle w temacie

edit: a skad taki dlugi czas u Was? Bo tak jak mowilem wczesniej, wy tworzycie tyle zapytan ile macie rekordow. Jest 200 000 rekordow to to zapytanie
SELECT COUNT(*) FROM xy AS x2 WHERE x1.data<=x2.DATA AND x1.x=x2.x
wykona sie 200 000 razy. I ty mi mowisz ze moje 50 zapytan jest obciazeniem....