Witam

Szukam w miarę szybkiego i wydajnego sposobu na aktualizację stanów dostępności produktów w sklepie. U dostawcy generuję plik .csv, w tej chwili 15000 linii, ale z każdym miesiącem produktów jest więcej. Plik formatowany jest w ten sposób:


W bazie sklepu znajduje się obecnie około 2000 produktów, do każdego przypisany jest unikalny SKU taki jak w hurtowni.
Chcę wybierać kolejno produkty z bazy sklepu, odszukiwać ich SKU w danych z hurtowni i aktualizować status dostępności.
Największym problemem jest szukanie, baza produktów z hurtowni zawiera znacznie więcej produktów niż baza sklepu, nie ma żadnych wspólnych indeksów liczbowych, tylko wspólne nazwy.

Przyszły mi do głowy dwa rozwiązania problemu.
1. Importuje plik .csv do bazy MySQL i przeszukuję według kolejnych SKU produktów ze sklepu. Czy wyszukiwanie FULLTEXT zda egzamin?
2. Przeszukuję plik .csv.

W którą stronę się udać? Może są jakieś inne wydajne rozwiązania, albo cały pomysł jest bez sensu? :]
Pozdrawiam

[PHP] pobierz, plaintext 
 
$f = file('file.csv');
 
foreach($f as $k => $v) {
 
     if(str_pos('NAZWAPROD XYZ 12KG', $v) !== false) {
 
         echo 'znalazłem';
     }
}
[PHP] pobierz, plaintext 

Z .csv kombinuję w ten sposób:

[PHP] pobierz, plaintext 
$row = 1;
$string = "NAZWA PRODUKTU ABCD 400G";
 
if (($handle = fopen("plik_dane.csv", "r")) !== FALSE) {
    while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
        $num = count($data);
        $row++;
 
		if ($string == $data[0]) {
			echo "Wiersz " . $row . " Produkt " . $data[0] . " Stan magazynowy " . $data[1];
		}        
    }
    fclose($handle);
}
[PHP] pobierz, plaintext 

Kwestia co jest bardziej wydajne, mniej bolesne dla serwera? Szukanie w .csv czy w bazie MySQL?

15k linijek serwer przetrawi sobie spokojnie, MySQL... mysle, ze dzialanie na procedurach zalatwiloby sprawe wydajnosci. Pytanie jak Ty chcesz to zrobic i co jest dla Ciebie lepszym rozwiazaniem, bo naprawde, serwer sobie to przerobi bez problemu.

Dla mnie to w zasadzie bez większej różnicy czy napisze to pod obsługę pliku czy bazy. Jeśli będę wrzucał z pliku, rozwiązanie zyskuje ten plus, że nie muszę .csv importować do bazy, wystarczy, że wrzucę go na serwer.
Docelowo produktów w pliku będzie nie więcej niż 40k.

To przerabiaj na plikach, nie ma co sie bawic w baze danych w takim razie. Przetrawienie 40k linijek i znalezienie tego 1000 zajmie mu maksymalnie kilka chwil (chyba, ze na kalkulatorze bedziesz to robil )

Napotkałem kolejny problem. Produkty z bazy sklepu wrzuciłem w pętle for, a wewnątrz for wrzuciłem pętle while, która wyszukuje SKU produktu z bazy sklepu w pliku .csv. Jeżeli jest w ten sposób, wszystko działa, ale przy każdym przejściu pętli for otwiera plik fopen("plik_dane.csv", "r").
Jak to zrobić, żeby nie otwierać pliku kilka tysięcy razy?

[PHP] pobierz, plaintext 
 <?php 
for($index=0; $index < 10; $index++) {
 
    $row = 1;
    $string = $prodname[$index];
 
    if (($handle = fopen("plik_dane.csv", "r")) !== FALSE) {
		while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
		$num = count($data);
		$row++;
 
		if ($string == $data[0]) {
		echo "Wiersz " . $row . " Produkt " . $data[0] . " Stan magazynowy " . $data[1];
		}
    		}
 
	}
}
fclose($handle);
?>
[PHP] pobierz, plaintext 

http://php.net/manual/en/function.rewind.php

BTW. sprawdzilem wczoraj to, znalezienie 2 000 wynikow wsrod 40 000 rekordow zajelo skryptowi 40 sekund, nie wiem czy Cie to zadowala

Dziękuję za podpowiedź .

Całkiem niezły wynik. Skrypt ma być wykonywany 2-3 razy na dobę, więc nie powinno być tak źle, nawet jak zwiększy się ilość produktów.

Masz tutaj robacza wersje skrytu, ktory napisalem przed chwila. Dziala... sam zobacz Tylko ostrzegam, ponizszy skrypt jest bardzo roboczy (nazwy zmiennych, heh. random ) Minusem tej opcji jest to, ze produkty w sklepie tez musisz miec w jednym pliku, a nie w bazie danych, ale to mozna na szybko zaimportowac, wykonac to co nizej tylko dostosowane do swoich potrzeb, a na koncu update rekordow jednym plikiem.

[PHP] pobierz, plaintext 
<pre>
 
<?php
 
set_time_limit( 900 );
 
$micro = microtime( true );
 
 
 
/* tworzenie pliku z danymi z hurtowni
 
$fp = fopen( 'dane.csv', 'w+' );
 
for ( $i = 1; $i <= 40000; $i++ )
{
	fwrite( $fp, '"ABCDEFGJIKL_' . $i . '", "Dostępny"' . "\r\n" );
}
*/
 
 
 
$i = 1;
 
 
/* tworzenie pliku z danymi ze sklepu
 
$fp = fopen( 'sklep.csv', 'w+' );
 
for ( $i = 1; $i <= 40000; $i+=20 )
{
	fwrite( $fp, '"ABCDEFGJIKL_' . $i . "\"\r\n" );
}
*/
 
 
 
/* sprawdzanie czy dostepne #1 */
/*
$a = 1;
 
$f1 = fopen( 'sklep.csv', 'r' );
$f2 = fopen( 'dane.csv', 'r' );
 
while ( !feof( $f1 ) )
{
	$l1 = trim( fgets( $f1 ) );
 
	if ( empty( $l1 ) )
		continue;
 
	while ( !feof( $f2 ) )
	{
		$l2 = fgets( $f2 );
 
		if ( strpos( $l2, $l1 ) !== FALSE )
		{
			echo $i++ . "\n";
		}
 
		//echo $a2 . "\t\t\t" . $a1 . "\n";
	}
 
	rewind( $f2 );
}*/
 
 
 
$a = 0;
$f1 = fopen( 'sklep.csv', 'r' );
$f2 = fopen( 'dane.csv', 'r' );
 
while ( !feof( $f1 ) )
{
	$x = trim( fgets( $f1 ) );
 
	if ( !empty( $x ) )
	{
		$arr1[] = $x;
	}
}
 
while ( !feof( $f2 ) )
{
	$a1 = trim( fgets( $f2 ) );
	$a1 = explode( ',', $a1 );
 
	$arr2[ trim( $a1[ 0 ] ) ] = trim( $a1[ 1 ] );
	$a++;
}
 
foreach ( $arr1 as $value )
{
	echo $value . ' jest ' . $arr2[ $value ] . "\n";
}
 
//print_r($arr1);
 
echo microtime( true ) - $micro;
[PHP] pobierz, plaintext