PDA

Afficher la version complète : Exporter une grosse BDD : exporter via le script PHP bigdump



Rom56
17/03/2006, 23h10
voir aussi : Exporter un gros forum de A à Z (http://www.vbulletin-ressources.com/forum/showthread.php?t=759)



Voila il est souvent difficile d'exporter/importer une grosse base de données via phpmyadmin. Ce tuto très facile, vous permettra d'exporter/importer une grosse base de données sauvegardée en gzip en quelques clics et en très peu de temps... A vos claviers :)






I - Exporter une base de données via phpmyadmin




Déjà insister sur quelques points qui me semble important, ne sauvegarder pas votre base via vbulletin ni via d'autre logiciel mais via phpmyadmin uniquement. ( les gzip autres sont souvent corrumptus...) Donc vous vous connecter à votre base de données sur le site d'ou la base doit etre exporter.









Cliquez ensuite sur "exporter" ( comme sur le sceen1 ) puis vous selectionner toutes les tables, vous cocher "insertion complétes" ainsi que "gzip" comme sur le screen 2, un jeu d'enfant :p



ensuite vous validez et vous enregistrez sur votre disque dur bien sur...



deux screens pour votre aide ( cliquez dessus pour les agrandir... )








http://www.neticlik.com/vb/1.jpg









http://www.neticlik.com/vb/2.jpg

















II - Importer la Base de données gzip via bigdump


















Vous avez donc maitenant un .gzip qui doit faire une taille considérable pour certains. Phpmyadmin accepte que les paquets de 2mo soit 2048 octects. Il faut donc trouver un autre moyen que phpmyadmin pour importer le gzip. Bigdump est un script php qui va vous importer votre base tout seul ! Plus besoin donc de se casser la tete à la découper.. Donc télécharger bigdump qui est en pièces jointe... Extrayez ( ou la je sais pas si ca se dit :p ) le fichier bigdump.php on va maitenant le configurer.











Ah oui j'oubliais connectez vous sur votre base de données qui doit recevoir l'importation, et creer une base que je nommerais ici "vbulletin" vous pouvez bien entendu choisir autres choses...



Ensuite vous ouvrez "bigdump.php" à la ligne 80 vous trouverez ceci, completez les quatres variables par les paramètres de votre base de données qui va recevoir l'importation, ( exemple de configuration ):




// Database configuration





$db_server = "localhost";





$db_name = "vbulletin";


$db_username = "rom";


$db_password = "monpass";




descendez un peu plus bas... environ ligne 88, vous trouverez ceci, voici les valeurs que je met qui permette au serveur de ne pas être trop surchargés, et qui permet de faire une pause de 15ms entre chaque paquets de requetes... :)







$filename = ""; // Specify the dump filename to suppress the file selection dialog


$linespersession = 2000; // Lines to be executed per one import session


$delaypersession = 15; // You can specify a sleep time in milliseconds after each session



// Works only if JavaScript is activated. Use to reduce server overrun

Connecter vous maitenant à votre ftp, puis creer un dossier "bigdump" ( ou autre ) sécurisé le si vous le souhaitez par un HTACCES puis envoyer le fichier "



bigdump.php" ainsi que votre sauvegarde en gzip à l'intérieur de ce dossier.




lancer ensuite la page http://votresite/bigdump/ (http://votresite/bigdump/bigdump.php,%20vous)

bigdump.php, vous (http://votresite/bigdump/bigdump.php,%20vous) verrez ensuite votre sauvegarde, cliquez sur "start import"


<IMG onmouseover="if(this.width >= 400) {this.style.cursor='pointer';}" onclick="if(this.width >= 400) window.open('http://www.neticlik.com/vb/ptit3.jpg','Image','toolbar=no, directories=no, status=no, menubar=no, scrollbars=no, resizable=yes');" src="http://www.neticlik.com/vb/ptit3.jpg" onload="if(this.width >= 600) {this.alt='Cliquer ici pour voir la taille normale';}" border=0>




Patientez jusqu'a ce qu'une commande écrite en verte vous informe que tout c'est bien déroulé et c'est finit ! :)


Voila normalement c'est clair et facile. Si quelqu'un à besoin d'aide qu'il l'a demande sur ce sujet j'essairais de l'aider :) voila :p

Voir aussi : Exporter un gros forum de A à Z (http://www.vbulletin-ressources.com/forum/showthread.php?t=759)

Ce tutoriaux a été realisé uniquement pour vbulletin-ressources.com, toute copie même partielle est donc interdite.

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Ajout de la traduction de Christounet, merci a lui ;)
Le 02/05/06, version 0.22B
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

maximepag
17/03/2006, 23h20
Très bon tuto. He au fait tu saurais mettre le code poure créer un bdd car la seule que j'avais je l'ai supprimé et pas moyen de la refaire la seule façon c'est une requete sql et je c'est pas la quel c'est !

Rom56
17/03/2006, 23h24
Tr&#232;s bon tuto. He au fait tu saurais mettre le code poure cr&#233;er un bdd car la seule que j'avais je l'ai supprim&#233; et pas moyen de la refaire la seule fa&#231;on c'est une requete sql et je c'est pas la quel c'est !
bien sur, je te fais un screen :) je t'ajoute des screens dans l'ordre pour savoir comment faire :) il te rajoutera la requete "CREATE DATABASE" dans ton gzip...

1 - sur ton accueil dans phpmyadmin clique sur "base de donn&#233;es" " (cf screen 1)
2 - clique ensuite sur exporter ( cf screen 2)
3 - choisis la base a exporter, puis coche "insertion compl&#232;te" ainsi que "gzip" ( cf screen 3 )

maximepag
17/03/2006, 23h28
Je sais me servir de PhpMyAdmin, mais je suis chez OVH et phpmyadmin a été modifier et j'ai cliquer sur"[ Suprimer]" croyant vider toute la bdd a la place ça la completement suprimé donc pour l'ajouter il faut un requete et il ne font du support que a partir du 200 Mo chez OVH.

Allan
17/03/2006, 23h29
Superbe tuto, bravo et merci :)

Rom56
17/03/2006, 23h30
la requete sous phpmyadmin est simple dans la colonne SQL tu tapes :

CREATE DATABASE `nomdetabdd` ;

maximepag
17/03/2006, 23h42
Merci rom56. Je vais de ce pas la cr&#233;er.

Edit : Elle est faite. Haaa je suis vraiment content. Au moin je profiterais de l'offre gratuite !

Rom56
17/03/2006, 23h54
Merci rom56. Je vais de ce pas la créer.

Edit : Elle est faite. Haaa je suis vraiment content. Au moin je profiterais de l'offre gratuite !

offre gratuite sur OVH ? laquel ? :delicious:

maximepag
18/03/2006, 00h01
Je vais t'&#233;crire cela !

maximepag
18/03/2006, 00h03
Ben moi comme je suis belge ( et attention je ne me moque pas des français jsutement je trouve que vous avez un truc en plus que nous ! ) j'en ai eu une avec le .be et 1 Go d'espace disque et ce gratuit pendant 1 ans. Mais pour vous les Français il y a le .info gratuit avec 1 Go d'espace disque. Plus de détail iCi (http://www.ovh.com/fr/produits/1000gp.xml)

Allan
18/03/2006, 00h19
Pas mal du tout, seul hic, la base de donn&#233;e limit&#233; a 25 mo, mais cela est tr&#232;s int&#233;ressant pour faire de petit forum ou des forums de test.

Tu devrais cr&#233;er un sujet dans le forum adequat pour faire connaitre cette offre Maximepag ^^

Rom56
18/03/2006, 09h12
Ouai clair moi je suis deja a 25mo sinon c'est sur que c'est pas mal :)

WrestleMania
18/03/2006, 10h51
Merci pour ce tuto :yahoo:

Devil
18/03/2006, 11h24
Magnifique Rom56! :)
Merci beaucoup pour ce tuto

Christounet
30/04/2006, 01h35
merci rom56, excellent ! je teste ;)

Christounet
01/05/2006, 13h31
salut à tous :)

ce script m'a tellement plu, que j'ai décidé de le traduire en francais !

je le poste en attachement :delicious:

NOTE: il accèpte des fichiers de n'importe quelle taille en vait pourvu qu'on les transfère avant dans le dossier bigdump par ftp.
la limite de 20Mo n'est que pour le transfert par le formulaire !

Paulo
01/05/2006, 22h07
Merci.
J'en profite pour dire qu'il y a une version 0.22b de dispo qui corrige:

Version 0.22b 2006-04-15

minor bugfix for gzip mode
per cent progress indication
try to set time limit to unlimited
read dump lines longer than 65536 characters
HTML related improvements

Christounet
01/05/2006, 23h12
voici la traduction pour la v 0.22b ! j'ai contacté l'auteur il est ok !

Paulo
01/05/2006, 23h20
cool, merci ;)

Alex
02/05/2006, 03h02
merci christonnet pour cette traduction. Personnelement j'utilise mysqldumper pour mes sauvegardes et import de bdd. Il est carement puissant ce script. Je vous ferait un tuto sous peu.

Paulo
02/05/2006, 11h44
Moi aussi je n'utilise plus que mysqldumper ! M&#233;ga puissant :)

Allan
02/05/2006, 12h40
voici la traduction pour la v 0.22b ! j'ai contacté l'auteur il est ok !
Beau boulot, merci ;)

Rom56
06/05/2006, 20h12
Merci pour la traduction chris :p moi aussi j'utilise maitenant mysqldumper il est tr&#232;s tr&#232;s puissant je pense plus que bigdump il g&#233;re tout les diff&#233;rents probs de version mysql et tout :)

Christounet
06/05/2006, 20h47
merci pour l'info ! je vais essayer mysqldumper ;)

kameleon62123
12/05/2006, 21h04
sa me dit sa:

BigDump: Staggered MySQL Dump Importer ver. 0.21b

Database connection failed due to Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
Edit the database settings in /home/***/www/bigdump/bigdump.php or contact your database provider
(DROP the old tables before restarting)
© 2003-2005 Alexey Ozerov (alexey@ozerov.de) - BigDump Home (http://www.ozerov.de/bigdump)


Pourtant jai exactement suivi le tuto a la lettre pres! (http://www.ozerov.de/bigdump)

aidez moi je vous en supli!!!!
(http://www.ozerov.de/bigdump)

Dark-Angel
13/05/2006, 12h12
kameleon quelqu'un a deja répondu a ta question merci de ne pas faire trois posts pour le méme probléme sinon je prendrais des sanctions ...

(paulo) Une des données pour te connecter à la base de donnée n'est pas bonne.

Database connection failed ça vaut dire pas de connexion à la base de donnée.



$db_server = "localhost" $db_name = "vbulletin"; $db_username = "rom"; $db_password = "monpass";

(kameleon) jai pas crer un nouvelle base de donenr je pe mettre celle qui eter deja mis au debut?

ok impec sa marche cool merci

il me mes sa:

Error at the line 24: ) ENGINE=MyISAM DEFAULT CHARSET=latin1 COLLATE=latin1_general_ci; Query: CREATE TABLE `dbxaccess` ( `userid` int(10) unsigned NOT NULL default '0', `forumid` smallint(5) unsigned NOT NULL default '0', `accessmask` smallint(5) unsigned NOT NULL default '0', PRIMARY KEY (`userid`,`forumid`) ) ENGINE=MyISAM DEFAULT CHARSET=latin1 COLLATE=latin1_general_ci;
MySQL: User '*** has exceeded the 'max_questions' resource (current value: 27000)
Stopped on error

Aider moi pzl plzEr

(paulo) Fait un export compatible mysql 4.0 quand tu exportes ta base.

(kameleon) Paulo ton msn plz pour quon discute
pour tout tescpliquer etc...

Indique moi comment faire?????

j' ai pas compris soit plus precis

dit moi comment tous reparer plz plz

(paulo) Quand tu exportes ta base par phpmyadmin, sélectionnes en plus d'insertion complete, l'option " Compatibilité de l'exportation: " dans un menu déroulant " msysql4.0 "

(kameleon) ok je vais tester

(kameleon)jai fais se que tu ma dit maintenant a me fait sa:

tarting at the line: 28003 Error at the line 28236: INSERT INTO `dbxpostindex` (`wordid`, `postid`, `intitle`, `score`) VALUES (220, 527, 0, 1);
Query: INSERT INTO `dbxpostindex` (`wordid`, `postid`, `intitle`, `score`) VALUES (220, 527, 0, 1);
MySQL: User '***' has exceeded the 'max_questions' resource (current value: 27000)
Stopped on error



aide moi mec plz plz

comme hebergement j' ai http://www.power-heberg.fr/offre_500mo.php

(paulo) Tu dois maintenant diminuer le nombres de requete par session :
$linespersession = 2000;

kameleon62123
13/05/2006, 13h09
sa a marcher SUPER! maintenant je sai pas quoi faire

sa me fait sa:

Warning: array_keys(): The first argument should be an array in /includes/functions.php on line 3272

Warning: Invalid argument supplied for foreach() in /includes/functions.php on line 3272

sa me fait sa:

en francais:

Avertissement : array_keys () : Le premier argument devrait être une rangée dans /includes/functions.php sur la ligne 3272 Avertissement : Argument inadmissible fourni pour le foreach () dans /includes/functions.php sur la ligne 3272

sa me fait des ecriture etrange

je ne comprends pas pourquoi sa me fait sa!

jai pris la base de donnée par petit bout c' est la meme chose

que faire aider moi svp???.............

Paulo
13/05/2006, 23h10
remet tes fichiers dans le ftp, ils ont peut être été mal transféré.
Si c'est pas ça, je sais plus t'aider.

Rom56
14/05/2006, 10h06
humm claire bizarre. Sinon comme dis paulo vérifie que tout tes fichier sont passés.Sinon je sais pas non plus..

modulo
15/05/2006, 22h22
Bonsoir

Et bien moi pour faire mes sauvegardes de Bd je viens de découvrir ce script formidable (merci rom56 Paulo et blademaster)

MySQLDUmper 1.21b en Français

MySqlDumper est un script Open source PHP/Perl pour sauvegarder toutes les données de vos bases MySQL.
Plus qu'un simple utilitaire de sauvegarde, MySQLDumper est doté de fonctions très avancées.
- Ce script peut manipuler de grosses bases (Quelque soit la taille de votre DB).
- Sauvegarde/restauration
- Vous pouvez envoyer votre sauvegarde sur votre compte email ou sur un serveur FTP.
- Il n'y a aucune limite, le script peut manipuler toutes les tailles de sauvegarde (aucun PHP-Timeout).
- Un script perl peut être employé par l'intermédiaire d'un cronjob , ainsi vous pouvez dormir sur vos deux oreilles sans vous soucier de votre sauvegarde car celle-ci est toujours envoyée par email ou sur un FTP.
-Multiples réglages et options disponibles.
-Choix du thème de l'interface.
-Installateur automatique
-Et bien plus encore...

Liens:

Site de développement (http://www.mysqldumper.de/en/index.php)
Screenshots (http://www.mysqldumper.de/en/index.php?m=3)
Téléchargement (http://www.mysqldumper.de/board/downloads.php)
Pack langage Français (http://www.mysqldumper.de/board/downloads.php?cat=10)Pour l'installation reportez-vous au fichier "installation en Français" sur la page des packs langage.

C'est vraiment un trés bon script

Paulo
16/05/2006, 00h18
Merci, j'avais pas vu que le patch fr était sorti ;)

psy4
25/05/2006, 20h13
BigDump: Staggered MySQL Dump Importer ver. 0.21b

Processing file: bdd4[1].sql.gz
Starting at the line: 1
Error at the line 24: ) ENGINE=MyISAM DEFAULT CHARSET=latin1;
Query: CREATE TABLE `access` ( `userid` int(10) unsigned NOT NULL default '0', `forumid` smallint(5) unsigned NOT NULL default '0', `accessmask` smallint(5) unsigned NOT NULL default '0', PRIMARY KEY (`userid`,`forumid`) ) ENGINE=MyISAM DEFAULT CHARSET=latin1;
MySQL: Table 'access' already exists
Stopped on error
Start from the beginning (http://www.pendo-fr.powa.fr/board/bigdump/bigdump.php) (DROP the old tables before restarting)
© 2003-2005 Alexey Ozerov (alexey@ozerov.de) - BigDump Home (http://www.ozerov.de/bigdump)

j'ai cette erreur

merci de m'aider svp

Allan
25/05/2006, 20h18
Je connais pas trop ce domaine, mais a priori, Mysql te dit que la table "access" existe déja.

que veut tu faire au juste ?

ps: si tu a changer d'hébergeur, tu dois crée un nouvelle base saine et vierge dessus et importer la base via bigdump.php

psy4
25/05/2006, 20h24
eu enfaite je veut changer de VB passer de VB 3.0 a VB 3.5 mais c'est sur le meme hebergeur et donc j'ai creer une deuxieme BDD mais sa me met sa comme erreur :$

Allan
25/05/2006, 21h02
Pourquoi a tu créer une deuxième base de données ?

il te suffit de télécharger la nouvelle version, d'uploader le contenu du fichier "upload" sur ton ftp et de lancer le fichier "upgrade.php", cela te lance la mise à jour et tu suis les indications.

PS: N'oublir pas de supprimer le dossier "install" du ftp pour une question de sécurité.

psy4
25/05/2006, 21h27
mais je veut pas perdre mes membre les discutions etc

Allan
25/05/2006, 21h56
mais je veut pas perdre mes membre les discutions etc
Tu ne perd rien du tout ^^

La mise à jour prend en compte tous les paramètres et données de la base de données, donc, aucune perte ;)

Par contre, je te conseille d'enlever tous les hacks que tu a installer avant la mise à jour, car cela risque pour bien des cas, de poser des problème voir même de faire échouer la mise à jour.

beuzathor
26/05/2006, 09h41
nickel sa, jusqu'a present je le faisait a la main, mais quand ya 20 ou 30 Mo c carrement relou
merci a toi

Xiu
22/08/2006, 18h40
sa a marcher SUPER! maintenant je sai pas quoi faire

sa me fait sa:

Warning: array_keys(): The first argument should be an array in /includes/functions.php on line 3272

Warning: Invalid argument supplied for foreach() in /includes/functions.php on line 3272

sa me fait sa:

en francais:

Avertissement : array_keys () : Le premier argument devrait être une rangée dans /includes/functions.php sur la ligne 3272 Avertissement : Argument inadmissible fourni pour le foreach () dans /includes/functions.php sur la ligne 3272

sa me fait des ecriture etrange

je ne comprends pas pourquoi sa me fait sa!

jai pris la base de donnée par petit bout c' est la meme chose

que faire aider moi svp???.............

J'ai le même problème, je supose que tu exporte une bdd de free...

kameleon62123
23/08/2006, 13h17
oui exacte! c' est quoi la solution?

Xiu
23/08/2006, 13h23
Je ne sais pas, c'est peux être free qui n'a jamais su exporter une bdd.llol

Syfax
30/09/2006, 12h23
bien que je me suis présenté je n'arriva pas charger le tuto

marock
11/11/2006, 21h53
j'ai une BD de 70Mo, mais il importe seulement 2 tables et ça s'arrête.

BigDump: Staggered MySQL Dump Importer ver. 0.21b

Processing file: dimaforums.sql
Starting at the line: 1
Stopped at the line 353.
At this place the current query includes more than 300 dump lines. That can happen if your dump file was created by some tool which doesn't place a semicolon followed by a linebreak at the end of each query, or if your dump contains extended inserts. Please read the BigDump FAQs for more infos.
Stopped on error
Start from the beginning (http://127.0.0.1/bigdump/bigdump.php) (DROP the old tables before restarting)
© 2003-2005 Alexey Ozerov (alexey@ozerov.de) - BigDump Home (http://www.ozerov.de/bigdump)

Rom56
19/11/2006, 17h10
j'ai une BD de 70Mo, mais il importe seulement 2 tables et ça s'arrête.

BigDump: Staggered MySQL Dump Importer ver. 0.21b

Processing file: dimaforums.sql
Starting at the line: 1
Stopped at the line 353.
At this place the current query includes more than 300 dump lines. That can happen if your dump file was created by some tool which doesn't place a semicolon followed by a linebreak at the end of each query, or if your dump contains extended inserts. Please read the BigDump FAQs for more infos.
Stopped on error
Start from the beginning (http://127.0.0.1/bigdump/bigdump.php) (DROP the old tables before restarting)
© 2003-2005 Alexey Ozerov (alexey@ozerov.de) - BigDump Home (http://www.ozerov.de/bigdump)

essaye en baissant le nombre de requete par minute ;)

satan
18/10/2007, 12h26
merci super utile je l'utiliserai bientot j'espére

pixel59650
27/10/2008, 20h14
bonjour a tous,

voici mon erreur

BigDump: Staggered MySQL Dump Importer v0.29b


Processing file: mghoster545.sql
Starting from line: 22477

Error at the line 23991: );
Query: CREATE TABLE ct3__recrute (
id int(11) NOT NULL auto_increment,
date varchar(12) NOT NULL,
pseudo text NOT NULL,
prenom text NOT NULL,
age int(3) DEFAULT '0' NOT NULL,
mail varchar(80) NOT NULL,
icq varchar(50) NOT NULL,
country text NOT NULL,
game int(11) DEFAULT '0' NOT NULL,
connection text NOT NULL,
experience text NOT NULL,
dispo text NOT NULL,
comment text NOT NULL,
PRIMARY KEY (id),
KEY game (game)
);

MySQL: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'connection text NOT NULL, experience text NOT NULL, dispo text NOT NULL,' at line 11
Stopped on error


Ma basse de donner fait + de 12 Mo

chirir
08/07/2009, 12h48
très bon tuto merci

chirir
08/07/2009, 16h05
bonjour
j'ai le message qui s'affiche lors de la restauration avec bigdump



Starting at the line: 3009
Error at the line 4068: /*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;
Query: /*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;
MySQL: Unknown or incorrect time zone: 'NULL'
Stopped on error



pouvez vous me dire ou reside le pbs