Överföring av data från SQLite till PostgreSQL
Långgård, Mattias (2023)
Långgård, Mattias
2023
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2023061323714
https://urn.fi/URN:NBN:fi:amk-2023061323714
Tiivistelmä
Detta arbete gjordes på uppdrag av Edupower Oy Ab. Uppgiften gick ut på att överföra data från en databas med databashanteringssystemet SQLite till en databas med befintliga data som använder databashanteringssystemet PostgreSQL genom att tillämpa ETL (Extract, Transform, Load) -metodik och effektiv verktygshantering. Målet var att säkerställa en smidig överföring av data från en databas till en annan, samtidigt som man bevarade dataintegriteten och hanterade referenser mellan tabeller.
Genom en noggrann kartläggning och analys av tabellstrukturer, identifierades de relevanta datamängderna för överföringen. Genom att tillämpa ETL-metoden extraherades data från källsystemet och genomgick sedan en omfattande transformationsprocess för att anpassa den till det nya databasformatet. Genom att undersöka olika metoder och verktyg för att lösa detta problem valdes Pgloader som huvudsakligt verktyg för överföringen.
Under överföringsprocessen identifierades utmaningar relaterade till referenser mellan tabeller, vilket ledde till problem vid driftsättningen av applikationen som använde databasen. För att hitta en mer tillförlitlig lösning undersöktes olika möjligheter och diskuterades strategier för att hantera referensproblemet och säkerställa en korrekt driftsättning av systemet. Valet gjordes att söka efter en enklare och mer automatiserad metod för att lösa referensproblemen. This work is assigned by Edupower Oy Ab. The task involved transferring data from a database using the SQLite database management system to a database with existing data using the PostgreSQL database management system, applying Extract, Transform, Load (ETL) methodology, and efficient tool management. The goal was to ensure a smooth transfer of data from one database to another while preserving data integrity and managing references between tables.
Through careful mapping and analysis of table structures, the relevant datasets for the transfer were identified. By applying the ETL methodology, data was extracted from the source system and then underwent an extensive transformation process to adapt it to the new database format. After examining various methods and tools to address this problem, Pgloader was chosen as the primary tool for the transfer.
During the transfer process, challenges related to table references were identified, resulting in issues during the deployment of the application using the database. To find a more reliable solution, different possibilities were explored, and strategies were discussed to address the reference problem and ensure the proper deployment of the system. The decision was made to search for a simpler and more automated method to solve the reference issues.
Genom en noggrann kartläggning och analys av tabellstrukturer, identifierades de relevanta datamängderna för överföringen. Genom att tillämpa ETL-metoden extraherades data från källsystemet och genomgick sedan en omfattande transformationsprocess för att anpassa den till det nya databasformatet. Genom att undersöka olika metoder och verktyg för att lösa detta problem valdes Pgloader som huvudsakligt verktyg för överföringen.
Under överföringsprocessen identifierades utmaningar relaterade till referenser mellan tabeller, vilket ledde till problem vid driftsättningen av applikationen som använde databasen. För att hitta en mer tillförlitlig lösning undersöktes olika möjligheter och diskuterades strategier för att hantera referensproblemet och säkerställa en korrekt driftsättning av systemet. Valet gjordes att söka efter en enklare och mer automatiserad metod för att lösa referensproblemen.
Through careful mapping and analysis of table structures, the relevant datasets for the transfer were identified. By applying the ETL methodology, data was extracted from the source system and then underwent an extensive transformation process to adapt it to the new database format. After examining various methods and tools to address this problem, Pgloader was chosen as the primary tool for the transfer.
During the transfer process, challenges related to table references were identified, resulting in issues during the deployment of the application using the database. To find a more reliable solution, different possibilities were explored, and strategies were discussed to address the reference problem and ensure the proper deployment of the system. The decision was made to search for a simpler and more automated method to solve the reference issues.