Оптовая компания, ночная выгрузка из 1С в MySQL
Выдуманная оптовая компания каждую ночь выгружает счета, строки и платежи из 1С в MySQL. Каждое расхождение найдено SQL, с причиной.
91 расхождение в 3 таблицах: 12 удалённых строк остались в цели, 20 строк записаны дважды, 6 платежей привязаны не к тому счёту, 45 изменений не выгружены, 8 переименованных артикулов не обновлены
Мост: от источника к цели, по таблицам и месяцам
счета
| Месяц | Шаг | Строки | Контрольная сумма |
|---|---|---|---|
| сентябрь 2026 | Источник | 900 | 184 821 330,6500 |
| сентябрь 2026 | Изменено после выгрузки | 0 | +469 022,8600 |
| сентябрь 2026 | Цель | 900 | 185 290 353,5100 |
строки счетов
| Месяц | Шаг | Строки | Контрольная сумма |
|---|---|---|---|
| сентябрь 2026 | Источник | 3 600 | 184 821 330,6500 |
| сентябрь 2026 | Удалена, осталась в цели | +12 | +487 817,7500 |
| сентябрь 2026 | Повтор после перезапуска | +20 | +975 021,2900 |
| сентябрь 2026 | Изменено после выгрузки | 0 | −18 794,8900 |
| сентябрь 2026 | Цель | 3 632 | 186 265 374,8000 |
платежи
| Месяц | Шаг | Строки | Контрольная сумма |
|---|---|---|---|
| сентябрь 2026 | Источник | 850 | 174 298 000,5200 |
| сентябрь 2026 | Цель | 850 | 174 298 000,5200 |
Граф задач DAG
Расхождения
| Таблица | Причина | Ключ | Колонка | Источник | Цель | Разница | Объяснение |
|---|---|---|---|---|---|---|---|
| счета | изменено после выгрузки | 0xkampz6-bcg4-0dni-umgf-ib4vryhhogsy | total | 175357.3300 | 183380.55 | +8 023,2200 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | 4ulxsgke-h5aq-8v7v-q5yf-umdgi4f7gqtg | total | 91227.0100 | 109885.16 | +18 658,1500 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | 5mjjgzt2-kizl-oupg-juve-cplpzrdsag7q | total | 295782.2400 | 293938.08 | −1 844,1600 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | bqrlzflt-awqx-rn7i-izcx-ali2x5ycadxz | total | 101646.1900 | 133001.64 | +31 355,4500 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | cc5vuqj2-vgmc-7idn-riq8-ehj0urdep6vx | total | 292333.1700 | 431583.93 | +139 250,7600 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | ckc0hdjf-bubo-xksh-lacl-8c4rwob2kuwx | total | 281728.6500 | 283045.47 | +1 316,8200 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | fdpehbnu-patg-nurr-ovnn-erytwwpkvsfq | total | 261924.3800 | 269844.24 | +7 919,8600 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | hromaf5c-zjf8-2nhk-mb8e-gvii6hsfdgj8 | total | 71210.6700 | 73739.07 | +2 528,4000 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | lknno96n-2df0-mr7g-q0rv-9qq2ic8gqdw2 | total | 74061.2900 | 81975.23 | +7 913,9400 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | m9qovw3s-ez28-drau-9eej-jjxua8zsowqw | total | 292451.9000 | 308248.35 | +15 796,4500 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | prbpfvtb-77s9-gyxj-kbnf-raosshahd4uz | total | 334246.6200 | 364628.30 | +30 381,6800 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | qyutqnak-s58h-agis-gqdj-scowsszedrpl | total | 109287.0000 | 151972.20 | +42 685,2000 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | rhcydp43-mixq-gy4z-josq-clwvsj6wi7km | total | 256077.7700 | 255682.89 | −394,8800 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | ts2tmv2i-3woj-a49d-ile8-g2lfqbulzobj | total | 174334.4700 | 316022.77 | +141 688,3000 | Изменено в источнике после выгрузки. |
| счета | изменено после выгрузки | xxp71lld-gqwa-rtv6-patr-negnsrtz3kvt | total | 149657.0700 | 173400.74 | +23 743,6700 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | 1aefkjt3-xvf5-onq5-jtax-xvartwwejnzu | amount | 122985.3600 | 112736.58 | −10 248,7800 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | 1aefkjt3-xvf5-onq5-jtax-xvartwwejnzu | qty | 36 | 33 | −3,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | 3kepij6g-bijr-nmvv-s6vs-ca7wugrijw5p | amount | 32158.6200 | 29684.88 | −2 473,7400 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | 3kepij6g-bijr-nmvv-s6vs-ca7wugrijw5p | qty | 13 | 12 | −1,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | a5g9hsvz-a8kf-82ml-nblx-lei5crxmiakf | amount | 30694.6400 | 26857.81 | −3 836,8300 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | a5g9hsvz-a8kf-82ml-nblx-lei5crxmiakf | qty | 8 | 7 | −1,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | dpauflcm-whzy-hjon-eamk-8lgyymbutbyk | amount | 78568.9900 | 82704.20 | +4 135,2100 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | dpauflcm-whzy-hjon-eamk-8lgyymbutbyk | qty | 19 | 20 | +1,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | fjh4mhbu-efml-ikxw-ohc7-1dj7du45kvhm | amount | 65155.0200 | 62052.40 | −3 102,6200 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | fjh4mhbu-efml-ikxw-ohc7-1dj7du45kvhm | qty | 21 | 20 | −1,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | g5witler-fejn-lrpl-fucv-ds0fdp6w9vzs | amount | 60026.5100 | 75822.96 | +15 796,4500 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | g5witler-fejn-lrpl-fucv-ds0fdp6w9vzs | qty | 19 | 24 | +5,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | lmnr84hu-eety-6l7c-o2n8-rd1hjmou2ash | amount | 26006.8200 | 16718.67 | −9 288,1500 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | lmnr84hu-eety-6l7c-o2n8-rd1hjmou2ash | qty | 14 | 9 | −5,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | lq4bqfnv-61ys-pqqw-skvg-epfjbbqvlr4c | amount | 50267.6000 | 55294.36 | +5 026,7600 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | lq4bqfnv-61ys-pqqw-skvg-epfjbbqvlr4c | qty | 20 | 22 | +2,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | ntpkrpgi-ghka-lpal-dlez-nr0amxygr0mo | amount | 45609.6900 | 37677.57 | −7 932,1200 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | ntpkrpgi-ghka-lpal-dlez-nr0amxygr0mo | qty | 23 | 19 | −4,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | qbpp8kli-uyfo-px3w-5fpt-pbxf01ok08vs | amount | 135512.7800 | 143484.12 | +7 971,3400 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | qbpp8kli-uyfo-px3w-5fpt-pbxf01ok08vs | qty | 34 | 36 | +2,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | rdf4j32r-qouz-wotf-fbly-wuh3uyg9gmbm | amount | 23741.8200 | 31655.76 | +7 913,9400 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | rdf4j32r-qouz-wotf-fbly-wuh3uyg9gmbm | qty | 6 | 8 | +2,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | rpedjtii-tfde-y4iw-w1p6-vnxghrdwp4rw | amount | 47711.4300 | 42410.16 | −5 301,2700 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | rpedjtii-tfde-y4iw-w1p6-vnxghrdwp4rw | qty | 27 | 24 | −3,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | wbtolnzp-os72-onca-c7rf-cdnqeoyvejew | amount | 18526.2000 | 17964.80 | −561,4000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | wbtolnzp-os72-onca-c7rf-cdnqeoyvejew | qty | 33 | 32 | −1,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | whph0ep5-0kus-gjer-rr3b-pvmc7d6u52kn | amount | 9220.8000 | 7376.64 | −1 844,1600 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | whph0ep5-0kus-gjer-rr3b-pvmc7d6u52kn | qty | 15 | 12 | −3,0000 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | y5qdm5tc-3qqt-rwt2-kbin-nyzdixtafwd4 | amount | 63960.4600 | 48910.94 | −15 049,5200 | Изменено в источнике после выгрузки. |
| строки счетов | изменено после выгрузки | y5qdm5tc-3qqt-rwt2-kbin-nyzdixtafwd4 | qty | 17 | 13 | −4,0000 | Изменено в источнике после выгрузки. |
| строки счетов | удалена, осталась в цели | 4hlnrnon-3h5b-wgvj-ijw6-lfyl5uycjvxu | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | dhdeor2q-o3mg-wmdn-y4wo-hh4txefs1e9h | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | ducsyikh-oymj-akfv-reso-xdkiplysigkb | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | gmjjismi-riy3-dlkn-ikln-wukmmfuhvhkv | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | ietujb5s-sqgp-qnke-mevq-mlh2tc6g4vrl | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | j9gjunsm-pwsr-i7f5-rhu1-7gwoqdviqpeh | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | lr72iidn-fhma-vvcp-gppg-yexwmjualcfy | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | qqaul4uh-arsd-61ow-xbzy-fkjnh6o6iv40 | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | t4iirzbx-sxnk-h9s7-6yul-fbkzxpzdbykc | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | u8zss1jf-tsru-fmv7-gz8x-i3ri5gcbxk7a | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | wlwrkaoc-jqae-msgj-lhlr-9orpzkfhqezq | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | удалена, осталась в цели | xltgmcc8-ettn-q7l1-jei4-vcq8at2y5qte | +1,0000 | Удалена в источнике после выгрузки, в цели осталась. | |||
| строки счетов | повтор после перезапуска | 2bzexrlu-6ovg-9euz-6igl-0hhdob14ydvu | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | 2ydhsrzs-easn-6kpl-32hm-cjlke7ahblit | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | ab9sdfmu-2aa4-cyvr-lorf-o5zhza5z8mg0 | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | adfcfmph-x5p7-8tvx-lh8w-lyiqua3wmpx9 | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | anmzfykg-xj3g-8pp4-txwr-ggl1an1lzxar | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | bab9w6qx-ttnq-dfu1-3uvf-edxxzx6gmrvi | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | dkkuoy9m-qclb-v51y-ylvp-a5aheuhtudjy | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | fin4gbii-4f88-g5wr-ds64-rzk7ffwbxfg0 | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | gkoinrmv-f7fb-xxrj-u0rr-xh9mxqip1gza | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | j9gtkl70-e8uu-enz8-9nnm-ysyggyroldwk | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | kgnk9nfx-3pqc-cpgq-jcmx-2ql0cavg554n | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | n4ub4ffk-bcx8-a0fm-shvd-dpqm5p24elsq | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | nmuoiqj1-tpxw-1dz5-wu4q-h4iuvbfo38lo | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | onlehrjw-fmnx-l26h-hw6o-yueub4tgvljh | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | rmohf5su-6hxd-vlpm-q9tn-jhywwsibfpc8 | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | u1srm6gr-veqi-yzog-13oe-g8uikpnjvqjm | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | ucsdnfx1-2ld6-r7vx-kyp9-ussctfkvgpia | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | xa72jw4d-3l7d-q3ht-wnzm-l8fbusdfrmhm | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | zicyyppa-utof-iwja-2ihv-xslueblpsg2x | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | повтор после перезапуска | zijrurwf-vgg0-rarf-5ip6-fmr8gysiflkq | +1,0000 | Записана дважды: перезапуск выгрузки записал её снова. | |||
| строки счетов | артикул не обновлён | 7n1vnslb-kdx1-qtcp-b8kx-o4vprrqsex3k | article | A-92005 | A-91005 | Артикул переименован в источнике, в цели остался старый. | |
| строки счетов | артикул не обновлён | ebubsdsc-mxvg-jfjc-hne2-wbmjexds2xjk | article | A-92008 | A-91008 | Артикул переименован в источнике, в цели остался старый. | |
| строки счетов | артикул не обновлён | jvaqpmuk-vew5-lyz0-8fsp-olhewr0in4er | article | A-92001 | A-91001 | Артикул переименован в источнике, в цели остался старый. | |
| строки счетов | артикул не обновлён | nkbvrk05-xfv1-f0rj-d2uy-cixsbfwm4gsx | article | A-92007 | A-91007 | Артикул переименован в источнике, в цели остался старый. | |
| строки счетов | артикул не обновлён | rdrt9rsp-c3so-thiz-rudh-esljsrkwl1hy | article | A-92002 | A-91002 | Артикул переименован в источнике, в цели остался старый. | |
| строки счетов | артикул не обновлён | rhnqi0cw-tlld-9qjj-xv2l-dbwjcqn5cpct | article | A-92003 | A-91003 | Артикул переименован в источнике, в цели остался старый. | |
| строки счетов | артикул не обновлён | u4jsn4qn-umye-r9ew-dwbh-wijbaeamawsl | article | A-92006 | A-91006 | Артикул переименован в источнике, в цели остался старый. | |
| строки счетов | артикул не обновлён | whplfhkb-4p5q-ytvx-lmbt-rxnhjsybduyw | article | A-92004 | A-91004 | Артикул переименован в источнике, в цели остался старый. | |
| платежи | не тот счёт | 3e7tj8bg-shri-nvqt-1fej-9deg6imgrauk | invoice_guid | aji9zcdi-0rsh-mauh-vb58-gkcpzs26np5l | foyyay19-n0gy-zeub-u5qe-aamhbwp080jv | Привязан к старому счёту с тем же номером. | |
| платежи | не тот счёт | buryjvzh-ewin-jel3-rv9l-yc4ab9hgbbsr | invoice_guid | lyse4nqm-n1mz-1nua-akdo-p3aneaada60t | sjg779wi-ctza-x1zf-gacp-f4qco34sabdp | Привязан к старому счёту с тем же номером. | |
| платежи | не тот счёт | fduv5x6h-p5fr-kw3b-qeyc-fhmsuaibshug | invoice_guid | rsnypgye-eir8-b71h-so4r-869a1i0pgqop | as0l3xnq-akyv-uaeu-kzks-d36dvmnxsbue | Привязан к старому счёту с тем же номером. | |
| платежи | не тот счёт | qugx3mux-iui9-jycb-kg0o-3uvlfevxwxgv | invoice_guid | lm2u3czm-lbac-wl5s-ulx4-uh07sz0ps5es | 6nd4i0wx-ckef-39no-h4rh-jsddmf4iugg9 | Привязан к старому счёту с тем же номером. | |
| платежи | не тот счёт | s0wz1jog-bsvs-hwyy-waud-txjyyvptbtck | invoice_guid | wbili1dd-egbw-gzal-ym9g-e5jezlczcz4j | fybcwr4w-tfte-rqfp-teoo-dkngek6d2bab | Привязан к старому счёту с тем же номером. | |
| платежи | не тот счёт | vx6xasz5-zq8q-k9ut-fxim-tiddl940kssn | invoice_guid | lci6smjo-ggqb-ta1e-9rjm-pwnpfegcubte | ugknwqmx-6pij-tjii-6cbx-ww1bvecx0lkm | Привязан к старому счёту с тем же номером. |
Как запустить
Оба демо с нуля: ./run.sh. Проверка загрузки как DAG в Airflow, когда его окружение настроено по README: airflow dags test load_check.