SAP B1 → مزامنة ليلية للمستودع البياني (CDC)

استخراج تزايدي ليلي من SAP Business One إلى مستودع بيانات (SQL/BigQuery). يستخدم CDC القائم على UpdateDate لسحب المستندات المتغيّرة، ويعيد دائماً سحب الرأس مع السطور معاً (قد تتغيّر السطور دون حذف الرأس)، ويوحّد المناطق الزمنية لـ DocDate/CreateDate، ويحمّل طبقة التجهيز عبر نقطة تحميل دفعية.

خطوات التدفق

  1. Schedule: Nightly ETL
  2. Read Last CDC Watermark
  3. SL Login (read login, 401→relogin)
  4. SL: GET /Invoices (delta + $expand lines)
  5. For Each Changed Document
  6. Normalize TZ (DocDate/CreateDate) + Header+Lines
  7. Load → DWH Staging (upsert doc+lines)
  8. Persist New Watermark (after successful load)
  9. Log Sync Summary

كل القوالب