import os
import pandas as pd

from data_generator.utils import load_configs

os.chdir("..")

# Базовые конфиги
base_cfg = load_configs("./config/base.yaml")
# Настройки легальных транзакций
legit_cfg = load_configs("./config/legit.yaml")
# Общие настройки фрода
fraud_cfg = load_configs("./config/fraud.yaml")
# Настройки compromised client фрода
compr_cfg = load_configs("./config/compr.yaml")
# Настройки для дроп фрода
drops_cfg = load_configs("./config/drops.yaml")
# Настройки времени
time_cfg = load_configs("./config/time.yaml") 

# Пути к файлам
data_paths = base_cfg["data_paths"]

# директория текущего запуска генератора. Возьмем из предыдущего ноутбука.
# Т.к. нужны транз-ции сгенерировнные всеми разделами

run_dir = './data/generated/history/generation_run_2025-07-25_121029'

from data_generator.validator import ConfigsValidator

cfg_validator = ConfigsValidator(base_cfg, legit_cfg, fraud_cfg, drops_cfg)

cfg_validator.validate_drops_rate()

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
Cell In[3], line 1
----> 1 cfg_validator.validate_drops_rate()

File ~\My_documents\Education\projects\fraud_detection_01\data_generator\validator.py:199, in ConfigsValidator.validate_drops_rate(self)
    197 if remainder < total_drops:
    198     print("\n")
--> 199     raise ValueError(f"""Total clients number needed for drop fraud generation
    200     exceeds the available clients number.
    201     Clients number needed for drops: {total_drops}
    202     Available clients: {remainder}
    203     Legit txns clients: {legit_clients}
    204     Compr fraud clients: {compr_clients}
    205     Please do one or both:
    206     1. Reduce legit txns number.
    207     2. Reduce total fraud rate.""")
    209 if total_drops <= 0:
    210     raise ValueError(f"""\nTotal drops number cannot be 0 or lower.
    211     Total estimated drops: {total_drops}
    212     Please do one of below or combine:
    213     1. Increase drop fraud rates
    214     2. Increase total fraud rate
    215     3. Increase legit txns number""")

ValueError: Total clients number needed for drop fraud generation
            exceeds the available clients number.
            Clients number needed for drops: 2323
            Available clients: 350
            Legit txns clients: 5000
            Compr fraud clients: 19
            Please do one or both:
            1. Reduce legit txns number.
            2. Reduce total fraud rate.

from data_generator.recorder import AllTxnsRecorder

all_recorder = AllTxnsRecorder(base_cfg, legit_cfg, compr_cfg, drops_cfg, run_dir)

# Легальные транзакции. 
# соберем полный путь. run_dir определен в начале ноутбука, остальное из конфигов
leg_storage = legit_cfg["data_storage"]
leg_folder = leg_storage["folder_name"] # поддиректория для лег. транз.
leg_file = leg_storage["files"]["txns"] # название файла с лег. транз
leg_path = os.path.join(run_dir, leg_folder, leg_file)

leg_txns = pd.read_parquet(leg_path)
leg_txns.head(2)

# compromised fraud транзакции.
compr_storage = compr_cfg["data_storage"]
compr_folder = compr_storage["folder_name"] # поддиректория
compr_file = compr_storage["files"]["txns"] # название файла
compr_path = os.path.join(run_dir, compr_folder, compr_file)

compr_txns = pd.read_parquet(compr_path)
compr_txns.head(2)

# транзакции дропов распределителей
dist_storage = drops_cfg["distributor"]["data_storage"]
dist_folder = dist_storage["folder_name"] # поддиректория
dist_file = dist_storage["files"]["txns"] # название файла
dist_path = os.path.join(run_dir, dist_folder, dist_file)

dist_txns = pd.read_parquet(dist_path)
dist_txns.head(2)

# транзакции дропов покупателей
purch_storage = drops_cfg["purchaser"]["data_storage"]
purch_folder = purch_storage["folder_name"] # поддиректория
purch_file = purch_storage["files"]["txns"] # название файла
purch_path = os.path.join(run_dir, purch_folder, purch_file)

purch_txns = pd.read_parquet(purch_path)
purch_txns.head(2)

all_recorder.build_and_write()

Building and writing all txns dataframe... completed.

base_storage = base_cfg["data_storage"]
all_txns_file = base_storage["files"]["all_txns"] # название файла
all_txns_path = os.path.join(run_dir, all_txns_file)

all_txns = pd.read_parquet(all_txns_path)
all_txns.head(2)

# суммарная длина датафреймов из отдельных файлов
sep_file_len_sum = sum([leg_txns.shape[0], compr_txns.shape[0], dist_txns.shape[0], purch_txns.shape[0]])
sep_file_len_sum

19903

# длина датафрейма из единого файла
whole_df_len = all_txns.shape[0]

assert sep_file_len_sum == whole_df_len, "Суммарная длина отдельных датафреймов не равна длине единого датафрейма."
print(f"""Длина единого датафрейма равна суммарной длине отдельных датафреймов.
Длина: {whole_df_len}""")

Длина единого датафрейма равна суммарной длине отдельных датафреймов.
Длина: 19903

from pathlib import Path

from data_generator.utils import load_configs
from data_generator.validator import ConfigsValidator 
from data_generator.runner.utils import make_dir_for_run
from data_generator.runner.legit import LegitRunner
from data_generator.runner.compr import ComprRunner
from data_generator.runner.drops import DropsRunner
from data_generator.recorder import AllTxnsRecorder

# Общие настройки
base_cfg = load_configs("./config/base.yaml")
# Настройки легальных транзакций
legit_cfg = load_configs("./config/legit.yaml")
# Общие настройки фрода
fraud_cfg = load_configs("./config/fraud.yaml")
# Настройки compromised client фрода
compr_cfg = load_configs("./config/compr.yaml")
# Настройки времени
time_cfg = load_configs("./config/time.yaml")
# Настройки дроп фрода
drop_cfg = load_configs("./config/drops.yaml")


# Валидация основных конфигов перед началом генерации
cfg_validator = ConfigsValidator(base_cfg=base_cfg, legit_cfg=legit_cfg, \
                                 fraud_cfg=fraud_cfg, drop_cfg=drop_cfg)
cfg_validator.validate_all()

# Создаем папку под файлы текущей генерации
run_dir = make_dir_for_run(base_cfg=base_cfg)

# Генерация легальных транзакций
legit_runner = LegitRunner(base_cfg=base_cfg, legit_cfg=legit_cfg, \
                           time_cfg=time_cfg, run_dir=run_dir)
legit_runner.run()


# Генерация compromised client fraud транзакций
compr_runner = ComprRunner(base_cfg=base_cfg, legit_cfg=legit_cfg, \
                           time_cfg=time_cfg, fraud_cfg=fraud_cfg, \
                           compr_cfg=compr_cfg, run_dir=run_dir)
compr_runner.run()


# Генерация фрода дропов распределителей 
dist_drops_runner = DropsRunner(base_cfg=base_cfg, legit_cfg=legit_cfg, \
                                time_cfg=time_cfg, fraud_cfg=fraud_cfg, \
                                drops_cfg=drop_cfg, run_dir=run_dir, \
                                drop_type="distributor")
dist_drops_runner.run()


# Генерация фрода дропов покупателей 
purch_drops_runner = DropsRunner(base_cfg=base_cfg, legit_cfg=legit_cfg, \
                                time_cfg=time_cfg, fraud_cfg=fraud_cfg, \
                                drops_cfg=drop_cfg, run_dir=run_dir, \
                                drop_type="purchaser")
purch_drops_runner.run()


# Сборка созданных транзакций в один датафрейм и запись в один файл в двух директориях
recorder = AllTxnsRecorder(base_cfg=base_cfg, legit_cfg=legit_cfg, compr_cfg=compr_cfg, \
                           drops_cfg=drop_cfg, run_dir=run_dir)

recorder.build_and_write()

# Вывод сообщения о том куда сохранены сгенерированные транзакции
latest_path = Path(base_cfg["data_paths"]["generated"]["latest"])
print(f"""\n
Generated files are located in {run_dir} - individual folder for this run.
And in {latest_path} - contains files of the last run only.""")
input("\nPress Enter to exit...")

	client_id	txn_time	unix_time	amount	type	channel	category	online	merchant_id	trans_city	trans_lat	trans_lon	trans_ip	device_id	account	is_fraud	is_suspicious	status	rule
0	3937	2025-01-01 00:02:00	1735689720	1878.0	purchase	POS	grocery_pos	False	989.0	Пермь	58.045040	56.170369	not applicable	NaN	NaN	False	False	approved	not applicable
1	4275	2025-01-01 00:27:00	1735691220	1000.0	purchase	POS	gas_transport	False	727.0	Тамбов	52.715932	41.465163	not applicable	NaN	NaN	False	False	approved	not applicable

	client_id	txn_time	unix_time	amount	type	channel	category	online	merchant_id	trans_city	trans_lat	trans_lon	trans_ip	device_id	account	is_fraud	is_suspicious	status	rule
0	1114	2025-01-20 11:13:47	1737371627	24741.85	purchase	ecom	shopping_net	True	6949.0	Иваново	56.999468	40.972823	5.8.23.242	12408.0	NaN	True	False	declined	new_ip_and_device_high_amount
1	1125	2025-01-18 18:47:28	1737226048	19148.95	purchase	ecom	misc_net	True	6835.0	Новокузнецк	53.794276	87.214405	5.8.0.153	14458.0	NaN	True	False	declined	new_device_and_high_amount

	client_id	txn_time	unix_time	amount	type	channel	category	online	merchant_id	trans_city	trans_lat	trans_lon	trans_ip	device_id	account	is_fraud	is_suspicious	status	rule
0	2101	2025-01-15 05:25:00	1736918700	15600.0	inbound	transfer	not applicable	True	NaN	not applicable	NaN	NaN	not applicable	NaN	11986.0	False	False	approved	not applicable
1	2101	2025-01-15 06:12:00	1736921520	9000.0	outbound	transfer	not applicable	True	NaN	Волгоград	48.7072	44.517021	2.60.7.195	3548.0	22668.0	False	False	approved	not applicable

	client_id	txn_time	unix_time	amount	type	channel	category	online	merchant_id	trans_city	trans_lat	trans_lon	trans_ip	device_id	account	is_fraud	is_suspicious	status	rule
0	454	2025-01-06 07:06:00	1736147160	31300.0	inbound	transfer	not applicable	True	NaN	not applicable	NaN	NaN	not applicable	NaN	10432.0	False	False	approved	not applicable
1	454	2025-01-06 08:14:00	1736151240	21000.0	purchase	ecom	shopping_net	True	6919.0	Саратов	51.530376	45.953026	2.60.1.177	763.0	NaN	False	False	approved	not applicable

	client_id	txn_time	unix_time	amount	type	channel	category	online	merchant_id	trans_city	trans_lat	trans_lon	trans_ip	device_id	account	is_fraud	is_suspicious	status	rule
0	3937	2025-01-01 00:02:00	1735689720	1878.0	purchase	POS	grocery_pos	False	989.0	Пермь	58.045040	56.170369	not applicable	NaN	NaN	False	False	approved	not applicable
1	4275	2025-01-01 00:27:00	1735691220	1000.0	purchase	POS	gas_transport	False	727.0	Тамбов	52.715932	41.465163	not applicable	NaN	NaN	False	False	approved	not applicable

Объединение всех видов генерации. Оркестрация генерации в цельный генератор транзакций¶

Дополнительные инструменты цельной генерации¶

1. Валидатор конфигураций `ConfigsValidator`¶

Демонстрация `ConfigsValidator`¶

Метод `validate_drops_rate()`¶

2. Запись всех созданных транзакций в единый файл. Класс `AllTxnsRecorder`¶

Демонстрация `AllTxnsRecorder`¶

1. Прочитаем и запишем в переменные одиночные файлы с транзакциями¶

2. сборка всех транзакций в целый датафрейм и запись в один файл через метод `build_and_write()`¶

3. Сверяем¶

Оркестрация разделов генерации в единый генератор транзакций¶

Единая точка входа. Скрипт запуска генератора `run_generator.py`¶

Конец описания генерации транзакций¶

Объединение всех видов генерации. Оркестрация генерации в цельный генератор транзакций¶

Дополнительные инструменты цельной генерации¶

1. Валидатор конфигураций ConfigsValidator¶

Демонстрация ConfigsValidator¶

Метод validate_drops_rate()¶

2. Запись всех созданных транзакций в единый файл. Класс AllTxnsRecorder¶

Демонстрация AllTxnsRecorder¶

1. Прочитаем и запишем в переменные одиночные файлы с транзакциями¶

2. сборка всех транзакций в целый датафрейм и запись в один файл через метод build_and_write()¶

3. Сверяем¶

Оркестрация разделов генерации в единый генератор транзакций¶

Единая точка входа. Скрипт запуска генератора run_generator.py¶

Конец описания генерации транзакций¶

1. Валидатор конфигураций `ConfigsValidator`¶

Демонстрация `ConfigsValidator`¶

Метод `validate_drops_rate()`¶

2. Запись всех созданных транзакций в единый файл. Класс `AllTxnsRecorder`¶

Демонстрация `AllTxnsRecorder`¶

2. сборка всех транзакций в целый датафрейм и запись в один файл через метод `build_and_write()`¶

Единая точка входа. Скрипт запуска генератора `run_generator.py`¶