Revision ec711b23152ca4e426057557784af322a2065fbc authored by mrambacher on 17 July 2020, 02:04:44 UTC, committed by Facebook GitHub Bot on 17 July 2020, 02:06:31 UTC
Summary:
This PR does a few things:
- The "compression_opts" and "bottom_compression_opts" can now be read/written as name/value pairs of options (instead of only a colon-separated list;
- These options can now be read/written to the Options file;
- The parallel_threads value can now be set (either in the colon or name-value format).

The compression options are now stored and treated as a OptionTypeInfo::Struct by the options system, meaning they can be read and written like the other structs.  This change allows them to be read/written easily to the options file.

Additionally, the colon-format was extended to allow support for setting parallel threads.  Tests were added to test all of the option settings via the optional parameters in the colon format.

Pull Request resolved: https://github.com/facebook/rocksdb/pull/6817

Reviewed By: ajkr

Differential Revision: D22396004

Pulled By: zhichao-cao

fbshipit-source-id: 38bcf74b7e9cd5bc2a84540fac2e9ba4f765b2c8
1 parent c5ddece
History
File Mode Size
blob
compaction
db_impl
arena_wrapped_db_iter.cc -rw-r--r-- 4.6 KB
arena_wrapped_db_iter.h -rw-r--r-- 4.4 KB
builder.cc -rw-r--r-- 11.4 KB
builder.h -rw-r--r-- 4.0 KB
c.cc -rw-r--r-- 157.5 KB
c_test.c -rw-r--r-- 98.6 KB
column_family.cc -rw-r--r-- 58.9 KB
column_family.h -rw-r--r-- 32.0 KB
column_family_test.cc -rw-r--r-- 113.6 KB
compact_files_test.cc -rw-r--r-- 13.2 KB
compacted_db_impl.cc -rw-r--r-- 5.7 KB
compacted_db_impl.h -rw-r--r-- 4.4 KB
comparator_db_test.cc -rw-r--r-- 18.5 KB
convenience.cc -rw-r--r-- 2.9 KB
corruption_test.cc -rw-r--r-- 17.6 KB
cuckoo_table_db_test.cc -rw-r--r-- 10.3 KB
db_basic_test.cc -rw-r--r-- 107.0 KB
db_block_cache_test.cc -rw-r--r-- 34.1 KB
db_bloom_filter_test.cc -rw-r--r-- 79.7 KB
db_compaction_filter_test.cc -rw-r--r-- 27.9 KB
db_compaction_test.cc -rw-r--r-- 181.3 KB
db_dynamic_level_test.cc -rw-r--r-- 16.8 KB
db_encryption_test.cc -rw-r--r-- 3.5 KB
db_filesnapshot.cc -rw-r--r-- 4.3 KB
db_flush_test.cc -rw-r--r-- 27.9 KB
db_info_dumper.cc -rw-r--r-- 3.8 KB
db_info_dumper.h -rw-r--r-- 560 bytes
db_inplace_update_test.cc -rw-r--r-- 5.7 KB
db_io_failure_test.cc -rw-r--r-- 18.8 KB
db_iter.cc -rw-r--r-- 48.5 KB
db_iter.h -rw-r--r-- 13.8 KB
db_iter_stress_test.cc -rw-r--r-- 21.0 KB
db_iter_test.cc -rw-r--r-- 107.5 KB
db_iterator_test.cc -rw-r--r-- 90.7 KB
db_log_iter_test.cc -rw-r--r-- 9.7 KB
db_logical_block_size_cache_test.cc -rw-r--r-- 17.3 KB
db_memtable_test.cc -rw-r--r-- 11.3 KB
db_merge_operand_test.cc -rw-r--r-- 8.2 KB
db_merge_operator_test.cc -rw-r--r-- 21.4 KB
db_options_test.cc -rw-r--r-- 32.1 KB
db_properties_test.cc -rw-r--r-- 63.3 KB
db_range_del_test.cc -rw-r--r-- 64.0 KB
db_sst_test.cc -rw-r--r-- 41.5 KB
db_statistics_test.cc -rw-r--r-- 5.2 KB
db_table_properties_test.cc -rw-r--r-- 11.7 KB
db_tailing_iter_test.cc -rw-r--r-- 16.5 KB
db_test.cc -rw-r--r-- 223.7 KB
db_test2.cc -rw-r--r-- 178.2 KB
db_test_util.cc -rw-r--r-- 49.3 KB
db_test_util.h -rw-r--r-- 35.9 KB
db_universal_compaction_test.cc -rw-r--r-- 77.4 KB
db_wal_test.cc -rw-r--r-- 56.5 KB
db_with_timestamp_basic_test.cc -rw-r--r-- 42.7 KB
db_with_timestamp_compaction_test.cc -rw-r--r-- 4.0 KB
db_write_test.cc -rw-r--r-- 11.6 KB
dbformat.cc -rw-r--r-- 6.5 KB
dbformat.h -rw-r--r-- 25.7 KB
dbformat_test.cc -rw-r--r-- 7.2 KB
deletefile_test.cc -rw-r--r-- 18.3 KB
error_handler.cc -rw-r--r-- 20.1 KB
error_handler.h -rw-r--r-- 3.0 KB
error_handler_fs_test.cc -rw-r--r-- 66.6 KB
event_helpers.cc -rw-r--r-- 7.5 KB
event_helpers.h -rw-r--r-- 2.2 KB
experimental.cc -rw-r--r-- 1.5 KB
external_sst_file_basic_test.cc -rw-r--r-- 61.1 KB
external_sst_file_ingestion_job.cc -rw-r--r-- 34.0 KB
external_sst_file_ingestion_job.h -rw-r--r-- 7.1 KB
external_sst_file_test.cc -rw-r--r-- 105.3 KB
fault_injection_test.cc -rw-r--r-- 17.2 KB
file_indexer.cc -rw-r--r-- 7.8 KB
file_indexer.h -rw-r--r-- 6.1 KB
file_indexer_test.cc -rw-r--r-- 9.9 KB
filename_test.cc -rw-r--r-- 5.7 KB
flush_job.cc -rw-r--r-- 18.1 KB
flush_job.h -rw-r--r-- 6.1 KB
flush_job_test.cc -rw-r--r-- 18.5 KB
flush_scheduler.cc -rw-r--r-- 2.4 KB
flush_scheduler.h -rw-r--r-- 1.6 KB
forward_iterator.cc -rw-r--r-- 31.9 KB
forward_iterator.h -rw-r--r-- 5.7 KB
forward_iterator_bench.cc -rw-r--r-- 11.6 KB
import_column_family_job.cc -rw-r--r-- 9.4 KB
import_column_family_job.h -rw-r--r-- 2.2 KB
import_column_family_test.cc -rw-r--r-- 21.3 KB
internal_stats.cc -rw-r--r-- 59.3 KB
internal_stats.h -rw-r--r-- 24.7 KB
job_context.h -rw-r--r-- 7.0 KB
listener_test.cc -rw-r--r-- 36.2 KB
log_format.h -rw-r--r-- 1.4 KB
log_reader.cc -rw-r--r-- 19.9 KB
log_reader.h -rw-r--r-- 6.5 KB
log_test.cc -rw-r--r-- 28.2 KB
log_writer.cc -rw-r--r-- 4.9 KB
log_writer.h -rw-r--r-- 3.9 KB
logs_with_prep_tracker.cc -rw-r--r-- 2.3 KB
logs_with_prep_tracker.h -rw-r--r-- 2.4 KB
lookup_key.h -rw-r--r-- 2.0 KB
malloc_stats.cc -rw-r--r-- 1.6 KB
malloc_stats.h -rw-r--r-- 673 bytes
manual_compaction_test.cc -rw-r--r-- 8.2 KB
memtable.cc -rw-r--r-- 42.3 KB
memtable.h -rw-r--r-- 21.4 KB
memtable_list.cc -rw-r--r-- 27.6 KB
memtable_list.h -rw-r--r-- 16.9 KB
memtable_list_test.cc -rw-r--r-- 33.8 KB
merge_context.h -rw-r--r-- 3.7 KB
merge_helper.cc -rw-r--r-- 16.3 KB
merge_helper.h -rw-r--r-- 7.9 KB
merge_helper_test.cc -rw-r--r-- 11.2 KB
merge_operator.cc -rw-r--r-- 3.1 KB
merge_test.cc -rw-r--r-- 13.5 KB
obsolete_files_test.cc -rw-r--r-- 11.5 KB
options_file_test.cc -rw-r--r-- 3.6 KB
perf_context_test.cc -rw-r--r-- 32.9 KB
pinned_iterators_manager.h -rw-r--r-- 2.5 KB
plain_table_db_test.cc -rw-r--r-- 46.7 KB
pre_release_callback.h -rw-r--r-- 1.6 KB
prefix_test.cc -rw-r--r-- 29.3 KB
range_del_aggregator.cc -rw-r--r-- 16.5 KB
range_del_aggregator.h -rw-r--r-- 13.2 KB
range_del_aggregator_bench.cc -rw-r--r-- 8.6 KB
range_del_aggregator_test.cc -rw-r--r-- 30.7 KB
range_tombstone_fragmenter.cc -rw-r--r-- 16.0 KB
range_tombstone_fragmenter.h -rw-r--r-- 9.3 KB
range_tombstone_fragmenter_test.cc -rw-r--r-- 23.6 KB
read_callback.h -rw-r--r-- 1.8 KB
repair.cc -rw-r--r-- 25.1 KB
repair_test.cc -rw-r--r-- 11.7 KB
snapshot_checker.h -rw-r--r-- 1.9 KB
snapshot_impl.cc -rw-r--r-- 787 bytes
snapshot_impl.h -rw-r--r-- 4.8 KB
table_cache.cc -rw-r--r-- 26.0 KB
table_cache.h -rw-r--r-- 11.0 KB
table_properties_collector.cc -rw-r--r-- 2.3 KB
table_properties_collector.h -rw-r--r-- 3.6 KB
table_properties_collector_test.cc -rw-r--r-- 18.7 KB
transaction_log_impl.cc -rw-r--r-- 10.6 KB
transaction_log_impl.h -rw-r--r-- 4.3 KB
trim_history_scheduler.cc -rw-r--r-- 1.3 KB
trim_history_scheduler.h -rw-r--r-- 1.4 KB
version_builder.cc -rw-r--r-- 33.9 KB
version_builder.h -rw-r--r-- 2.4 KB
version_builder_test.cc -rw-r--r-- 55.7 KB
version_edit.cc -rw-r--r-- 25.4 KB
version_edit.h -rw-r--r-- 17.4 KB
version_edit_handler.cc -rw-r--r-- 19.8 KB
version_edit_handler.h -rw-r--r-- 4.6 KB
version_edit_test.cc -rw-r--r-- 11.2 KB
version_set.cc -rw-r--r-- 233.8 KB
version_set.h -rw-r--r-- 55.0 KB
version_set_test.cc -rw-r--r-- 86.7 KB
wal_manager.cc -rw-r--r-- 17.1 KB
wal_manager.h -rw-r--r-- 3.9 KB
wal_manager_test.cc -rw-r--r-- 10.5 KB
write_batch.cc -rw-r--r-- 74.8 KB
write_batch_base.cc -rw-r--r-- 3.1 KB
write_batch_internal.h -rw-r--r-- 9.2 KB
write_batch_test.cc -rw-r--r-- 26.1 KB
write_callback.h -rw-r--r-- 822 bytes
write_callback_test.cc -rw-r--r-- 13.5 KB
write_controller.cc -rw-r--r-- 4.0 KB
write_controller.h -rw-r--r-- 4.7 KB
write_controller_test.cc -rw-r--r-- 4.7 KB
write_thread.cc -rw-r--r-- 28.1 KB
write_thread.h -rw-r--r-- 15.8 KB

back to top